برای درک اهمیت لینکها باید مشکلی که توسط لینکها، موتورهای جستجو حل میکنند را درک نمایید.
برای بسیاری از ما امروزه تصور جهان بدون شبکه گسترده جهانی اینترنت سخت است ولی تا اواخر سال ۱۹۹۳ تنها ۶۰۰ وب سایت در جهان وجود داشت و اکثر وب سایتها بسیار کم محتوا بودند و هر کدام تنها چند صفحه را شامل می شدند. در آگوست آن سال، وقتی که تنها چند صد وب سایت وجود داشت یک نویسنده مشهور کتابهای کامپیوتر به نام O’Reilly and Associates اولین سایت تجاری را ایجاد کرد. سایت GNN یا Global Network Navigator اکثر محتویات آن مبتنی بر یک کاتالوگ اینترنتی بودند. در واقع آن مانند یک مجله کاغذی بود که بر اینترنت منتشر شده بود. در سپتامبر همان سال سایت دیگری به نام W3 Catalogبه وجود آمد. در ژانویه ۱۹۹۴ وقتی که تنها ۶۰۰ وب سایت وجود داشت سایت راهنمای David و Jerry برای World Wide We به وجود آمد. نام این سایت Yahoo بود که در نهایت تبدیل به محبوبترین سایت و دایرکتوری جستجوی جهان تبدیل شد. اینها همگی دایرکتوریهای وب بودند به عبارت دیگر لیستی از وب سایتها به همراه اطلاعات اندکی از محتویات سایت بودند. در اوایل خوب بود ولی وب اطلاعات زیادی را شامل نمیشد ولی با رشد وب آنها نیز بزرگتر شدند.اگر قصد دارید که قطعه ای از شکسپیر را پیدا کنید یک دایرکتوری سایتهایی که آن اطلاعات را شامل میشود را در اختیارتان قرار میدهند ولی چیزی که در هر سایت قرار دارد را نشان نمیدهند .آن تنها سایت را به شما معرفی میکند و بررسی اطلاعات موجود در آن به عهده ی شما قرار دارد بنابراین مرحله بعد موتورهای جستجو بودند. سیستمی که فهرستی از صفحات هر سایت به وجود می آورد. در اوایل موتورهای جستجو ساده ی مختلفی وجود داشتند ولی احتمالا اولین موتور جستجوی واقعی، سیستم که به شما اجازه میداد که در بین متنموجود در وب سایت های فهرست شده جستجو نمایید WebCrawler بود که در آپریل سال ۱۹۹۴ ایجاد شد. این دایرکتوری اطلاعاتی ابتدایی در مورد سایت ارائه میکرد البته این موتور جستجو کاربر را قادر میساخت تا بین صفحات مختلف سایت جستجو نماید در ۱۹۹۵ و چند سال بعد از آن موتورهای جستجوی دیگری نیز ظاهر شدندMagellan، Excite، Infoseek،HotBot، Northern Light و البته AltaVista که در سال ۱۹۹۵ محبوبیت بسیاری یافت و در نهایت در سال ۱۹۹۸ گوگل به میدان آمد. در پایان آن دهه موتورهای جستجو تبدیل به آینده شدند و کم و بیش موتورهای جستجو تمامی دایرکتوری ها را احاطه کردند حتی یاهو نیز به موتور جستجو تبدیل شد. در سال ۲۰۰۰ یاهو از ایندکس گوگل برای تهیه نتایج جستجو برای یاهو استفاده کرد و سپس دایرکتورهای خودشان را از صفحه کاهش دادند تا در نهایت کاملا حذف شدند البته دایرکتوری یاهو امروز نیز وجود دارد ولی اکثر کاربران اطلاعی از مکان آن ندارند ولی موتورهای جستجو مشکلات خودشان را دارند. وقتی که فضای وب به تعدادی بالغ بر دو تا سه میلیون وب سایت و صدها میلیون صفحه رسید در زمانی که گوگل به میدان وارد شد مرتب کردن این مقدار داده بسیار سخت شده بود. گوگل از یک ایده ی انقلابی استفاده کرد و به این صورت شما میتوانستید موضوع صفحه وب را بفهمید و آن را با عبارت جستجوی خود انطباق دهید و دیگر نیازی نبود که صفحات را خودتان بررسی نمایید. آنها لینکهایی میتوانستند درون صفحاتی که شما پیدا کرده اید باشند ولی حتی میتوانستند به صفحاتی از وبسایتهای دیگر اشاره کنند.