چگونه موتور جستجو محتوا را ایندکس میکند؟

درک چگونگی پیدا شدن محتوای جدید توسط موتورهای جستجو و‬ تفسیر مکان این صفحات اهمیت فراوانی دارد.‬   یک راه که موتورهای جستجو محتوای‬ جدید را شناسایی میکنند با دنبال کردن لینک است،‬ مانند من و شما که بر‫ لینک کلیک میکنیم و‬‬ از صفحه ای به صفحه دیگر میرویم‬، موتورهای جستجو نیز همین کار را‬ برای پیدا کردن و ایندکس نمودن محتوا ها انجام میدهند‬‬‬. آنها بر لینکهایی که پیدا میکنند کلیک می نمایند.‬ اگر میخواهید مطمئن بشوید که موتورهای‬ جستجو محتوای جدید شما را فهرست میکند‬ تنها کافی است که لینکی به آن اشاره داشته باشد.‬ یک راه دیگری که موتورهای جستجو ‫محتوا را پیدا میکند از طریق سایت مپ XML میباشد‬.سایت مپ XML در‬ واقع لیستی از صفحات محتوای شما در‬ حالت خاصی است که موتورهای جستجو‬‬‬ به راحتی میتوانند ان را بخوانند.‬ شما یا وب مستر سایتتان میتوانید با مراجعه به‬ سایت sitemaps.org اطلاعات‬ بیشتر در مورد سایت مپ‬ XML کسب کنید . ‫وقتی که نقشه ی سایت را‬ به وجود آوردید، میتوانید مستقیما آنها را در موتورهای جستجو ثبت نمایید و به این صورت‬ وقتی که محتوای جدیدی به سایت‬ می افزایید آنها آگاه میشوند. موتورهای جستجو همیشه برای پیدا کردن محتوای بیشتر‬ در بین لینکهای شما میچرخند.‬ با وجودی که این چیز خوبی‬ است ولی گاها ممکن است‬ شما نخواهید که موتورهای جستجو صفحه‬ ی خاصی را پیدا کنند.‬

جلوگیری از ایندکس شدن صفحات

در مورد صفحات آزمون و نواحی اعضای سایت فکر کنید‬ که نمیخواهید در صفحه ی نتایج جستجو ظاهر شود.‬ برای کنترل چگونگی حرکت موتورهای جستجو در سایتتان شما میتوانید‬ از قوانینی به نام فایل‬ robots.txt استفاده نمایید.‬ این فایل را شما و یا ‫وب مستر میتواند در فولدر روت‬ سایت بسازد‬ و وقتی که موتور جستجو آن‬ را ببیند، آن را خوانده‬ و از قانون شما پیروی میکند‬. شما میتوانید قوانینی را برای مرورگرها‬ و موتورهای جستجوی مختلف تعیین کنید‬ و شما میتوانید مشخص کنید که‬ کدام بخش از سایتتان قابل مشاهده باشد یا نباشد‬ .این کار کمی تخصصی است و ‫برای کسب اطلاعات بیشتر در مورد‬ ساخت robots.txt‬ به سایت robotstxt.org مراجعه نمایید. وقتی که موتور جستجو محتوای شما‬ را پیدا کرد، آدرس آن را ایندکس میکند.‬ آدرسها اساسا مکان صفحه وب در اینترنت میباشند .حتما هر صفحه سایتتان باید یک‬ آدرس منحصر به فرد داشته باشد‬ تا موتورهای جستجو بتوانند آن را‬ از صفحات دیگر تفکیک کنند،‬ همچنین ساختار آدرس شما کمک شایانی‬ به موتور جستجو برای درک‬ ساختار کلی وب سایت میکند.‬ راه های زیادی وجود دارد که‬ موتورهای جستجو میتوانند صفحات را پیدا نمایند‬ و با اینکه شما نمیتوانید چگونگی‬ عملکرد موتورهای جستجو را کنترل نمایید‬ ولی با ساخت لینکهای منحصر به‬ فرد و ساختار بندی شده و نقشه های سایت‬ و فایلهای robots.txt شما‬ میتوانید هر کاری که برای‬ فهرست شدن صفحات نیاز هست را انجام دهید‬‬‬‬‬.

منبع : چگونه موتور جستجو محتوا را ایندکس میکند؟