تاثیر ربات گوگل بر ایندکس صفحات برخی از سایت ها به فکر دیده شدن سایتشان توسط ربات های گوگل و ایندکس شدن سایتشان هستند و همیشه صفحات سایتشان زودتر از سایت های دیگر توسط موتورهای جستجوگر گوگل دیده میشود،اما آیا تا به حال هیچ فکر کرده اید که چرا برخی از سایت ها ربات های گوگل دیر به سراغ سایتشان می آیند ،آیا شما هم نگران ایندکس نشدن سایتتان توسط ربات های گوکل هستید.

شما خود نیز میتوانید فعالیت گوگل را کنترل کنید،اما گوگل به سایت هایی که فعالیت منظم دارند و به صورت مدام در حال بروزرسانی هستند کمک بسیار زیادی در ایندکس شدن مطالب سایتشان میکند.

فایل robots.txt

فایل robots.txt فایلی است که با فرمت ASCI میباشد،که  آدرس آن در شاخه روت سایت میباشد.به عنوان مثال اگر سایت شما در آدرس https://www.webyar.net است،آدرس فایل روت شما باید در مسیر  robots.txt /https://www.webyar.net قابل مشاهده باشد.شما میتوانید با استفاده از این قابلیت بالا برای کنترل تصاویر سایت خود و لینک ها و … توسط ربات های گوگل استفاده کنید.

 متا تگ noindex

تا این جای کار یک روش برای کنترل کردن ربات های گوگل بررسی کردیم،روش دیگر استفاده از متا تگ noindex میباشد.متا تگ noindex  از دسترسی ربات ها به  صفحات بی ارزش سایت جلوگیری میکنند.

 نتیجه اول:‌کمک گرفتن از فایل robots.txt و متا تگ noindex

بررسی سالم بودن لینک های سایت:

در سایت شما به مرور زمان امکان دارد که لینک های شکسته در اثر حذف برخی از مطالب به صورت نادرست به وجود بیاید،خزنده های جستجو گر گوگل لینک های سایت شما را بررسی میکنند و وجود لینک های شکسته را دلیل بر بی کیفیت بودن سایت شما میداند،شما با کمک ابزارهای جستجو کننده لینک های شکسته همانند گوگل کنسول میتوانید لینک های شکسته سایت خود را پیدا کرده و باسازی کنید.

کنترل ربات های گوگل

شما با استفاده از این قابلیت می توانید یک فایل یا چند شاخه را از دسترسی ربات ها محدود کنید. کافی است در خط اول نام ربات را وارد کرده و در خط بعد شاخه ها را وارد کنید این فایل نمونه robots.txt تمامی ربات ها را برای دسترسی به شاخه تصاویر و کد Perl و ربات گوگل را از دسترسی به شاخه و آدرس copyright مسدود خواهد کرد.

User-agent: *

Disallow: /images/

Disallow: /cgi-bin/

User-agent: Googlebot

Disallow: /copyright/

Disallow: /content/copyright-notice.html

اگر قصد کنترل میزان بازدید ربات های گوگل از سایت خود را دارید ، باید در Google Webmaster Tools عضو شوید و در آن جا میزان مراجعه ربات گوگل را مشخص کنید.

توجه داشته باشید که هیچ کدام از این روش ها ۱۰۰% نیستند. برای حاصل اطمینان می توانید از کد های متا استفاده کنید . مثلا با کد زیر به گوگل دستور می دهیم که این سایت را ایندکس نکند :

<meta name=“robots” content=“NOINDEX”>

با کد زیر به گوگل دستور می دهیم که این سایت را دنبال نکند.

<meta name=“robots” content=“NOFOLLOW”>

تنها گوگل است که این ۲ روش را متوجه می شود ولی ممکن است موتور های جستجو دیگر این کد ها را متوجه نشوند و کار ندهند . برای همین بهترین گزینه همان robots.txt است.

 بهبود ساختار سایت

در صورتیکه سایت شما دارای یک ساختار خوب با محتوای صفحات واضح،منظم و درست و دسته بندی شده باشد ربات های گوگل به راحتی صفحات و مطالب سایت را دسترسی پیدا میکنند. در این صورت صفحات مهم سایت باید با چند کلیک ماوس قابل دسترس باشند.

اگر تمامی نکاتی که در بالا ذکر شد را رعایت کنید ، گوگل به درستی صفحات سایت شما را ایندکس می کند. کیفیت و نحوه ایندکس صفحات سایت مهم تر از تعداد صفحاتی است که ایندکس می شود. بنابراین اگر شما صفحات با ارزش برای سایتتان با ساختار منظم بسازید برای ربات های گوگل بسیار حایز اهمیت است.

منبع: سایت وب یار