مدیریت تغییرات robots.txt در سال 2022

نوشتن و ایجاد تغییرات در فایل robots.txt می تواند حتی سخت ترین سئوکاران را نیز کمی عصبی کند. فقط یک کاراکتر اشتباه می تواند تاثیر زیادی بر عملکرد داشته باشد یا حتی کل سایت شما را از بین ببرد.و لازم نیست اشتباه شما باشد: اگر افراد زیادی در یک سایت کار می کنند، غیرعادی نیست که ویرایش بدون اطلاع قبلی انجام شود یا نسخه قدیمی به اشتباه آپلود شود.وقتی مشکلی پیش آمده باشد، کنسول جستجو عالی است، اما اگر می‌خواهید از سایت خود به درستی محافظت کنید، به سیستم قوی‌تری نیاز دارید. در اینجا راهنمای ما برای نوشتن، ویرایش و مدیریت یک فایل robot.txt است در آموزش سئو آورده شده است.

قبل از تغییرات: تست، تست و دوباره تست کنید

1. تصمیم بگیرید که کدام URL ها را مجاز نکنید

اولین کاری که باید انجام دهید این است که تصمیم بگیرید کدام URL ها را می خواهید در فایل robots.txt خود غیر مجاز کنید. یک لیست کامل از URL های خود را با خزنده ای مانند سمراش دانلود کنید، سپس به دنبال صفحات کم ارزشی بگردید که نمی خواهید موتورهای جستجو خزنده کنند.

فراموش نکنید که: تعداد زیادی اطلاعات در مورد نوشتن فایل‌های robots.txt در کنسول جستجوی گوگل و ابزار وب مستر بینگ وجود دارد.

• قوانین اضافی ایجاد کنید و آنها را به robots.txt موجود خود اضافه کنید.
• قوانین متناقض را بررسی کنید.
• سعی کنید قوانین را به کمترین تعداد ممکن ساده کنید، اما تا حد امکان خاص باشید.

2. بررسی کنید که robots.txt به درستی غیر مجاز است

از ابزار Search Console > Robots برای بررسی لیست URL ها در برابر robots.txt اصلاح شده استفاده کنید. اما به یاد داشته باشید: این ابزار قوانین Allow را کمی متفاوت از Googlebot واقعی انجام می دهد. چند مورد لبه وجود دارد که در آن رفتار Googlebot "تعریف نشده" است.

3. قبل از انتشار فایل جدید خود، Crawling را با robots.txt آزمایش کنید

از تابع رونویسی Robots.txt در تنظیمات پیشرفته برای جایگزینی فایل زنده با یک فایل سفارشی استفاده کنید.سپس می توانید دفعه بعد که خزیدن را شروع می کنید، از این فایل robots.txt به جای فایل زنده استفاده کنید.اکنون گزارش‌های URLهای غیر مجاز اضافه و حذف شده نشان می‌دهند که دقیقاً کدام URLها تحت تأثیر تغییرات robots.txt قرار گرفته‌اند و ارزیابی را بسیار ساده می‌کند.

4. تست در یک سایت مرحله بندی (اختیاری)

اگر می‌خواهید در یک محیط مرحله‌بندی که دارای فایل غیرمجاز همه robots.txt برای جلوگیری از نمایه‌سازی است، خزیدن کنید، می‌توانید با یک فایل Allow all robots.txt بازنویسی کنید. مثلا:

ممیزی فنی به تمام فایل های robottxt DeepCrawl اجازه می دهد

5. تست صفحات مجاز "مخفی" (کاربران پیشرفته)

تنظیمات پیش‌فرض و سایر خزنده‌ها اجازه خزیدن به صفحات غیرمجاز را نمی‌دهند، بنابراین ممکن است صفحات مجاز جدید دیگری در پشت صفحات غیرمجاز پنهان شده باشند که هرگز آنها را کشف نکنید.برای خزیدن در سطح اول صفحات غیرمجاز و کشف صفحات دیگر در زیر، از گزینه پیشرفته در تنظیمات پیشرفته > محدودیت‌های خزیدن استفاده کنید.

حتی این یک تصویر کامل از هر URL غیرمجاز را به شما نمی دهد. تنها راه برای انجام این کار این است که ابتدا سایت را با یک فایل Allow All robots.txt با استفاده از رونویسی robots.txt (همانطور که در بالا توضیح داده شد) جستجو کنید تا هر URL را بدون هیچ محدودیتی پیدا کنید، سپس دوباره با استفاده از فایل robots.txt زنده بخیزید.

سپس می توانید تمام URL هایی را که دیگر در خزیدن گنجانده نشده اند را مشاهده کنید.

پس از تغییرات

 1. تغییرات robots.txt را پیگیری کنید

هشدارهای ابزاری مانند Robotto را تنظیم کنید و هر زمان که فایل robots.txt شما تغییر کرد، ایمیلی دریافت خواهید کرد. به این ترتیب، می توانید مطمئن شوید که هر بار که فایل تغییر می کند آگاه هستید و شروع به درک تأثیر تغییرات کنید.

2. URL های غیر مجاز را بررسی کنید

به Google Search Console Google Index > Index Status گزارش (در حالت پیشرفته) بروید و بررسی کنید که آیا تغییرات robots.txt شما تأثیر قابل توجهی بر تعداد URL های غیر مجاز یا مجاز در سایت شما داشته است یا خیر.

با این حال، این اطلاعات خاصی در مورد URL هایی که مجاز نیستند به شما نمی دهد. برای این کار، از گزارش URL های غیر مجاز DeepCrawl استفاده کنید . نشانی‌های وب غیرمجاز خزیده نمی‌شوند، بنابراین در هزینه‌های خزیدن شما به حساب نمی‌آیند، حتی زمانی که گزارش به میلیون‌ها نشانی اینترنتی برسد.

3. برای مسائل مربوط به حافظه پنهان تست کنید

مشکل حافظه پنهان سرور robots.txt می تواند به این معنی باشد که Google نسخه robots.txt متفاوتی را با نسخه قابل مشاهده مشاهده می کند. از Google Search Console Crawl > Robots.txt Tester استفاده کنید تا ببینید گوگل در حال حاضر از کدام نسخه استفاده می کند، URL های خاص را در برابر آن آزمایش کنید و حتی تغییرات بیشتری را که می خواهید انجام دهید آزمایش کنید.اگر مشکلی وجود داشته باشد، خط خاصی که منجر به این مشکل شده است برجسته می شود:برای مقایسه این نسخه کش/ویرایش شده با نسخه زنده خود، روی پیوند فایل مشاهده زنده robots.txt در سمت راست کلیک کنید .

4. اندازه robots.txt خود را بررسی کنید

اگر فایل robots.txt بزرگتر از 500 کیلوبایت باشد، ممکن است Google آن را به طور کامل پردازش نکند. با این حال، بسیار بعید است که هر کاری که عمدا انجام می دهید، فایل شما را بزرگتر از این کند. بررسی کنید که آیا فایل شما از این حد فراتر رفته است یا خیر - اگر چنین است، مشکل بزرگتری در جای دیگری وجود دارد.

5. فایل های robots.txt مخصوص عامل کاربر را بررسی کنید

گاهی اوقات، تحویل فایل robots.txt برای کاربران گوگل، بینگ یا غیر موتورهای جستجو سفارشی می شود، که می تواند آزمایش آن را بسیار دشوار کند و خطر بزرگی وجود دارد که مشکلی پیش بیاید.فایل robots.txt خود را از طریق ابزار Fetch as Google اجرا کنید تا دقیقا ببینید گوگل چه چیزی را می بیند.همچنین باید همان فایل را از طریق ابزار Fetch as Bingbot در ابزار وب مستر بینگ اجرا کنید.در نهایت، ابزار را می توان برای آزمایش انواع مختلف عامل های کاربر استفاده کرد تا ببیند آیا robots.txt تغییر می کند یا خیر.

این مقاله در بلاگ دیگر اشاره خوبی به :

چرا تگ های کانونیکال برای سئو ضروری هستند؟