بودجه خزیدن میانگین تعداد URL هایی است که Googlebot قبل از خروج در سایت شما می خزد، بنابراین بهینه سازی بودجه خزیدن تضمین می کند که Googlebot در خطر نادیده گرفتن صفحات مهم شما زمان را برای خزیدن در صفحات بی اهمیت شما تلف نمی کند. بودجه خزیدن در سایت‌های بسیار بزرگ با ده‌ها هزار طراحی سایت مهم‌تر است، اما هرگز ایده بدی نیست که خزنده‌ها را از دسترسی به محتوایی که قطعاً برایتان مهم نیست مسدود کنید. فقط مطمئن شوید که دسترسی خزنده به صفحاتی را که دستورالعمل‌های دیگری در آنها اضافه کرده‌اید، مانند تگ‌های متعارف یا noindex مسدود نکنید. اگر Googlebot از صفحه‌ای مسدود شود، نمی‌تواند دستورالعمل‌های آن صفحه را ببیند.
همه ربات های وب از robots.txt پیروی نمی کنند. افراد با نیت بد (به عنوان مثال، خراش دهنده آدرس ایمیل) ربات هایی می سازند که از این پروتکل پیروی نمی کنند. در واقع، برخی از بازیگران بد از فایل‌های robots.txt برای پیدا کردن جایی که محتوای خصوصی خود را قرار داده‌اید، استفاده می‌کنند. اگرچه ممکن است منطقی به نظر برسد که خزنده ها را از صفحات خصوصی مانند صفحات ورود و مدیریت مسدود کنید تا در فهرست نشان داده نشوند، قرار دادن مکان آن URL ها در یک فایل robots.txt در دسترس عموم نیز به این معنی است که افراد دارای اهداف مخرب می تواند راحت تر آنها را پیدا کند. بهتر است این صفحات را NoIndex کنید و آنها را در پشت فرم ورود قرار دهید تا اینکه آنها را در فایل robots.txt خود قرار دهید.
می توانید جزئیات بیشتر در مورد این موضوع را در بخش robots.txt مرکز آموزشی ما بخوانید.
No comments:
Post a Comment