بهینه سازی فایل robots.txt برای سئو

درباره اهمیت فایل ربات های گوگل یا robots.txt چقدر می دانید؟ اگر چیزی نمی دانید مشکلی ندارد ، در این مطلب شما را آشنا خواهیم کرد. خب شاید بپرسید اصلا فایل robots.txt چیست و چه اهمیتی در سئو دارد؟ باید خدمت شما دوستان اکسپرسی عرض کنم. فرض کنید شما در این ایام عید به شیراز مسافرت کرده اید. 😀 در اولین مرحله از اطلاعات گردشگری شیراز جویای مکان های قابل گشت و گذار شهر هستید و آنها بلافاصله مکان های زیبای شیراز را به همراه نقشه شهر به شما خواهند داد. حالا فرض کنید شما ربات های گوگل هستید و اطلاعات گردشگری شیراز فایل robots.txt :). پس این فایل به ربات های موتور های جستجوگر از قبیل گوگل و بین دستور می دهد که کدام یک از بخش های سایت را ببینید. کدام بخش را بررسی نکنند و مکان دقیق نقشه سایت را به آنها خواهد داد.

آیا من به فایل robots.txt نیاز دارم؟

جواب این سوال را از متن بالا پیدا کنید. آیا نیاز خواهید داشت؟ اگر آدم منطقی باشید صد در صد دریافت کرده اید که به این فایل نیاز دارید. پیشنهاد ما هم همین هست. پس شروع می کنیم به نحوه ساخت و بهینه سازی فایل robots.txt

فایل robots.txt کجاست؟ چگونه آنرا بسازم؟

این فایل اکثر مواقع در پوشه اصلی ( روت ) سایت شما موجود بوده و شما می توانید از طریق فایل منیجر هاست خود به آن دسترسی داشته باشید.

اگر این فایل را ندارید به راحتی می توانید آنرا بسازید.

wordpress-seo-by-yoast-robots.txt-aditor4
چگونه از robots.txt استفاده کنیم؟

این فایل یک ساختار ساده و سبک دارد. اولین خط این فایل عبارت User-agent است. این عبارت مشخص می کنید که کدام یک از ربات ها می توانند از این فایل استفاده کنند. اگر روی * قرار داده شود شامل تمامی ربات ها می شود و اگر Googlebot قرار داده شود ربات های گوگل و در صورتی که Bingbot را قرار دهید مشخص است که ربات های بینگ به سایت شما دسترسی دارند. پس پیشنهاد می کنیم روی * قرار دهید تا شامل تمامی ربات ها شود.

خطوط بعدی که با allow و disallow شروع شده مشخص می کند که این ربات ها کدام قسمت سایت را بررسی و ایندکس کنند.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

. در هر صورت اگر می خواهید بصورت دستی اضافه کنید توسط خط زیر می توانید آنرا اضافه کنید.

کد
Sitemap: http://www.example.com/post-sitemap.xml



  • 96 بازدید
  • بهنام نجاتی
  • 3 مارس 2016

آخرین دیدگاه های بهینه سازی فایل robots.txt برای سئو

نظرات بسته
اگر نياز به پشتيباني داريد همين حالا با ما تماس بگيريد . تيم پشتيباني رهجو نت بصورت 24 ساعته در خدمت شماست...