آموزش robots.txt و 5 نکته کاربردی و مهم
فهرست این صفحه
آموزش robots.txt
robots.txt یکی از مهم‌ترین فایل‌هایی است که توسط وبمستران مورداستفاده قرار می‌گیرد. این فایل تعیین می‌کند که خزش ربات‌ها در سایت به چگونه‌ای باشد. این فایل بر اساس استانداردهای مشخص وب نوشته می‌شود که به امکان یا عدم امکان دسترسی و ایندکس محتوا را به موتورهای جستجو می‌دهد.
در ادامه پس از معرفی این فایل به کدهای اختصاصی جهت ایجاد چنین فایلی خواهیم پرداخت. در انتها با ارائه نکاتی مهم، شما را در جهت ایجاد فایلی کارآمد راهنمایی خواهیم کرد. با ما همراه باشید.
معرفی فایل robots.txt
برای استفاده از این امکان به عنوان وبمستر باید اطلاعات کاملی از ساختار آن داشته باشید؛ فرمت کلی این فایل به شکل زیر است:
user-agent: [user-agent name]disallow: [url string not to be crawled]
یک فایل robots.txt ممکن است که تعداد زیادی از کد بالا را شامل شود. این کاملا بستگی به هدف استفاده از فایل مورد نظر دارد. در این خط به عامل کاربر که منظور همان نرم‌افزاری که کاربر جهت استفاده از بستر اینترنت استفاده می‌کند، User-agent گفته می‌شود.
پس از تعیین یوزر ایجنت در فایل robots.txt قوانین مورد نظر ازجمله allow یا اجازه دادن و disallow یا عدم اجازه برای عامل کاربر مشخص می‌شود.
چند مثال از کاربرد robots.txt
در ادامه با بررسی چند مثال کاربرد این فایل را به صورت شفاف‌تری توضیح خواهیم داد. هر کدام از این مثال‌ها کاربرد مختص به خود را دارد. در نتیجه با شناسایی کاربرد هر کدام متوجه خواهید شد که کدام یک را در فایل robots.txt نیاز خواهد داشت.
بلوکه کردن دسترسی تمام خزنده‌های وب از محتوا
جهت انجام این اقدام از کد زیر استفاده می‌شود:
user-agent: * disallow: /
این کد به تمامی خزنده ها می گوید که اجازه ایندکس کردن هیچ آدرسی از سایت مورد نظر را ندارند. این مسأله حتی در مورد صفحه اصلی صدق می کند.
user-agent: * disallow:
این کد به خزنده‌های وب می‌گوید که تمامی صفحات سایت مورد نظر ازجمله صفحه اصلی را ایندکس کنند.
user-agent: googlebot disallow: /example-subfolder/
این خط کد به صورت اختصاصی به خزنده‌های گوگل می‌گوید که اجازه صفحه خاصی از سایت را ندارند. در نتیجه دسترسی خزنده‌های گوگل به واسطه این کد محدود می‌شود.
user-agent: bingbotdisallow: /example-subfolder/blocked-page.html
این کد جهت محدود کردن دسترسی خزنده‌های اختصاصی بینگ به کار می رود.
به صورت کلی موتورهای جستجو دو کار مشخص دارند:
- خزش در صفحات وب جهت پیدا کردن محتوا
- ایندکس کردن محتوای پیداشده جهت دسترسی راحت‌تر کاربران جستجو کننده
مهم‌ترین نکاتی robots.txt که باید بدانید
اطلاعاتی که در ادامه در اختیار شما قرار خواهیم داد مهم‌ترین اطلاعاتی است که باید در رابطه با این فایل بدانید.
نکته اول: فایل robots.txt باید در نخستین قسمت دایرکتوری هاست شما قرار بگیرد. در نتیجه نباید درون هیچ پوشه‌ای این فایل را قرار دهید.
نکته دوم: فایل robots.txt فایل بسیار حساسی است که الزاما باید با نام robots.txt در هاست بارگذاری شود. در نتیجه به هیچ وجه از اسامی چون robots.txt یا Rorobt.txt و غیره استفاده نکنید.
نکته سوم: برخی از عامل‌های کاربری ممکن است این فایل را در نظر نگیرند
نکته چهارم: فایل robots.txt به صورت عمومی است. در نتیجه هر کسی می تواند ببیند که شما درخواست خزش یا عدم خزش چه لینک‌هایی را داده است.
نکته پنجم: هر ساب دامین نیازمند یک فایل robots.txt مجزا است. در نتیجه اگر blog.exm.com ساب دامین سایت شما است و سایت اصلی exm.com است؛ باید برای هر دو سایت فایل مجزا در نظر داشته باشید.
اصطلاحات تخصصی فایل robots.txt
اگر بخواهید از این فایل استفاده حداکثری داشته باشید باید اصطلاحات تخصصی یا زبان robots.txt را بشناسید. در ادامه می‌خواهیم رایج‌ترین عبارات به کاررفته در این فایل را موردبررسی قرار دهیم:
user-agent: به معنای موتور جستجویی است که می‌خواهید دسترسی آن را محدود کنید
disallow: به معنای عدم اجازه به یوزر ایجنت جهت خزش به لینک مورد نظر است.
allow: به معنای اجازه خزش به دایرکتوری مورد نظر است
crawl-delay: به معنای مدت زمانی است که خزنده باید صبر کند و سپس به خزش بپردازد. توجه داشته باشید که موتور جستجو گوگل این کد را نمی‌شناسد.
sitemap: به معنای نقشه سایت است.
سخن آخر
فایل robots.txt یکی از مهم‌ترین فایل‌هایی است که در سئو کنسول نیز در نظر گرفته می‌شود. در نتیجه دقت لازم را در ساخت این فایل در نظر داشته باشید و تمامی نکات ذکرشده در قسمت‌های پیشین را در نظر داشته باشید.
