سبد خرید شما خالی است.

  • جذب مارکتینگ
    • آموزش رایگان دیجیتال مارکتینگ
      • مقالات دیجیتال مارکتینگ
      • دیجیتال مارکتینگ چیست؟
      • بازاریابی جاذبه ای
      • آموزش بازاریابی محتوا
      • آموزش بازاریابی شبکه های اجتماعی
      • آموزش ایمیل مارکتینگ
      • آموزش بازاریابی عصبی
      • وبلاگ
    • محصولات آموزشی
      • کتاب های آموزش دیجیتال مارکتینگ
      • دوره مجازی دیجیتال مارکتینگ
    • مشاوره دیجیتال مارکتینگ
      • مشاوره رایگان سئو استارت آپ
      • سفارش سئو وردپرس
    • مشاور سئو
    • سفارش تیزر تبلیغاتی
  • آموزش سئو
    • اصطلاحات سئو
    • آموزش سئو مبتدی
    • آموزش تحقیق کلمات کلیدی
    • دوره جامع سئو محتوا
    • آموزش سئو داخلی
    • آموزش سئو وردپرس
    • آموزش سرچ کنسول
    • بک لینک رایگان
    • دوره سئو
  • سئو تخصصی
    • اشتراک ویژه سئو تخصصی
  • داستان جذب مارکتینگ
    • تماس با ما
  • ناحیه کاربری
    • اشتراک های ماهیانه
    • ثبت نام
    • ورود
    • خروج
  • جذب مارکتینگ
    • آموزش رایگان دیجیتال مارکتینگ
      • مقالات دیجیتال مارکتینگ
      • دیجیتال مارکتینگ چیست؟
      • بازاریابی جاذبه ای
      • آموزش بازاریابی محتوا
      • آموزش بازاریابی شبکه های اجتماعی
      • آموزش ایمیل مارکتینگ
      • آموزش بازاریابی عصبی
      • وبلاگ
    • محصولات آموزشی
      • کتاب های آموزش دیجیتال مارکتینگ
      • دوره مجازی دیجیتال مارکتینگ
    • مشاوره دیجیتال مارکتینگ
      • مشاوره رایگان سئو استارت آپ
      • سفارش سئو وردپرس
    • مشاور سئو
    • سفارش تیزر تبلیغاتی
  • آموزش سئو
    • اصطلاحات سئو
    • آموزش سئو مبتدی
    • آموزش تحقیق کلمات کلیدی
    • دوره جامع سئو محتوا
    • آموزش سئو داخلی
    • آموزش سئو وردپرس
    • آموزش سرچ کنسول
    • بک لینک رایگان
    • دوره سئو
  • سئو تخصصی
    • اشتراک ویژه سئو تخصصی
  • داستان جذب مارکتینگ
    • تماس با ما
  • ناحیه کاربری
    • اشتراک های ماهیانه
    • ثبت نام
    • ورود
    • خروج

سبد خرید شما خالی است.

  • جذب مارکتینگ
    • آموزش رایگان دیجیتال مارکتینگ
      • مقالات دیجیتال مارکتینگ
      • دیجیتال مارکتینگ چیست؟
      • بازاریابی جاذبه ای
      • آموزش بازاریابی محتوا
      • آموزش بازاریابی شبکه های اجتماعی
      • آموزش ایمیل مارکتینگ
      • آموزش بازاریابی عصبی
      • وبلاگ
    • محصولات آموزشی
      • کتاب های آموزش دیجیتال مارکتینگ
      • دوره مجازی دیجیتال مارکتینگ
    • مشاوره دیجیتال مارکتینگ
      • مشاوره رایگان سئو استارت آپ
      • سفارش سئو وردپرس
    • مشاور سئو
    • سفارش تیزر تبلیغاتی
  • آموزش سئو
    • اصطلاحات سئو
    • آموزش سئو مبتدی
    • آموزش تحقیق کلمات کلیدی
    • دوره جامع سئو محتوا
    • آموزش سئو داخلی
    • آموزش سئو وردپرس
    • آموزش سرچ کنسول
    • بک لینک رایگان
    • دوره سئو
  • سئو تخصصی
    • اشتراک ویژه سئو تخصصی
  • داستان جذب مارکتینگ
    • تماس با ما
  • ناحیه کاربری
    • اشتراک های ماهیانه
    • ثبت نام
    • ورود
    • خروج
  • جذب مارکتینگ
    • آموزش رایگان دیجیتال مارکتینگ
      • مقالات دیجیتال مارکتینگ
      • دیجیتال مارکتینگ چیست؟
      • بازاریابی جاذبه ای
      • آموزش بازاریابی محتوا
      • آموزش بازاریابی شبکه های اجتماعی
      • آموزش ایمیل مارکتینگ
      • آموزش بازاریابی عصبی
      • وبلاگ
    • محصولات آموزشی
      • کتاب های آموزش دیجیتال مارکتینگ
      • دوره مجازی دیجیتال مارکتینگ
    • مشاوره دیجیتال مارکتینگ
      • مشاوره رایگان سئو استارت آپ
      • سفارش سئو وردپرس
    • مشاور سئو
    • سفارش تیزر تبلیغاتی
  • آموزش سئو
    • اصطلاحات سئو
    • آموزش سئو مبتدی
    • آموزش تحقیق کلمات کلیدی
    • دوره جامع سئو محتوا
    • آموزش سئو داخلی
    • آموزش سئو وردپرس
    • آموزش سرچ کنسول
    • بک لینک رایگان
    • دوره سئو
  • سئو تخصصی
    • اشتراک ویژه سئو تخصصی
  • داستان جذب مارکتینگ
    • تماس با ما
  • ناحیه کاربری
    • اشتراک های ماهیانه
    • ثبت نام
    • ورود
    • خروج
  • جذب مارکتینگ
    • آموزش رایگان دیجیتال مارکتینگ
      • مقالات دیجیتال مارکتینگ
      • دیجیتال مارکتینگ چیست؟
      • بازاریابی جاذبه ای
      • آموزش بازاریابی محتوا
      • آموزش بازاریابی شبکه های اجتماعی
      • آموزش ایمیل مارکتینگ
      • آموزش بازاریابی عصبی
      • وبلاگ
    • محصولات آموزشی
      • کتاب های آموزش دیجیتال مارکتینگ
      • دوره مجازی دیجیتال مارکتینگ
    • مشاوره دیجیتال مارکتینگ
      • مشاوره رایگان سئو استارت آپ
      • سفارش سئو وردپرس
    • مشاور سئو
    • سفارش تیزر تبلیغاتی
  • آموزش سئو
    • اصطلاحات سئو
    • آموزش سئو مبتدی
    • آموزش تحقیق کلمات کلیدی
    • دوره جامع سئو محتوا
    • آموزش سئو داخلی
    • آموزش سئو وردپرس
    • آموزش سرچ کنسول
    • بک لینک رایگان
    • دوره سئو
  • سئو تخصصی
    • اشتراک ویژه سئو تخصصی
  • داستان جذب مارکتینگ
    • تماس با ما
  • ناحیه کاربری
    • اشتراک های ماهیانه
    • ثبت نام
    • ورود
    • خروج
وبلاگ ها و آخرین مقالات دیجیتال مارکتینگ
صفحه اصلی سئو آموزش robots.txt و 5 نکته کاربردی و مهم
سئوسرچ کنسول

آموزش robots.txt و 5 نکته کاربردی و مهم

مرتضی عظیمی آوریل 13, 2020 0 دیدگاه ها

فهرست این صفحه

  • 1 آموزش robots.txt
  • 2 معرفی فایل robots.txt
  • 3 چند مثال از کاربرد robots.txt
  • 4 مهم‌ترین نکاتی robots.txt که باید بدانید
  • 5 اصطلاحات تخصصی فایل robots.txt
  • 6 سخن آخر

آموزش robots.txt

robots.txt یکی از مهم‌ترین فایل‌هایی است که توسط وبمستران مورداستفاده قرار می‌گیرد. این فایل تعیین می‌کند که خزش ربات‌ها در سایت به چگونه‌ای باشد. این فایل بر اساس استانداردهای مشخص وب نوشته می‌شود که به امکان یا عدم امکان دسترسی و ایندکس محتوا را به موتورهای جستجو می‌دهد.

در ادامه پس از معرفی این فایل به کدهای اختصاصی جهت ایجاد چنین فایلی خواهیم پرداخت. در انتها با ارائه نکاتی مهم، شما را در جهت ایجاد فایلی کارآمد راهنمایی خواهیم کرد. با ما همراه باشید.

معرفی فایل robots.txt

معرفی فایل robots.txt

برای استفاده از این امکان به عنوان وبمستر باید اطلاعات کاملی از ساختار آن داشته باشید؛ فرمت کلی این فایل به شکل زیر است:

user-agent: [user-agent name]disallow: [url string not to be crawled]

یک فایل robots.txt ممکن است که تعداد زیادی از کد بالا را شامل شود. این کاملا بستگی به هدف استفاده از فایل مورد نظر دارد. در این خط به عامل کاربر که منظور همان نرم‌افزاری که کاربر جهت استفاده از بستر اینترنت استفاده می‌کند، User-agent گفته می‌شود.

پس از تعیین یوزر ایجنت در فایل robots.txt قوانین مورد نظر ازجمله allow یا اجازه دادن و disallow یا عدم اجازه برای عامل کاربر مشخص می‌شود.

چند مثال از کاربرد robots.txt

چند مثال از کاربرد robots.txt

 در ادامه با بررسی چند مثال کاربرد این فایل را به صورت شفاف‌تری توضیح خواهیم داد. هر کدام از این مثال‌ها کاربرد مختص به خود را دارد. در نتیجه با شناسایی کاربرد هر کدام متوجه خواهید شد که کدام یک را در فایل robots.txt نیاز خواهد داشت.

بلوکه کردن دسترسی تمام خزنده‌های وب از محتوا

جهت انجام این اقدام از کد زیر استفاده می‌شود:

user-agent: * disallow: /

این کد به تمامی خزنده ها می گوید که اجازه ایندکس کردن هیچ آدرسی از سایت مورد نظر را ندارند. این مسأله حتی در مورد صفحه اصلی صدق می کند.

user-agent: * disallow: 

این کد به خزنده‌های وب می‌گوید که تمامی صفحات سایت مورد نظر ازجمله صفحه اصلی را ایندکس کنند.

user-agent: googlebot disallow: /example-subfolder/

این خط کد به صورت اختصاصی به خزنده‌های گوگل می‌گوید که اجازه صفحه خاصی از سایت را ندارند. در نتیجه دسترسی خزنده‌های گوگل به واسطه این کد محدود می‌شود.

user-agent: bingbotdisallow: /example-subfolder/blocked-page.html

این کد جهت محدود کردن دسترسی خزنده‌های اختصاصی بینگ به کار می رود.

به صورت کلی موتورهای جستجو دو کار مشخص دارند:

  • خزش در صفحات وب جهت پیدا کردن محتوا
  • ایندکس کردن محتوای پیداشده جهت دسترسی راحت‌تر کاربران جستجو کننده

مهم‌ترین نکاتی robots.txt که باید بدانید

مهم‌ترین نکاتی robots.txt که باید بدانید

اطلاعاتی که در ادامه در اختیار شما قرار خواهیم داد مهم‌ترین اطلاعاتی است که باید در رابطه با این فایل بدانید.

نکته اول: فایل robots.txt باید در نخستین قسمت دایرکتوری هاست شما قرار بگیرد. در نتیجه نباید درون هیچ پوشه‌ای این فایل را قرار دهید.

نکته دوم: فایل robots.txt فایل بسیار حساسی است که الزاما باید با نام robots.txt در هاست بارگذاری شود. در نتیجه به هیچ وجه از اسامی چون robots.txt یا Rorobt.txt و غیره استفاده نکنید.

نکته سوم: برخی از عامل‌های کاربری ممکن است این فایل را در نظر نگیرند

نکته چهارم: فایل robots.txt به صورت عمومی است. در نتیجه هر کسی می تواند ببیند که شما درخواست خزش یا عدم خزش چه لینک‌هایی را داده است.

نکته پنجم: هر ساب دامین نیازمند یک فایل robots.txt مجزا است. در نتیجه اگر blog.exm.com ساب دامین سایت شما است و سایت اصلی exm.com است؛ باید برای هر دو سایت فایل مجزا در نظر داشته باشید.

اصطلاحات تخصصی فایل robots.txt

اصطلاحات تخصصی فایل robots.txt

 اگر بخواهید از این فایل استفاده حداکثری داشته باشید باید اصطلاحات تخصصی یا زبان robots.txt را بشناسید. در ادامه می‌خواهیم رایج‌ترین عبارات به کاررفته در این فایل را موردبررسی قرار دهیم:

user-agent: به معنای موتور جستجویی است که می‌خواهید دسترسی آن را محدود کنید

disallow: به معنای عدم اجازه به یوزر ایجنت جهت خزش به لینک مورد نظر است.

allow: به معنای اجازه خزش به دایرکتوری مورد نظر است

crawl-delay: به معنای مدت زمانی است که خزنده باید صبر کند و سپس به خزش بپردازد. توجه داشته باشید که موتور جستجو گوگل این کد را نمی‌شناسد.

sitemap: به معنای نقشه سایت است.

سخن آخر

فایل robots.txt یکی از مهم‌ترین فایل‌هایی است که در سئو کنسول نیز در نظر گرفته می‌شود. در نتیجه دقت لازم را در ساخت این فایل در نظر داشته باشید و تمامی نکات ذکرشده در قسمت‌های پیشین را در نظر داشته باشید.

53
درباره مرتضی عظیمی
حاصل عشق و علاقه ی من به دیجیتال مارکتینگ و روانشناسی جذب مارکتینگ شد❤️ اعتقاد دارم بازاریابی یعنی ایجاد حس خوب در مشتری و دارم برای این اعتقاد تلاش میکنم .
گزارش Mobile Usability در سرچ کنسول جدید گوگلقبلیگزارش Mobile Usability در سرچ کنسول جدید گوگلآوریل 12, 2020
4 ارور رایج Structured Data سرچ کنسول جدید و راهکار های آنآوریل 13, 20204 ارور رایج Structured Data سرچ کنسول جدید و راهکار های آنSiguiente

Related Posts

تحقیق کلمات کلیدیسئو

نمونه کلمات کلیدی (فایل اکسل استراتژی keywords)

مرتضی عظیمی ژانویه 23, 2020
سئوسئو مقدماتیسئو وردپرس

تغییرات جدید الگوریتم گوگل (آپدیت 2020) + راهنمای عملی

فهرست این صفحه1 تغییرات جدید الگوریتم گوگل یک دغدغه بزرگ برای دیجیتال مارکتر ها2...

مرتضی عظیمی ژانویه 20, 2020

دیدگاهتان را بنویسید لغو پاسخ

نشانی ایمیل شما منتشر نخواهد شد.

دوره SEO، رایگان شد!

دوره سئو جذب مارکتینگ رایگان شد، کافیه به صفحه محصول بری و فرم رو پر کنی و اطلاعات دوره واست ارسال میشه.

بیش از 60 ویدئو و آموزش در زمینه بهینه سازی سایت.

برای شرکت در دوره، اینجا کلیک کنید
کتابچه و دوره های آموزشی دیجیتال مارکتینگ
  • دوره مجازی و آنلاین دیجیتال مارکتینگ 2019 | 100% کاربردی
  • آموزش اینستاگرام مارکتینگ (0 تا 100 بازاریابی اکسپلور)
    نمره 4.33 از 5
    0تومان
  • کتاب بازاریابی محتوا برای ذهن مشتری(100 % کاربردی)
    نمره 3.80 از 5
    0تومان
  • آموزش یافتن بهترین کلمات کلیدی در گوگل 0تومان
  • دوره جامع سئو وردپرس (بیش از 50 ویدئو seo)
    نمره 4.58 از 5
    0تومان
  • بهترین کتاب آموزش دیجیتال مارکتینگ pdf (بیش از 130 صفحه) 0تومان
آخرین آموزش های بازاریابی دیجیتال
  • پیدا کردن کلمات کلیدی کانتنت کلاستر ها
    پیدا کردن کلمات کلیدی کانتنت کلاستر ها
    می 1, 2020
  • ابزار تعیین تعداد سرچ در یک topic cluster + مقایسه با سایر خوشه ها
    ابزار تعیین تعداد سرچ در یک topic cluster + مقایسه با سایر خوشه ها
    می 1, 2020
  • گزارش AMP در سرچ کنسول جدید
    گزارش AMP در سرچ کنسول جدید
    آوریل 13, 2020
  • گزارش Breadcrumbs در سرچ کنسول جدید گوگل
    گزارش Breadcrumbs در سرچ کنسول جدید گوگل
    آوریل 13, 2020
پر بازدیدترین صفحات سایت

آموزش سئو 

آموزش رایگان دیجیتال مارکتینگ

بک لینک رایگان و قوی

مشاور سئو

سفارش سئو

لینک های مفید

پروژه جدید ما : باباپسته (خرید اینترنتی پسته)

محصولات آموزشی بازاریابی دیجیتال

مشاوره دیجیتال مارکتینگ 

داستان جذب مارکتینگ

تماس با ما

j3
با وارد کردن ایمیل خود هر چند روز یکبار، آخرین آموزش های رایگان و خبرهای مارو دریافت کنید

تماس با ما

برای هماهنگی جلسات حضوری در تهران تماس بگیرید
شماره تماس : 09211827107 (مرتضی عظیمی)

آموزش های رایگان در شبکه های اجتماعی

تمام حقوق این سایت متعلق به وبسایت جذب مارکتینگ میباشد که در زمینه آموزش و مشاوره دیجیتال مارکتینگ فعالیت میکند.