1. آموزش دیجیتال مارکتینگ
  2. سئو
  3. اصطلاحات سئو
  4. crawler robot spider چیست؟ نحوه خوندن مطالب توسط خزنده های گوگل

crawler robot spider چیست؟ نحوه خوندن مطالب توسط خزنده های گوگل

crawler robot spider چیست؟

crawler robot spider چیست؟

وقتی یک کلمه یا عبارت کلیدی رو در موتور جستجوی گوگل سرچ می‌کنیم، مسلماً باید زمان زیادی به بره تا نتایج رو به ما نشون بده؛ چراکه ممکنه کلمه کلیدی ما در میلیون‌ها سایت قرار داشته باشه. اما سرعت نمایش نتایج فقط چند میلی ثانیه‌س! اینجاست که بحث Crawler Robot Spider در موتورهای جستجو به میان میاد.

گوگل هیچ گاه بعد از سرچ کاربر سایت‌ها رو بررسی نمی کنه بلکه موتور جستجوی گوگل از قبل توسط ربات خزنده اسپایدر (عنکبوت) تمام سایت‌ها و مطالبشون رو بررسی، ایندکس و در دیتابیس خودش ذخیره کرده.

بنابراین هر موقع کاربر شروع به جستجو می‌کنه، به جای بررسی مجدد سایت‌ها، به دیتابیس خودش مراجعه می‌کنه و موارد ایندکس شده رو نمایش میده. Spider یا Crawler هر دو نرم افزار یا اسکریپت اتوماتیکی هستند که لینک‌های اینترنتی رو با یک الگوریتم مشخص و هدفمند دنبال می کنن، به سایت‌های مختلف سر می‌زنند و موضوعات و مطالب درون سایت‌ها رو در پایگاه‌های داده گوگل ایندکس و ذخیره می کنن.

Crawler ها در واقع یک نوع رباتن که روزانه به سایت‌های مختلف سر می زنن و عملیات معرفی شده رو انجام میدن. بهینه سازی و سئو سایت به همین جهت مهمه؛ چون لینک سازی و انجام چک لیست سئو باعث میشه ربات‌های خزنده راحت‌تر و سریع‌تر وارد سایت به شن، لینک‌ها رو بررسی کنن و در آخر سایت رو سریع‌تر ایندکس کنن.

در کنار خزنده‌ها، هر چقدر لینک سازی در سایت شما با کیفیت‌تر و بهتر باشد (لینک از سایت‌های دیگر به سایت شما)، بنابراین Spider ها بهتر تغذیه میشن و بیشتر در سایت شما می مونند و صفحه‌های بیشتری از سایت شما رو بازدید می کنن.

البته ایندکس صفحات سایت‌ها توسط ربات خزنده گوگل انتهای کارشون نیست و این ربات‌ها وظیفه دارن که برای به‌روزرسانی لینک‌ها مجدداً به سایت‌ها بروند و لینک‌ها رو بررسی کنن.

نحوه ایندکس سایت‌ها توسط crawler robot spider

crawler robot spider : ربات های خزنده گوگل

متنوع بودن لینک‌ها، سایت‌ها و موضوعات باعث شدن در این ربات‌ها اولویت بندی خاصی برای انجام عملیات ایندکس ایجاد به شه که توسط 4 policy اجرا میشن:

  • Selection policy یا خط مشی انتخاب: که تعیین می کنه چه صفحاتی برای crawl باید دانلود به شن.
  • Re-visit policy یا خط مشی بازدید مجدد: که تعیین می کنه صفحات وب برای دریافت تغییرات چه زمانی باید بررسی به شن.
  • Politeness policy یا خط مشی ادب: که تعیین می کنه سایت‌ها چگونه crawl به شن تا overload نداشته باشن.
  • Parallelization policy یا خط مشی موازی کاری: که تعیین می کنه چگونه distributed crawler ها هماهنگ باشن.

البته ربات‌های خزنده و اسپایدر گوگل فقط از این 4 policy تبعیت نمی کنن بلکه این موارد در صدر قوانینشون هستن.



اصطلاحات سئو مرتبط با این لغت

Impression چیست؟ چرا باید ایمپریشن رو جدی بگیریم؟
CTR چیست؟ و تاثیر آن در سئو
Serp چیست؟ و نکات مهم سرپ در سئو



نوشتهٔ پیشین
over optimization چیست؟ و چطور از بهینه سازی بیش از حد جلوگیری کنیم
نوشتهٔ بعدی
follow link چیست؟ و روش های دریافت لینک فالو برای سئو

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.

این فیلد را پر کنید
این فیلد را پر کنید
لطفاً یک نشانی ایمیل معتبر بنویسید.

عضویت ویژه

با تهیه عضویت ویژه در هر شاخه ای از سئو که نیاز دارید میتونید به ویدئوهای کامل اون دسته بندی دسترسی داشته باشید.

با اضافه شدن آپدیت هم به همه ی مطالب دسترسی خواهید داشت.

برای خرید اینجا کلیک کنید

فهرست