قالب وردپرس افزونه وردپرس

آشنایی با Robots.txt

درمقاله قبلی راجب سئو داخلی(on page) صحبت کرده ایم حالا میخواهیم راجب یکی از مباحث سئو داخلی(onpage)، فایل robots.txt ، صحبت کنیم.

موتورهای جستجووخزنده های گوگل سایت شما را بررسی میکنند وبه محض ورود به سایت شما فایل robots.txt را دنبال میکنند،چون این فایل به موتورهای جستجو می فهماند این اطلاعات را ایندکس کنند یا نکنند.در حقیقت شما با ایجاد این فایل میزان دسترسی خزنده ی گوگل به فایل های موجود در هاست تان را کنترل می کنید.

اگر شما سایتی را طراحی می کنید که نیاز ندارید بخشی یا قسمتی از محتوایتان را محدود  کنید بطوری که موتورهای جستجو آنها را ایندکس نکنند نیاز به این فایل ندارید به نظرمن بهتر هست فایل robots.txt راایجاد کنید چون میتوانید به موتورهای جستجو یا ربات های مختلف دستوراتی را بدهید که این قسمتها را ایندکس کنند یا نکنند.

درسئو سایت تعداد ربات های زیادی داریم که در آدرس www.robots.txt.org   شما می توانید لیستی از ربات ها را ببینید وبرای هر کدام دستور العمل خاصی را بنویسید ودر این سایت درگزینه The /robots.txt درقسمت about/robots.txt دستورالعمل های این ربات ها را مشاهده میکنید.

*: User –agent :وقتی که ستاره میزارید یعنی تمام robotsها وخزنده ها این دستور را اجرا کنند.

/:Allow : این دستور می توانند تمام سایت شما را ایندکس کنند.

/:DisAllow: تمام سایت شما را ایندکس نکنند.

Sitemap: نقشه سایت است.

وشما می توانید با  meta (tag) ها  آن ها را کنترل کنید در صفحات خاصی شما می توانید از تگ های متا استفاده کنید مثلا شما سه تگ متا دارید که به ربات گوگل دستور می دهید.

<” META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW>

این دستور می گوید که این صفحه را ایندکس نکن ولی لینک ها رادنبال کن.

<” META NAME=”ROBOTS” CONTENT=”INDEX, NOFOLLOW>

این دستور می گوید که این صفحه را ایندکس کن ولی لینک ها را دنبال نکن.

<” META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW>

این دستور می گوید که این صفحه را ایندکس نکن و لینک ها را هم دنبال نکن.

در قسمت name شما نام ربات را میتوانید از سایت www.robots.txt.org انتخاب واستفاده کنید.

ربات های مختلفی توسط گوگل ایجاد شده اند که هرکدام دستورالعمل مشخص خود را دارند به عنوان مثال:

  • Googlebot desktop: این ربات به بررسی و ایندکس نسخه دسکتاپی وب سایت ها می پردازد.
  • Googlebot mobile: این ربات به بررسی و ایندکس نسخه مویابلی سایت ها می پردازد.
  • Googlebot Video: این ربات به بررسی ویدئوهای موجود در وب می پردازد.
  • Googlebot Images: این ربات به پایش تصاویر موجود در وب می پردازد.
  • Googlebot News: این ربات مختص سایت های خبری است.

در نرم افزار ویژال استودیو برای ساخت robotsفایل robots.txt ایجاد کنید ودستورات آنها را بنویسید.بطور مثال :

این دستور می گوید همه ی ربات ها اجازه ندارد وارد پوشه۱ شوند.

اگر میخواهید ربات به این قسمت خاص نرود میتوانید با این دستور بنویسید.

این دستور می گوید همه ی ربات ها در قسمت blog categrory دنبال نکن.

 این دستور می گوید یکی از تصاویر را ایندکس نکن ویا تمام تصاویر با یک فرمت خاص ایندکس نشود.

این دستور می گوید همه ی تصاویر با پسوند $gif.*را ایندکس نکن.

اینکه چگونه متوجه بشویم ربات خوب کارکرده است با استفاده از گوگل وب مستر میتوانید این کار را انجام دهید که مربوط به سئو داخلی می شود( گوگل وب مستر در آینده توضیح خواهیم داد.)

در قسمت about/robots.txt  به شما راهنمایی می کنند چگونه دستور العمل را بنویسید.

نتیجه گیری:

بطور کلی استفاده از robots ها در سئو سایت شما تاثیرگذار است و شما با استفاده از آن ها می توانید به موتور جستجوی گوگل بگویید که کدام لینک ها را دنبال کند و یا نکند پس بهتر است این فایل را در سایت خود داشته باشید چون همانطور که گفتم  این فایل در سئو سایت شما بسیار تاثیر گذار است چون وقتی گوگل می بیند که شما همه چیز را برای آن محیا کرده اید امتیاز خوبی به شما می دهد وسایت شما را دقیق تر وبهینه تر ایندکس کند.

مطلب پیشنهادی

بهبود سرعت سایت

ابزارهای بررسی سئو سایت زیاد هستند ویکی از این ابزارها سایت GTmetrix می باشد. حالا …

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *