فایل Robots.txt چیست؟

23 جولای 2018
Robots

بهینه سازی سایت توسط فایل Robots.txt

 

فایل Robots.txt چیست؟ چه وظایفی دارد؟

وظیفه فایل Robots.txt محدود کردن برخی دسترسی های ربات های Google و سایر موتور های جستجوگر به محتویات سایت شما می باشد. این روبات ها به صورت اتوماتیک کار می کنند و قبل از ورود به هر  صفحه ای اینترنتی و وب سایتی، از وجود فایل Robots.txt مطمئن می شوند سپس از دسترسی هایی که توی این فایل تعریف شده برخوردار می شوند.

 

استفاده از فایل Robots.txt به شما این امکان را می دهد که صفحات سایت را تنها مختص کاربران اینترنتی طراحی کرده و ترسی از وجود محتوای تکراری، وجود لینک های بسیار در آن صفحه و تاثیر منفی بر سئو سایت نداشته باشید و حتی به شما این امکان را می دهد که صفحات بی ارزش و کم محتوا را از دید موتور های جستجو پنهان کنید.
شما تنها زمانی که قصد محدود کردن روبات ها را داشته باشید از فایل Robots.txt استفاده می کنید و اگر از نظر خودتان تمام صفحات سایت قابلیت و ارزش ایندکس شدن دارند توسط ربات ها را داشته باشند، نیازی به این فایل نخواهید داشت.

 

برای قراردادن و ساخت فایل robots.txt شما نیاز به دسترسی هاست دارید و آن را در ریشته اصلی ایجاد نمایید.

 

و اما نحوه ساخت فایل robots.txt:

برای مدیریت روبات های اینترنتی از دو قانون اصلی استفاده می کنند که عبارتند از:

User-agent: نشان دهنده نوع روبات می باشد.

Disallow: بیانگر آدرس صفحه می باشد.

با ترکیب از دو دستور شما می توانید قوانین مختلفی را برای دسترسی به صفحات داخلی سایت تعریف کنید. لیست تمامی روبات های اینترنتی در دیتابیس Web Robots Database موجود است و شما می توانید با قرار دادن نام هر یک به عنوان User-agent، قوانین مشخصی برای آنها تعریف کنید.

 

با استفاده از کاراکتر * به عنوان User-agent می توانید قانون برای تمامی روبات ها تعریف کنید، برای مثال:

User-agent: *

Disallow: /folder

 

موتور جستجوگر معروف گوگل چندین نوع روبات مخصوص خود دارد که معروف ترین آنها با نام Googlebot شناخته می شود که وظیفه این ربات بررسی و ایندکس صفحات وب را دارد و یا روبات Google-image مسئول بررسی تصاویر سایت ها و ایندکس کردن آنها را بر عهده دارد.
0
برچسب ها :
نویسنده مطلب علی شریفی
نزديك به ده سال است كه در زمينه سرویس‌های مايكروسافتی، لينوكسی و مجازى سازى به طور تخصصى فعاليت دارم. در چهار سال اخير مباحث وب و سئو به مجموعه فعاليت هايم افزوده شده است. در تلاشم تجربياتى كه در اين مدت كسب كرده ام را در اختيار كاربران محترم قرار بدهم و در صورت نياز از دانشم در زمينه هاى فوق در راستاى راهنمايى به علاقه مندان، استفاده كنم.

دیدگاه شما

بدون دیدگاه