ابزار ایجاد فایل Robots.txt

بهینه سازی موتورهای جستجو
کتاب آموزش سئو

ایجاد فایل Robots.txt


پیشفرض - تمام ربات‌های موجود:  
    
تاخیر خزش:
    
نقشه سایت: (اگر ندارید، خالی رها کنید) 
     
موتورهای جستجو: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
دایرکتوری‌های مسدود شده: مسیر نسبت به ریشه است و باید حاوی یک علامت Slash باشد "/"
 
 
 
 
 
 
   



اکنون، فایل robots.txt را در دایرکتوری ریشه خود ایجاد کنید. متن بالا را کپی کنید و در فایل متنی قرار دهید.


کتاب آموزش سئو

درباره ایجاد فایل Robots.txt

این ابزار چگونه کار می کند؟

این ابزار فایلی را ایجاد می کند که در مقابل نقشه سایت قرار می گیرد و صفحاتی که موتورهای جستجو حق کراول و ایندکس کردن دارند را نشان می‌دهد. به همین خاطر این فایل اهمیت زیادی برای سایت ها دارد. زمانی که موتورهای جستجو سایتی را می خزند در ابتدا به دنبال فایل robots.txt می گردند که در سطح روت دامنه قرار دارد. زمانی که این فایل شناسایی شد، خزندگان آن را می خوانند و فایل ها و دایرکتوری هایی که ممکن است مسدود باشد را شناسایی می‌کنند.

چرا باید از ابزار ایجاد فایل robots.txt استفاده کنیم؟

این یک ابزار مفید است که کار وبمستران را بسیار ساده تر کرده است. افراد به کمک این ابزار می توانند سایت خود را برای ربات های گوگل بهینه کنند. ابزار ساخت فایل robot.txt می تواند با انجام وظایف دشوار در زمان اندک و با هزینه رایگان، فایل های مورد نیاز را تولید کند. ابزار ما رابط کاربری خوبی دارد و گزینه هایی را برای قرار دادن یا مستثنی کردن در فایل robots.txt پیشنهاد می‌کند.

چگونه می توان از ابزار سازنده Robots.txt استفاده کرد؟

به کمک این ابزار شگفت انگیز می توانید فایل robots.txt را برای سایت خود ایجاد کنید. کافیست مراحل زیر را دنبال نمایید:

به طور پیش فرض همه موتورهای جستجو می توانند به فایل های سایت شما دسترسی داشته باشند، شما می توانید به کمک این فایل به موتورهای جستجو اجازه دسترسی به فایل خاص را بدهید یا ندهید.

گزینه crawl-delay را انتخاب کنید که می گوید چقدر تاخیر باید در خزش باشد. اینکار به شما کمک می کند تاخیر ارجح  بین 5 تا 120 ثانیه را انتخاب کنید. به طور پیش فرض این گزینه بر روی no delay’ تنظیم شده است. اگر در حال حاضر سایت شما نقشه سایت دارد، می توانید آدرس آن را در فیلد مربوطه وارد کنید. از سوی دیگر، می توانید در صورت نبود نقشه سایت این جعبه را خالی بگذارید. همینطور می‌توانید با کمک ابزار سازنده نقشه سایت آن را ایجاد کنید.

فهرست ربات های جستجو ارائه شده است. شما می توانید گزینه مدنظر را برای خزش سایت انتخاب کنید و ربات هایی که دوست ندارید سایتتان را خزش نمایند را رد کنید. آخرین مرحله محدود کردن دایرکتوری هاست. مسیر باید در برگیرنده "/" باشد . زیرا مسیر به روت مرتبط است. در نهایت، زمانی که می خواهید فایل robots.txt را به کمک این ابزار تولید کنید قادر خواهید بود آن را در دایرکتوری روت سایت آپلود نمایید. اگر دوست دارید قبل از کاربرد این ابزار آن را کاوش کنید، با آن کار کنید و فایل نمونه ای ایجاد نمایید.