robots.txt فایلی شامل دستورالعمل های مربوط به دسترسی و یا عدم دسترسی رباتهای خزنده از جمله رباتهای گوگل به قسمت های مختلف وب سایت می باشد. این فایل درشاخه اصلی (root) سایت قرار می گیرد .
کلیدواژه ها:
robots.txt ,seo ,بهینه سازی موتورهای جستجوگر,روبوتس