فایل robots.txt از پروتکل REF یا Robots Exclusion Protocol تشکیل می‌شود که لینک‌های فالو و نوفالو هم جزء همین پروتکل هستند. این فایل توسط وب‌مسترها برای ربات‌های گوگل ساخته می‌شوند تا از طریق آن به ربات‌ها دستور دهند کدام صفحات سایت را کراول یا ایندکس کنند و کدام صفحات را خیر؛ بنابراین اگر به‌عنوان یک متخصص سئو، وب‌مستر یا مدیر سایت فعالیت می‌کنید، در ادامه این مقاله جزئیات بیشتری درباره نحوه استفاده از این فایل را در اختیار شما می‌گذاریم.
