یک فایل robots.txt به خزنده های موتورهای جستجو می‌گوید که خزنده به کدام URL‌ها می‌تواند در سایت شما دسترسی داشته باشد. این عمدتا برای جلوگیری از بارگذاری بیش از حد سایت شما با درخواست‌ها استفاده می‌شود.