فایل txt برای یک وب سایت مورد نیاز نیست. اگر یک ربات به وب‌سایت شما بیاید و آن را نداشته باشد، فقط وب‌سایت شما را می‌خزد و صفحات را فهرست می‌کند. این فایل تنها در صورتی مورد نیاز است که بخواهید کنترل بیشتری بر آنچه در حال خزیدن است داشته باشید.