Dưới đây là hướng dẫn tạo và sử dụng file cho website, để các bộ máy tìm kiếm quản lý index nội dung của website bạn là file văn bản có cấu trúc, khi các spider (bot, crawler) của các SE (Search engine) vào website để thu thập dữ liệu thì sẽ vào file để xem các chỉ dẫn trong file này.