Robots.txt是搜索引擎蜘蛛爬到網站時首先被查看的第一個文件。Robots.txt的內容指示蜘蛛網站的哪部份要被收錄，哪部 份不要。大部份搜索引擎的蜘蛛都會根據某些規則（即Robotx.txt的內容）而進行它的工作。現時，各大搜索引擎對這些規則共同訂立了標準，而最新的 標準就是XML