Robots.txt是搜索引擎蜘蛛爬到網站時首先被查看的第一個文件。Robotx.txt的內容指示蜘蛛網站的哪部份要被收錄，哪部份不要。大部份搜索引擎的蜘蛛都會根據某些規則（即Robotx.txt的內容）而進行它的工作。現時，各大搜索引擎對這些規則共同訂立了標準，而最新的標準就是XML Sitemap。

現在對於任何一個網站而言，XML Sitemap已成了不可或缺的一部份，因為對SEO來說太重要了。如果你是用Wordpress建站，可以安裝此Sitemap Generator(Sitemap生成器)插件：

http://www.arnebrachhold.de/projects/wordpress-plugins/google-xml-sitemaps-generator

安裝插件後，如在網站添加或刪除文章、頁面，sitemap都能自動更新，並提交到google、yahoo、bing等。