Robots.txt和XML Sitemap 03/02/2011 0 3609 Views Robots.txt是搜索引擎蜘蛛爬到網站時首先被查看的第一個文件。Robots.txt的內容指示蜘蛛網站的哪部份要被收錄,哪部 份不要。大部份搜索引擎的蜘蛛都會根據某些規則(即Robotx.txt的內容)而進行它的工作。現時,各大搜索引擎對這些規則共同訂立了標準,而最新的 標準就是XML[......]閱讀全文 Read More »