Home / Tag Archives: sitemap generator

Tag Archives: sitemap generator

Feed Subscription

By at .

Robots.txt和XML Sitemap

Robots.txt是搜索引擎蜘蛛爬到網站時首先被查看的第一個文件。Robots.txt的內容指示蜘蛛網站的哪部份要被收錄,哪部 份不要。大部份搜索引擎的蜘蛛都會根據某些規則(即Robotx.txt的內容)而進行它的工作。現時,各大搜索引擎對這些規則共同訂立了標準,而最新的 標準就是XML
[......]閱讀全文

Read More »
Scroll To Top