search engine spider

搜索引擎蜘蛛（spider，或稱robots或crawler），是搜索引擎開發的軟件程式，其功能是搜索在互聯網上的資訊。蜘蛛有不 同的種類和功能，但跟我們學習SEO相關的是用於爬抓（crawl）網頁的蜘蛛，它用於發掘及抓取網頁。簡單地說，這種蜘蛛首先在某一網頁，抓取在這頁面 上的資訊，然後通過這頁面上的鏈接再進入其他網頁。按這邏輯，所有在互聯網上的網頁，蜘蛛都能一一地找它出來。

搜索引擎同時間會在不同的伺服器，派出上千的蜘蛛去抓取網頁。當蜘蛛爬到你網站中的某一頁面時，它會讀取頁面上的內容，內容會被蜘蛛拆解為純文字， 並被收錄到（儲存到）搜索引擎的龐大數據庫內。然後，若內容上有鏈接，蜘蛛會透過鏈接再爬去其他的頁面。但如果蜘蛛找不到頁面，而該頁面在較早前已被搜索 引擎收錄，它就從數據庫中被刪除。某些搜索引擎會稍後再嘗試爬到該頁面，進一步核實頁面是否存在。這是為什麼使用可靠的網站寄存服務商的原因之一。