Home / SEO教學 / 搜索引擎蜘蛛(Search Engine Spider)

搜索引擎蜘蛛(Search Engine Spider)

搜索引擎蜘蛛(spider,或稱robots或crawler),是搜索引擎開發的軟件程式,其功能是搜索在互聯網上的資訊。蜘蛛有不 同的種類和功能,但跟我們學習SEO相關的是用於爬抓(crawl)網頁的蜘蛛,它用於發掘及抓取網頁。簡單地說,這種蜘蛛首先在某一網頁,抓取在這頁面 上的資訊,然後通過這頁面上的鏈接再進入其他網頁。按這邏輯,所有在互聯網上的網頁,蜘蛛都能一一地找它出來。

搜索引擎同時間會在不同的伺服器,派出上千的蜘蛛去抓取網頁。當蜘蛛爬到你網站中的某一頁面時,它會讀取頁面上的內容,內容會被蜘蛛拆解為純文字, 並被收錄到(儲存到)搜索引擎的龐大數據庫內。然後,若內容上有鏈接,蜘蛛會透過鏈接再爬去其他的頁面。但如果蜘蛛找不到頁面,而該頁面在較早前已被搜索 引擎收錄,它就從數據庫中被刪除。某些搜索引擎會稍後再嘗試爬到該頁面,進一步核實頁面是否存在。這是為什麼使用可靠的網站寄存服務商的原因之一。

About Stanley Lo

Stanley Lo現於澳洲最大的SEO公司的香港分部(First Page Limited)任職SEO Director,擁有多年SEO的豐富經驗,擅長SEO Audit、站內優化,連接策略,內容行銷及網站分析等。

Leave a Reply

Your email address will not be published. Required fields are marked *

*

Scroll To Top
More in SEO教學 (15 of 21 articles)