搜尋引擎蜘蛛

搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。

關於Robots.txt，相信大部分WordPress站長對其都不會感到陌生，一個規範的Robots.txt對於WordPress網站SEO優化來說至關重要。該檔案主要用於告訴搜尋引擎爬蟲，網站哪些頁面可以爬取，哪些頁面不可以。

Spider Analyser這款搜尋引擎蜘蛛分析外掛，是目前閃電博安裝啟用比率最高的外掛，廣受站長歡迎。該外掛的主要目的在於幫助站長深入瞭解各大搜尋引擎蜘蛛爬取網站內容情況，以便於站長對網站內容進行鍼對性優化。

要知道WordPress robots.txt檔案中的“Disallow”命令與頁面頭部的元描述noindex…