如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(3) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 178.255.215.98 | thumb1.exabot.com | FR |
| 178.255.215.97 | thumb0.exabot.com | FR |
| 193.47.80.77 | tc-gw.exabot.com | FR |
| IP地址(48) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 178.255.215.82 | crawl18.exabot.com | FR |
| 178.255.215.80 | crawl16.exabot.com | FR |
| 178.255.215.85 | crawl21.exabot.com | FR |
| 178.255.215.72 | crawl08.exabot.com | FR |
| 178.255.215.87 | crawl23.exabot.com | FR |
| 178.255.215.95 | crawl31.exabot.com | FR |
| 178.255.215.74 | crawl10.exabot.com | FR |
| 178.255.215.94 | crawl30.exabot.com | FR |
| 178.255.215.73 | crawl09.exabot.com | FR |
| 178.255.215.77 | crawl13.exabot.com | FR |
| 13.59.112.196 | ec2-13-59-112-196.us-east-2.compute.amazonaws.com | US |
| 178.255.215.65 | crawl01.exabot.com | FR |
| 67.220.86.236 | 236-86-220-67.clients.gthost.com | US |
| 185.176.220.71 | 298811.2cloud.eu | LV |
| 3.145.193.50 | ec2-3-145-193-50.us-east-2.compute.amazonaws.com | US |
| 3.94.96.145 | ec2-3-94-96-145.compute-1.amazonaws.com | US |
| 78.153.140.222 | hostglobal.plus | GB |
| 51.20.85.161 | ec2-51-20-85-161.eu-north-1.compute.amazonaws.com | SE |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 178.255.215.65 | crawl01.exabot.com | FR |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 178.255.215.128 | mhx-gw16.exabot.com | FR |
| IP地址(22) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 178.255.215.84 | crawl316.exabot.com | FR |
| 178.255.215.81 | crawl313.exabot.com | FR |
| 178.255.215.85 | crawl317.exabot.com | FR |
| 178.255.215.87 | crawl319.exabot.com | FR |
| 83.167.62.170 | crawl308.exabot.com | US |
| 178.255.215.91 | crawl323.exabot.com | FR |
| 83.167.62.165 | crawl303.exabot.com | US |
| 83.167.62.164 | crawl302.exabot.com | US |
| 178.255.215.86 | crawl318.exabot.com | FR |
| 83.167.62.185 | crawl323.exabot.com | US |
| 178.255.215.90 | crawl322.exabot.com | FR |
| 83.167.62.179 | crawl317.exabot.com | US |
| 193.47.80.92 | eq-gw.exabot.com | FR |
| 178.255.215.88 | crawl320.exabot.com | FR |
| 178.255.215.89 | crawl321.exabot.com | FR |
| 178.255.215.128 | mhx-gw16.exabot.com | FR |
| 83.167.62.162 | crawl300.exabot.com | US |
| 178.255.215.80 | crawl312.exabot.com | FR |
| 83.167.62.171 | crawl309.exabot.com | US |
| 178.255.215.82 | crawl314.exabot.com | FR |
| 83.167.62.166 | crawl304.exabot.com | US |
| 83.167.62.169 | crawl307.exabot.com | US |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 194.44.28.54 | 194.44.28.54 | UA |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 178.255.215.130 | mhx-gw18.exabot.com | FR |
| IP地址(8) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 193.47.80.92 | eq-gw.exabot.com | FR |
| 83.167.62.180 | crawl318.exabot.com | US |
| 83.167.62.182 | crawl320.exabot.com | US |
| 83.167.62.185 | crawl323.exabot.com | US |
| 193.47.80.136 | crawl104.exabot.com | FR |
| 193.47.80.140 | crawl108.exabot.com | FR |
| 193.47.80.141 | crawl109.exabot.com | FR |
| 193.47.80.147 | crawl115.exabot.com | FR |
一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Exabot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Exabot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
有幾個因素決定了一個特定的網站是否會出現在搜尋結果中以及出現在哪裡。這些因素可能包括與該特定網站有連結的網站數量，以及網頁的內容。
此外，Exalead的搜尋結果是按照每個使用者查詢的相關程度來組織的。因此，一個網站的位置將根據輸入的搜尋詞而改變。
如果你的網站是新的，並且沒有從其他網站連結過來，你可以使用Exabot的提交表格來提交你的網站，這樣它就有可能被索引，從而被列入Exabot的搜尋結果中。
如果您的網站是由已經被Exalead搜尋索引收錄的其他網站連結的，您不需要做任何事情。在Exabot進行下一次索引時，您的網站將被 “抓取”（索引）並加入Exabot的引擎中。如果您的網站是新的，並且沒有來自其他網站的連結，請使用Exabot的提交表格來提交您的網站。
“Exabot “是Exalead的爬蟲的使用者代理。它的作用是收集和索引來自世界各地的資料以提供給Exabot的搜尋引擎。Exabot代理抓取您的網站，以便其內容可以被納入Exabot的主索引，從而被納入Exabot的搜尋結果頁面。
是的。Exalead的Exabot爬蟲完全遵守robots.txt和robots meta標籤的標準。請訪問robotstxt.org獲取更多關於這些規範的資訊。Exalead也支援特殊字元*和$，這在最初的規範中並不包括。
Robots.txt標準:
User-agent: Exabot Disallow: football
User-agent: Exabot Disallow: *.gif$
User-agent: Exabot Disallow: *?
Robots META標籤標準：
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW">
<meta name="ROBOTS" content="NOFOLLOW">
是的，使用幾種方法：
你也可以通過在你的robots.txt檔案中新增以下文字來指定所需的抓取延遲：
User-agent: Exabot Crawl-delay: 10
雖然您可以根據自己的需要調節爬行延遲時間，但請記住，指定的爬行延遲時間越長，您的網站被索引的速度就越慢。
爬蟲會抓取HTML內容，以及流行的辦公檔案格式（.pdf、Word、Excel、Powerpoint、Corel WordPerfect、Open Office和Rich Text Format）、Shockwave Macromedia Flash以及其他多媒體內容。
建立一個名為robots.txt的簡單文字檔案，鍵入以下規則，並將該檔案放在您網站的根目錄中：
User-agent: Exabot Disallow: /
欲瞭解更多資訊，請參考問題4。
在您的robots.txt檔案中鍵入以下規則，用 “football “作為示例目錄的名稱：
User-agent: Exabot Disallow: /football
欲瞭解更多資訊，請參考問題4。
要保護特定頁面不被Exalead爬蟲抓取，必須在您網站的HTML檔案中的 “head “標籤之間使用一個特殊的META標籤。
請訪問robots.txt獲取更多資訊。
這完全是自動的，在Exabot的爬蟲下次抓取您的網站時就會完成。但是，如果您希望加快這一過程，請使用Exabot的網站提交表格提交該頁面。
如果一個頁面不再是可索引的（因為它是錯誤的或被robots.txt檔案排除的），它將在下次引擎抓取網站時被刪除。為了加快這一過程，你可以使用Exabot的網站提交表將該頁面提交給引擎，它將在那時從索引中被刪除。
你也可以使用一個HTML元標籤來阻止Exalead爬蟲對某些頁面進行索引。這個標籤被放置在你的頁面的<head>部分。
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW"><meta name="ROBOTS" content="NOFOLLOW">從你以前的網站的每個頁面新增一個永久重定向301到新的網站。當Exabot重新整理你的網站索引時，它將刪除以前網站的連結，並以新網站的連結取代它們。如果你想加快這個過程，你可以使用Exabot的網站提交表格向搜尋引擎提交舊的和新的主頁。
你可以使用robots.txt分析工具來:
這個工具允許你驗證你的 robots.txt 檔案是否排除或允許訪問某些URL。每次測試都會重新整理檔案，因此你可以實時測試。相比之下，爬蟲使用的檔案的 “實時 “版本（你的網路伺服器上的版本）每天只重新整理一次。因此，在對實時版本所做的修改生效之前，預計會有一點延遲。
Exabot用來建立縮圖的渲染工具類似於Safari瀏覽器（KHTMLHTML佈局引擎）。如果您的站點在Safari中呈現不好，Exalead生成的縮圖也可能呈現不好。Exabot建議您優化您的網站，以便在Safari/Konqueror中顯示，這樣生成的縮圖將具有儘可能高的質量。
此外，Exalead縮圖生成器還無法解釋Flash檔案。如果您的網站使用Flash，並且縮圖未按您的意願顯示，Exabot建議您為不支援Flash的瀏覽器指定要顯示的替代影象。Exabot的引擎將使用此影象建立縮圖。要提供替代影象，請在包含Flash動畫的“object”標記中的“embed”標記之後新增一個“img”標記。請參見下面的示例。有關更多資訊，請參閱Flash文件。
示例：
<object classid="clsid:D27CDB6E-AE6D-11cf-96B8-444553540000" codebase="http://download.macromedia.com/pub/shockwave/cabs/flash/swflash.cab#version=6,0,29,0" width="530" height="80"> <param name="movie" value="media/movie.swf" /> <param name="quality" value="high" /> <embed src="media/movie.swf" quality="high" pluginspage="http://www.macromedia.com/go/getflashplayer" type="application/x-shockwave-flash" width="530" height="80"></embed> <img src="media/image.jpg" alt="Our product showcase"></img> </object>
