如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(36) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 178.250.2.58 | 178.250.2.58 | FR |
| 178.250.0.23 | 178.250.0.23 | FR |
| 178.250.0.19 | 178.250.0.19 | FR |
| 178.250.0.18 | 178.250.0.18 | ? |
| 178.250.0.63 | 178.250.0.63 | FR |
| 178.250.0.20 | 178.250.0.20 | FR |
| 178.250.0.21 | 178.250.0.21 | FR |
| 178.250.2.59 | 178.250.2.59 | FR |
| 178.250.0.22 | 178.250.0.22 | FR |
| 178.250.2.57 | 178.250.2.57 | FR |
| 178.250.2.195 | 178.250.2.195 | FR |
| 178.250.0.200 | 178.250.0.200 | FR |
| 178.250.0.205 | 178.250.0.205 | FR |
| 178.250.0.206 | 178.250.0.206 | FR |
| 178.250.0.204 | 178.250.0.204 | FR |
| 178.250.2.193 | 178.250.2.193 | FR |
| 178.250.2.63 | 178.250.2.63 | FR |
| 178.250.2.61 | 178.250.2.61 | FR |
| 178.250.0.208 | 178.250.0.208 | FR |
| 178.250.0.201 | 178.250.0.201 | FR |
一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 CriteoBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: CriteoBot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Criteo爬蟲（CriteoBot）是一個訪問網頁並分析其內容的軟體，以便在網頁上提供相關廣告。
Criteo 爬蟲通過以下使用者代理識別：
CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/)
Criteo是一家全球領先的技術公司，為全世界的營銷人員提供可信賴的、有影響力的廣告。Criteo通過技術使各種規模的公司更好地瞭解和服務他們的客戶。Criteo正在建立上下文廣告服務，以幫助其出版商合作伙伴更好地實現其內容的貨幣化，並通過將其廣告與相關網頁更好地結合來支援廣告商。
為了支援其情境服務，Criteo將通過抓取網頁來分析公共網路內容。Criteo的技術將識別特定網頁上的內容類別。
例如：一篇關於運動和跑鞋的文章將被歸入 “運動 “類別和 “跑步 “子類別。
只有當您的網站向Criteo傳送請求，在您的域名上釋出廣告時，Criteo爬蟲才會嘗試訪問URL。Criteo爬蟲會限制對您網站的訪問。只有在編制的類別不再可用或不再是最新的時候，爬蟲才會請求訪問您的網站。
爬蟲不會提取或儲存任何原始碼；它只提供頁面公開內容的資料，如語言和內容的類別（如體育>跑步）。
Criteo Crawler是一個符合隱私的系統。抓取器不會訪問瀏覽您網站的使用者資料。抓取器只訪問網際網路上公開的資料。
許多高階出版商明確允許Criteo Crawler訪問他們的網站。出版商從Criteo對其庫存的分類中獲益，以優化目標活動。
要批准 Criteo 爬蟲，請在 robots.txt 中新增一個單獨的段落，如下所示。
User-agent: CriteoBot/0.1 Disallow:
如果您希望排除Criteo爬蟲不訪問您網站的特定部分，請在robots.txt中新增一個單獨的段落，並指定您想排除的路徑，如下所示。
User-agent: CriteoBot/0.1 Disallow: /path/
如果您希望排除Criteo爬蟲完全不訪問您的網站，請在robots.txt中單獨新增一段，如下所示。
User-agent: CriteoBot/0.1 Disallow: /
注意：Criteo爬蟲尊重爬行延遲指令（最長30秒，我們接受小數點，如0.1）。
如果您需要了解更多關於爬蟲的資訊，如果您是Criteo的直接合作夥伴，請聯絡您的Criteo代表，或向Criteo傳送電子郵件：crawler@criteo.com
