
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(30) | 伺服器名稱 | 所屬國家 |
---|---|---|
95.217.144.245 | kuba51.sentione.com | FI |
95.217.144.250 | kuba66.sentione.com | FI |
95.217.144.156 | kuba63.sentione.com | FI |
95.217.144.240 | kuba56.sentione.com | FI |
95.217.144.238 | kuba60.sentione.com | FI |
95.217.144.235 | kuba59.sentione.com | FI |
95.217.144.155 | kuba64.sentione.com | FI |
95.217.144.242 | kuba54.sentione.com | FI |
95.217.144.249 | kuba49.sentione.com | FI |
95.217.144.241 | kuba55.sentione.com | FI |
95.217.144.237 | kuba61.sentione.com | FI |
95.217.144.243 | kuba53.sentione.com | FI |
95.217.144.254 | kuba65.sentione.com | FI |
95.217.144.239 | ? | FI |
95.217.145.62 | kuba67.sentione.com | FI |
95.217.145.45 | kuba50.sentione.com | FI |
95.217.144.246 | kuba46.sentione.com | FI |
95.217.144.236 | kuba58.sentione.com | FI |
95.217.144.247 | kuba47.sentione.com | FI |
95.217.145.61 | kuba68.sentione.com | FI |
95.217.144.234 | kuba62.sentione.com | FI |
95.217.144.248 | kuba48.sentione.com | FI |
95.217.144.244 | kuba52.sentione.com | FI |
95.217.145.125 | kuba107.sentione.com | FI |
95.217.144.221 | kuba106.sentione.com | FI |
135.181.56.250 | dev1.sentione.com | FI |
95.217.145.91 | kuba104.sentione.com | FI |
95.217.144.223 | kuba110.sentione.com | FI |
95.217.144.222 | kuba105.sentione.com | FI |
95.217.144.173 | kuba103.sentione.com | FI |
IP地址(134) | 伺服器名稱 | 所屬國家 |
---|---|---|
135.181.20.249 | tst1.sentione.com | CA |
95.217.145.61 | kuba24.sentione.com | FI |
95.217.144.248 | kuba48.sentione.com | FI |
95.217.144.155 | kuba64.sentione.com | FI |
95.217.144.249 | kuba49.sentione.com | FI |
95.217.144.241 | kuba55.sentione.com | FI |
95.217.144.156 | kuba63.sentione.com | FI |
95.217.144.238 | kuba60.sentione.com | FI |
95.217.144.245 | kuba51.sentione.com | FI |
95.217.145.62 | kuba25.sentione.com | FI |
95.216.173.102 | ? | FI |
一般不需要攔截,尤其是如果你自己也受益於搜尋引擎優化服務。不過,如果你擔心伺服器資源佔用等問題,且您都不使用這些工具,當然也可以選擇攔截它們。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 SentiBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: SentiBot Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
SentiBot是一個網路爬蟲,為SentiOne Listen平臺索引使用者產生的內容。這個應用程式每天分析來自不同國家的30多萬個域名,我們盡一切努力減少由我們產生的流量。
但是,如果你在這裡是因為你注意到你的網站上有麻煩的流量,這些流量是由具有以下使用者代理的機器人產生的。
“SentiBot www.sentibot.eu(與Googlebot相容)”,請在您的域名上更新robots.txt檔案,為爬蟲 “sentibot “制定規則(支援的引數:crawl-delay和disallow)。
如果沒有找到 “sentibot “的明確規則,預設使用 “Googlebot “限制規則。請注意,應用robots.txt檔案的更新可能需要長達48小時。