
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(39) | 伺服器名稱 | 所屬國家 |
---|---|---|
185.223.249.230 | 185.223.249.230 | GB |
144.76.22.113 | p11n14.trendiction.de | DE |
144.76.22.108 | p11n9.trendiction.de | DE |
144.76.22.119 | p11n20.trendiction.de | DE |
144.76.22.111 | p11n12.trendiction.de | DE |
144.76.22.107 | p11n8.trendiction.de | DE |
144.76.22.104 | p11n5.trendiction.de | DE |
144.76.22.100 | p11n1.trendiction.de | DE |
144.76.22.117 | p11n18 | DE |
144.76.22.116 | p11n17.trendiction.de | DE |
IP地址(63) | 伺服器名稱 | 所屬國家 |
---|---|---|
144.76.22.104 | p11n5.trendiction.de | DE |
144.76.22.108 | p11n9.trendiction.de | DE |
144.76.22.107 | p11n8.trendiction.de | DE |
144.76.22.102 | p11n3 | DE |
144.76.22.111 | p11n12.trendiction.de | DE |
144.76.22.119 | p11n20.trendiction.de | DE |
144.76.22.113 | p11n14.trendiction.de | DE |
144.76.22.116 | p11n17.trendiction.de | DE |
144.76.22.101 | p11n2.trendiction.de | DE |
144.76.22.110 | p11n11 | DE |
144.76.22.117 | p11n18 | DE |
144.76.22.100 | p11n1.trendiction.de | DE |
185.223.249.230 | 185.223.249.230 | GB |
144.76.22.70 | p20n5.trendiction.de | DE |
144.76.14.80 | p10n15.trendiction.de | DE |
144.76.14.46 | p7n13.trendiction.de | DE |
144.76.23.236 | p9n11.trendiction.de | DE |
144.76.14.36 | p7n3.trendiction.de | DE |
144.76.14.45 | p7n12.trendiction.de | DE |
144.76.14.50 | p7n17.trendiction.de | DE |
144.76.14.47 | p7n14.trendiction.de | DE |
144.76.22.114 | p11n15.trendiction.de | DE |
144.76.23.114 | p18n17.trendiction.de | DE |
94.130.202.187 | p203n45 | DE |
144.76.22.115 | p11n16.trendiction.de | DE |
144.76.22.106 | p11n7 | DE |
144.76.22.118 | p11n19 | DE |
144.76.22.112 | p11n13.trendiction.de | DE |
144.76.23.99 | p18n2 | DE |
144.76.23.234 | p9n9 | DE |
144.76.23.110 | p18n13.trendiction.de | DE |
144.76.23.34 | p5n1 | DE |
144.76.23.177 | p16n16 | DE |
144.76.22.167 | p12n4 | DE |
144.76.14.55 | p7n20 | DE |
144.76.23.140 | p3n11 | DE |
144.76.14.49 | p7n16 | DE |
144.76.23.170 | p16n9 | DE |
144.76.23.98 | p18n1 | DE |
144.76.23.131 | p3n2 | DE |
144.76.22.49 | p13n14 | DE |
144.76.23.39 | p5n6 | DE |
144.76.22.243 | p15n16 | DE |
144.76.22.69 | p20n4 | DE |
IP地址(63) | 伺服器名稱 | 所屬國家 |
---|---|---|
144.76.22.70 | p20n5.trendiction.de | DE |
144.76.14.80 | p10n15.trendiction.de | DE |
144.76.14.46 | p7n13.trendiction.de | DE |
144.76.23.236 | p9n11.trendiction.de | DE |
144.76.14.36 | p7n3.trendiction.de | DE |
144.76.14.45 | p7n12.trendiction.de | DE |
144.76.14.50 | p7n17.trendiction.de | DE |
144.76.14.47 | p7n14.trendiction.de | DE |
144.76.22.114 | p11n15.trendiction.de | DE |
144.76.23.114 | p18n17.trendiction.de | DE |
IP地址(4) | 伺服器名稱 | 所屬國家 |
---|---|---|
176.9.10.11 | r14n10.trendiction.de | DE |
46.4.58.156 | r5n7.trendiction.de | DE |
46.4.59.16 | r1n15.trendiction.de | DE |
46.4.59.38 | r2n17.trendiction.de | DE |
IP地址(1) | 伺服器名稱 | 所屬國家 |
---|---|---|
46.4.58.148 | r4n19.trendiction.de | DE |
一般不需要攔截,尤其是如果你自己也受益於搜尋引擎優化服務。不過,如果你擔心伺服器資源佔用等問題,且您都不使用這些工具,當然也可以選擇攔截它們。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 trendictionbot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: trendictionbot Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。