
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(146) | 伺服器名稱 | 所屬國家 |
---|---|---|
160.251.73.62 | v160-251-73-62.oooz.static.cnode.io | JP |
118.27.116.155 | v118-27-116-155.7813.static.cnode.io | JP |
160.251.82.31 | v160-251-82-31.avrz.static.cnode.io | JP |
160.251.99.189 | v160-251-99-189.lsqi.static.cnode.io | JP |
118.27.112.147 | v118-27-112-147.72sf.static.cnode.io | JP |
160.251.80.251 | v160-251-80-251.edhs.static.cnode.io | JP |
118.27.112.62 | v118-27-112-62.72sf.static.cnode.io | JP |
160.251.75.219 | v160-251-75-219.beps.static.cnode.io | JP |
118.27.108.242 | v118-27-108-242.6p1s.static.cnode.io | JP |
118.27.109.200 | v118-27-109-200.kcij.static.cnode.io | JP |
160.251.78.99 | v160-251-78-99.d688.static.cnode.io | JP |
160.251.83.192 | v160-251-83-192.9oqf.static.cnode.io | JP |
160.251.73.20 | v160-251-73-20.oooz.static.cnode.io | JP |
118.27.109.139 | v118-27-109-139.kcij.static.cnode.io | JP |
160.251.74.128 | v160-251-74-128.6h8d.static.cnode.io | JP |
118.27.108.89 | v118-27-108-89.6p1s.static.cnode.io | JP |
118.27.109.37 | v118-27-109-37.kcij.static.cnode.io | JP |
160.251.76.168 | v160-251-76-168.k2a5.static.cnode.io | JP |
160.251.83.147 | v160-251-83-147.9oqf.static.cnode.io | JP |
118.27.104.136 | v118-27-104-136.qw48.static.cnode.io | JP |
160.251.81.19 | v160-251-81-19.7yz3.static.cnode.io | JP |
160.251.83.182 | v160-251-83-182.9oqf.static.cnode.io | JP |
160.251.100.152 | v160-251-100-152.wbeh.static.cnode.io | JP |
160.251.96.192 | v160-251-96-192.rnfl.static.cnode.io | JP |
160.251.79.110 | v160-251-79-110.ino1.static.cnode.io | JP |
160.251.101.82 | v160-251-101-82.3fe8.static.cnode.io | JP |
160.251.97.94 | v160-251-97-94.690f.static.cnode.io | JP |
118.27.118.227 | v118-27-118-227.2078.static.cnode.io | JP |
160.251.96.248 | v160-251-96-248.rnfl.static.cnode.io | JP |
118.27.117.208 | v118-27-117-208.0p7y.static.cnode.io | JP |
118.27.102.50 | v118-27-102-50.4208.static.cnode.io | JP |
160.251.75.32 | v160-251-75-32.beps.static.cnode.io | JP |
118.27.116.157 | v118-27-116-157.7813.static.cnode.io | JP |
160.251.78.216 | v160-251-78-216.d688.static.cnode.io | JP |
160.251.80.154 | v160-251-80-154.edhs.static.cnode.io | JP |
160.251.100.57 | v160-251-100-57.wbeh.static.cnode.io | JP |
160.251.81.235 | v160-251-81-235.7yz3.static.cnode.io | JP |
160.251.83.177 | v160-251-83-177.9oqf.static.cnode.io | JP |
160.251.77.164 | v160-251-77-164.mjsi.static.cnode.io | JP |
160.251.74.229 | v160-251-74-229.6h8d.static.cnode.io | JP |
118.27.117.105 | v118-27-117-105.0p7y.static.cnode.io | JP |
160.251.73.219 | v160-251-73-219.oooz.static.cnode.io | JP |
可能不需要,尤其是如果你自己也受益於資訊蒐集服務。不過,如果你擔心伺服器資源佔用等問題,可以選擇攔截它們。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Cincraw 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Cincraw Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。