
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(22) | 伺服器名稱 | 所屬國家 |
---|---|---|
95.217.12.217 | ? | FI |
95.216.198.104 | ? | FI |
135.181.148.190 | ? | FI |
135.181.103.249 | ? | FI |
65.21.149.27 | ? | FI |
95.217.222.175 | ? | FI |
135.181.248.5 | ? | DE |
65.108.87.129 | ? | DE |
135.181.25.207 | ? | FI |
135.181.25.34 | ? | FI |
78.47.88.161 | ? | DE |
65.21.254.65 | ? | FI |
37.27.7.46 | ? | IR |
135.181.90.156 | ? | FI |
65.21.180.183 | ? | FI |
一般不需要攔截,尤其是如果你自己也受益於搜尋引擎優化服務。不過,如果你擔心伺服器資源佔用等問題,且您都不使用這些工具,當然也可以選擇攔截它們。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 webgains-bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: webgains-bot Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Webgains是一個高績效的聯盟營銷網路。這意味著Webgains有一個無與倫比的記錄,當它涉及到授權Webgains的廣告商和出版合作伙伴,以達到他們的峰值效能,並實現改變遊戲的結果。
Webgains有能力讓您的銷售業績突飛猛進,並對您的關鍵市場有深入的瞭解,Webgains致力於在一個擁擠的市場中為您爭取機會,只有最大膽的行動才會有所作為。
Webgains,高效能的聯盟營銷公司。
Webgains結合了最先進的技術和世界一流的專業知識,使Webgains的客戶–從藍籌股到初創公司–都處於遊戲的頂端。Webgains以您的成功為動力,指導您的每一步 – 只要我們能增加價值。
無論你是廣告商、發行商還是隻想學習聯盟營銷的基礎知識,Webgains都致力於你的成功。當你贏了,Webgains也贏了。