
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(25) | 伺服器名稱 | 所屬國家 |
---|---|---|
116.202.106.128 | qw45.blogtrottr.com | DE |
116.202.106.129 | qw43.blogtrottr.com | DE |
159.69.184.221 | qw41.blogtrottr.com | DE |
116.202.106.130 | qw42.blogtrottr.com | DE |
116.202.105.93 | qw44.blogtrottr.com | DE |
2a01:4f8:c010:3074::1 | 2a01:4f8:c010:3074::1 | DE |
2a01:4f8:c010:3075::1 | 2a01:4f8:c010:3075::1 | DE |
2a01:4f8:c010:3076::1 | 2a01:4f8:c010:3076::1 | DE |
2a01:4f8:1c17:7e60::1 | 2a01:4f8:1c17:7e60::1 | DE |
2a01:4f8:1c17:7bd1::1 | 2a01:4f8:1c17:7bd1::1 | DE |
5.64.252.212 | 0540fcd4.skybroadband.com | GB |
2a01:4f8:c013:4bc8::1 | 2a01:4f8:c013:4bc8::1 | DE |
2a01:4f8:1c1e:61f1::1 | 2a01:4f8:1c1e:61f1::1 | DE |
2a01:4f8:1c1b:9b5d::1 | 2a01:4f8:1c1b:9b5d::1 | DE |
2a01:4f8:c013:49c5::1 | 2a01:4f8:c013:49c5::1 | DE |
168.119.238.53 | qw-4.blogtrottr.com | DE |
IP地址(18) | 伺服器名稱 | 所屬國家 |
---|---|---|
2a01:4f9:c010:3b18::1 | 2a01:4f9:c010:3b18::1 | DE |
2a01:4f8:c0c:830f::1 | 2a01:4f8:c0c:830f::1 | DE |
2a01:4f8:c0c:82ef::1 | 2a01:4f8:c0c:82ef::1 | DE |
2a01:4f9:c010:552b::1 | 2a01:4f9:c010:552b::1 | DE |
2a01:4f9:c010:5537::1 | 2a01:4f9:c010:5537::1 | DE |
2a01:4f8:c0c:8312::1 | 2a01:4f8:c0c:8312::1 | DE |
2a01:4f8:c0c:8310::1 | 2a01:4f8:c0c:8310::1 | DE |
2a01:4f8:241:555::2 | 2a01:4f8:241:555::2 | DE |
2a01:4f8:173:1c9e::2 | 2a01:4f8:173:1c9e::2 | DE |
2a01:4f8:c010:3d01::1 | 2a01:4f8:c010:3d01::1 | DE |
通常不需要。除非您不希望資訊流網站或者APP對您的網站內容進行抓取,網站也不提供Feed訂閱服務,則可以考慮攔截此型別爬蟲。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Blogtrottr 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Blogtrottr Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Blogtrottr將您喜愛的所有新聞、資訊和部落格的更新資訊直接傳送到您的郵箱,讓您在旅途中也能靈活地保持更新。Blogtrottr同時作為訂閱服務的連結抓取爬蟲代理名稱。
Blogtrottr被描述為 “將所有你喜歡的新聞、資料和部落格的更新直接傳送到你的電子郵箱,讓你在旅途中也能靈活地保持更新”,是新聞和書籍類的RSS閱讀器。有100多個Blogtrottr的替代品,不僅有網站,還有各種平臺的應用程式,包括Android、iPhone、iPad和Linux。最好的替代品是Feedly,它是免費的。其他與Blogtrottr相似的優秀網站和應用程式有Inoreader、QuiteRSS、Tiny Tiny RSS和NewsBlur。
Blogtrottr替代品主要是RSS閱讀器,但也可能是新聞閱讀器。如果你想要一個更窄的替代品列表,或者尋找Blogtrottr的特定功能,可以通過這些來過濾。