如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(34) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 94.130.216.182 | pot17.webmeup.com | DE |
| 94.130.237.168 | pot61.webmeup.com | DE |
| 94.130.237.99 | pot51.webmeup.com | DE |
| 176.9.25.75 | pot25.webmeup.com | DE |
| 176.9.10.174 | pot12.webmeup.com | DE |
| 94.130.237.97 | pot53.webmeup.com | DE |
| 46.4.105.24 | pot45.webmeup.com | DE |
| 46.4.120.165 | pot11.webmeup.com | DE |
| 94.130.219.230 | pot9.webmeup.com | DE |
| 94.130.236.180 | pot32.webmeup.com | DE |
| 94.130.237.95 | pot55.webmeup.com | DE |
| 88.99.90.46 | pot30.webmeup.com | DE |
| 88.99.251.222 | pot21.webmeup.com | DE |
| 46.4.107.145 | pot35.webmeup.com | DE |
| 46.4.104.16 | pot44.webmeup.com | DE |
| 88.99.150.47 | pot18.webmeup.com | DE |
| 88.99.250.16 | pot27.webmeup.com | DE |
| 116.202.246.181 | node01.belprime.net | DE |
| 65.21.113.251 | pot30.webmeup.com | FI |
| 65.21.113.242 | pot39.webmeup.com | FI |
| 37.27.129.137 | pot11.webmeup.com | FI |
| 65.21.113.246 | pot35.webmeup.com | FI |
| 65.21.113.243 | pot38.webmeup.com | FI |
| 65.21.113.202 | pot17.webmeup.com | FI |
| 65.21.113.200 | pot19.webmeup.com | FI |
| 37.27.129.201 | pot12.webmeup.com | FI |
| 65.21.113.194 | pot25.webmeup.com | FI |
| 65.21.113.205 | pot14.webmeup.com | FI |
| 65.21.46.73 | pot9.webmeup.com | FI |
| 65.21.113.249 | pot32.webmeup.com | FI |
| 65.109.35.209 | pot1.webmeup.com | FI |
| 65.21.113.198 | pot21.webmeup.com | FI |
| 65.21.44.205 | pot8.webmeup.com | FI |
| IP地址(6) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 2a01:4f8:212:246a::2 | 2a01:4f8:212:246a::2 | DE |
| 116.202.246.181 | node01.belprime.net | DE |
| 136.243.70.68 | rtc-fetcher1.awar.io | DE |
| 138.201.252.169 | datanode9.webmeup.com | DE |
| 2a01:4f8:171:2a14::2 | 2a01:4f8:171:2a14::2 | DE |
| 2a01:4f8:222:c9c::2 | 2a01:4f8:222:c9c::2 | DE |
| IP地址(3) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 88.99.2.203 | rss-crawler3.awar.io | DE |
| 88.99.136.237 | rss-crawler2.awar.io | DE |
| 88.99.62.159 | rss-crawler1.awar.io | DE |
一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Awario crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Awario crawler Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
機器人，也被稱為網路機器人、網路蜘蛛或網路爬蟲，是一種軟體應用程式，旨在以比人類更有效、更有條理和更簡潔的方式自動執行簡單和重複的任務。機器人最常見的用途是在網路蜘蛛或網路爬行中。
AwarioSmartBot和AwarioRssBot是Awario傳送的合法網路爬蟲，用於發現和收集新的和更新的網路資料（這些資料被世界各地的網際網路營銷人員進一步使用）。
AwarioSmartBot和AwarioRssBot爬蟲通過具有以下形式的使用者代理來識別：
AwarioRssBot/1.0 (+https://awario.com/bots.html; bots@awario.com) AwarioSmartBot/1.0 (+https://awario.com/bots.html; bots@awario.com)
AwarioSmartBot和AwarioRssBot爬蟲可以通過上面的使用者代理來識別。請不要試圖通過IP來識別機器人，因為我們不使用任何連續的IP塊。
AwarioSmartBot和AwarioRssBot是非常友好的網站爬蟲。我們讓它們在抓取網站時儘可能地 “溫柔”：它們每3秒只發出一次請求，如果在你的robots.txt檔案中指定了另一個抓取延遲，則會更頻繁。這些機器人尊重你在 robots.txt 檔案中指定的規則。
如果出現任何問題，可能是由於你的特定網站的特殊性，或連結到你的其他網站的錯誤。因此，我們想請你 – 如果你注意到Awario機器人的任何問題，請報告給bots@awario.com。我們將迅速為您的特定網站進行獨特的設定，使抓取永遠不會影響您網站的效能。
AwarioSmartBot和AwarioRssBot收集網路資料，這些資料被Awario應用程式進一步使用，讓網路營銷人員發現誰在網上提到他們的品牌。
如果AwarioSmartBot/AwarioRssBot爬蟲訪問過你的頁面，這意味著其內容從未被收集和分析過，也不需要重新整理。由於這個原因，你不會看到AwarioSmartBot/AwarioRssBot爬蟲對同一頁面的重複請求。
AwarioSmartBot和AwarioRssBot是：
然而，即使Awario機器人是無害的，你仍然可能想阻止機器人抓取你的網站。最簡單、最快速的方法是使用 “robots.txt”。這個文字檔案包含關於機器人應如何處理你的網站資料的指示。
使用robots.txt檔案，你可以阻止Awario爬蟲進入你的網站，或減緩它們的速度，如以下例子所示：
禁用抓取你的網站的特定部分
User-agent: AwarioRssBot User-agent: AwarioSmartBot Disallow: /private/
整站禁用抓取
User-agent: AwarioRssBot User-agent: AwarioSmartBot Disallow: /
限制爬蟲頻率
User-agent: AwarioRssBot User-agent: AwarioSmartBot Crawl-delay: 10
關於爬蟲的更多資訊，請參考http://www.robotstxt.org/。
如果您對AwarioSmartBot或AwarioRssBot仍有任何疑問，請通過郵箱取得聯絡：bots@awario.com。
