如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(19) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.26.159.11 | ec2-52-26-159-11.us-west-2.compute.amazonaws.com | US |
| 54.189.114.202 | ec2-54-189-114-202.us-west-2.compute.amazonaws.com | US |
| 35.164.178.38 | ec2-35-164-178-38.us-west-2.compute.amazonaws.com | US |
| 44.239.58.113 | ec2-44-239-58-113.us-west-2.compute.amazonaws.com | US |
| 52.89.120.202 | ec2-52-89-120-202.us-west-2.compute.amazonaws.com | US |
| 52.35.141.177 | ec2-52-35-141-177.us-west-2.compute.amazonaws.com | US |
| 143.198.72.22 | ? | US |
| 52.34.161.249 | ec2-52-34-161-249.us-west-2.compute.amazonaws.com | US |
| 44.241.148.94 | ec2-44-241-148-94.us-west-2.compute.amazonaws.com | US |
| 44.233.151.127 | ec2-44-233-151-127.us-west-2.compute.amazonaws.com | US |
| 44.241.181.80 | ec2-44-241-181-80.us-west-2.compute.amazonaws.com | US |
| 100.20.80.33 | ec2-100-20-80-33.us-west-2.compute.amazonaws.com | US |
| 35.84.123.54 | ec2-35-84-123-54.us-west-2.compute.amazonaws.com | US |
| 50.112.183.254 | ec2-50-112-183-254.us-west-2.compute.amazonaws.com | US |
| 67.60.3.229 | 67-60-3-229.cpe.sparklight.net | US |
| 52.41.34.172 | ec2-52-41-34-172.us-west-2.compute.amazonaws.com | US |
| 100.21.245.151 | ec2-100-21-245-151.us-west-2.compute.amazonaws.com | US |
| 52.43.148.198 | ec2-52-43-148-198.us-west-2.compute.amazonaws.com | US |
| 35.160.211.129 | ec2-35-160-211-129.us-west-2.compute.amazonaws.com | US |
| IP地址(11) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 44.233.151.127 | ec2-44-233-151-127.us-west-2.compute.amazonaws.com | US |
| 52.35.141.177 | ec2-52-35-141-177.us-west-2.compute.amazonaws.com | US |
| 54.189.114.202 | ec2-54-189-114-202.us-west-2.compute.amazonaws.com | US |
| 52.89.120.202 | ec2-52-89-120-202.us-west-2.compute.amazonaws.com | US |
| 35.84.123.54 | ec2-35-84-123-54.us-west-2.compute.amazonaws.com | US |
| 35.160.211.129 | ec2-35-160-211-129.us-west-2.compute.amazonaws.com | US |
| 100.20.80.33 | ec2-100-20-80-33.us-west-2.compute.amazonaws.com | US |
| 44.241.148.94 | ec2-44-241-148-94.us-west-2.compute.amazonaws.com | US |
| 50.112.183.254 | ec2-50-112-183-254.us-west-2.compute.amazonaws.com | US |
| 44.239.58.113 | ec2-44-239-58-113.us-west-2.compute.amazonaws.com | US |
| IP地址(2) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 54.186.248.49 | ec2-54-186-248-49.us-west-2.compute.amazonaws.com | US |
| 54.245.252.119 | ec2-54-245-252-119.us-west-2.compute.amazonaws.com | US |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 54.186.248.49 | ec2-54-186-248-49.us-west-2.compute.amazonaws.com | US |
通常不需要。除非您不希望資訊流網站或者APP對您的網站內容進行抓取，網站也不提供Feed訂閱服務，則可以考慮攔截此型別爬蟲。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Feedspotbot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Feedspotbot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Feedspot Fetcher是Feedspot在使用者向其Feedspot帳戶新增Feed時獲取RSS/Atom Feed的方式。Fetcher根據feed的更新頻率，定期抓取feed。在大多數情況下，每小時最多抓取2次feed網址。以下是網站管理員最常問到的關於這個使用者控制的feed爬取器如何工作的一些問題。
爬蟲多長時間取一次feed？
平均而言，爬蟲每小時抓取feed的次數不應超過一次。如果提要經常更新且被許多使用者關注，則每小時最多可抓取2次。在某些情況下，如果feed更新不那麼頻繁，它們會在3至6小時內被抓取一次。
為什麼Crawler不遵循robots.txt檔案？
Crawler只有在使用者明確將其新增到他們的Feedspot賬戶後才會檢索feeds。由於爬蟲的請求來自於將feed新增到Feedspot帳戶的人類使用者的明確行動，而不是來自自動爬蟲，因此爬蟲不遵循robots.txt準則。抓取器有助於減少您的頻寬消耗。例如，即使一個feed被幾個使用者關注，它也只被抓取一次，從而減少您伺服器上的負載。
我如何要求Feedspot不抓取我的所有Feeds或部分Feeds？
您可以通過您的官方郵箱將您的要求或問題發到 team@feedspot.com，標題為Feedspot Fetcher，Feedspot將嘗試在24-48小時內作出迴應。
為什麼Crawler從我們的 “私人 “網路伺服器下載資訊？
Crawler是應已將其新增到Feedspot賬戶的使用者的要求檢索資訊的。該請求有可能來自知道您的 “私人 “伺服器的使用者，或錯誤地輸入了該伺服器。
為什麼Crawler試圖從我的伺服器下載不正確的連結，或從一個不存在的伺服器下載？
Crawler是應已將其新增到Feedspot帳戶的使用者的要求而檢索提要的。有可能是使用者請求的Feed URL位置不存在，也可能是打字錯誤。
Feedspot是從單個IP還是從多個IP抓取的？
爬蟲是分散式系統，在多臺機器上執行。爬蟲可能使用幾個IP來抓取。識別它的最好方法是使用使用者代理字串：Feedspot/1.0。
你們支援Pubsub/push技術嗎？
是的。Feedspot 支援 Pubsub/push 中心。如果您的Feeds宣傳推送中心，Feedspot將訂閱更新並減少抓取Feed的次數。
如果上述常見問題未能解決您的問題，你可以把你的問題發到 team@feedspot.com，標題為 Feedspot Fetcher，Feedspot會盡量在 24-48 小時內答覆。
