註冊
简体
> 工具>蜘蛛查詢工具

serpstatbot

serpstatbot蜘蛛/爬蟲屬於營銷型別，由Serpstat Global LTD開發執行。您可以繼續閱讀下方資訊，以深入瞭解serpstatbot基本資訊，使用者代理和訪問控制等。

基本資訊

serpstatbot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
serpstatbot
型別
營銷
開發商
Serpstat Global LTD
當前狀態
活動

使用者代理

關於serpstatbot蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
serpstatbot/2.1
  • serpstatbot/2.1
  • serpstatbot/2.0 beta
  • serpstatbot/2.0 alpha
  • serpstatbot/1.0
  • serpstatbot/1.0
使用者代理字串
serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)
首次出現
2021-07-03 17:26:32
最後出現
2024-12-26 07:28:23
遵循robots.txt
未知
來源
IP地址(48) 伺服器名稱 所屬國家
144.76.68.14 ? DE
148.251.168.205 ? DE
88.99.193.224 ? DE
88.99.240.224 static.224.240.99.88.clients.your-server.de DE
144.76.72.99 ? DE
138.201.36.87 ? DE
136.243.145.46 ? DE
2a01:4f8:171:13ad::2 2a01:4f8:171:13ad::2 DE
144.76.67.110 ? DE
88.99.149.173 ? DE
144.76.68.17 static.17.68.76.144.clients.your-server.de DE
144.76.68.76 ? DE
148.251.11.147 static.147.11.251.148.clients.your-server.de DE
88.99.244.56 ? DE
2a01:4f8:201:7089::2 2a01:4f8:201:7089::2 DE
136.243.212.110 ? DE
94.130.10.218 static.218.10.130.94.clients.your-server.de DE
88.99.95.199 static.88-99-95-199.clients.your-server.de DE
144.76.67.108 ? DE
88.99.250.124 static.124.250.99.88.clients.your-server.de DE
144.76.67.169 static.169.67.76.144.clients.your-server.de DE
136.243.153.17 ? DE
88.99.164.109 ? DE
195.201.12.243 static.243.12.201.195.clients.your-server.de DE
5.9.55.228 static.228.55.9.5.clients.your-server.de DE
144.76.67.250 ? DE
144.76.88.54 static.54.88.76.144.clients.your-server.de DE
94.130.237.182 ? DE
2a01:4f8:191:8046::2 2a01:4f8:191:8046::2 DE
2a01:4f8:13b:1288::2 2a01:4f8:13b:1288::2 DE
195.201.174.92 static.92.174.201.195.clients.your-server.de DE
136.243.155.105 ? DE
144.76.68.88 ? DE
144.76.69.39 static.39.69.76.144.clients.your-server.de DE
94.130.23.168 static.168.23.130.94.clients.your-server.de DE
144.76.68.20 static.20.68.76.144.clients.your-server.de DE
144.76.68.124 ? DE
2a01:4f8:191:8159::2 2a01:4f8:191:8159::2 DE
144.76.68.70 ? DE
144.76.72.24 ? DE
138.201.203.132 ? DE
176.9.17.6 ? DE
144.76.67.25 static.25.67.76.144.clients.your-server.de DE
2a01:4f8:191:80b5::2 2a01:4f8:191:80b5::2 DE
144.76.73.122 ? DE
136.243.212.93 ? DE
2a01:4f8:191:9299::2 2a01:4f8:191:9299::2 DE
136.243.176.156 static.156.176.243.136.clients.your-server.de DE
使用者代理字串
serpstatbot/2.0 beta (advanced backlink tracking bot; http://serpstatbot.com/; abuse@serpstatbot.com)
首次出現
2020-10-09 18:04:11
最後出現
2024-08-04 07:14:18
遵循robots.txt
否
來源
IP地址(26) 伺服器名稱 所屬國家
144.76.67.250 ? DE
88.99.193.224 ? DE
195.201.194.151 ? DE
88.99.244.56 ? DE
144.76.68.17 ? DE
144.76.72.99 ? DE
144.76.73.122 ? DE
144.76.69.39 static.39.69.76.144.clients.your-server.de DE
88.99.164.109 ? DE
94.130.10.218 ? DE
185.220.101.76 tor-exit-76.cccs.de DE
185.241.208.206 185.241.208.206 PL
185.220.101.0 berlin01.tor-exit.artikel10.org DE
107.189.8.16 polyphemus2.brandonkuschel.com LU
23.137.253.108 23.137.253.108 US
209.127.245.252 209.127.245.252 GB
185.220.101.15 berlin01.tor-exit.artikel10.org DE
使用者代理字串
serpstatbot/2.0 alpha (advanced backlink tracking bot; curl/7.58.0; http://serpstatbot.com/; abuse@serpstatbot.com)
首次出現
2020-08-22 13:48:26
最後出現
2020-08-22 13:48:26
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
144.76.68.124 static.124.68.76.144.clients.your-server.de DE
使用者代理字串
serpstatbot/1.0 (advanced backlink tracking bot; http://serpstatbot.com/; abuse@serpstatbot.com)
首次出現
2019-05-17 05:51:14
最後出現
2019-06-30 06:04:49
遵循robots.txt
未知
來源
IP地址(27) 伺服器名稱 所屬國家
144.76.68.124 ? DE
148.251.241.12 ? DE
138.201.194.13 static.13.194.201.138.clients.your-server.de DE
176.9.17.6 static.6.17.9.176.clients.your-server.de DE
144.76.151.45 ? DE
176.9.18.183 ? DE
138.201.36.87 ? DE
144.76.61.84 ? DE
5.9.110.227 ? DE
144.76.13.100 static.100.13.76.144.clients.your-server.de DE
144.76.67.110 ? DE
144.76.68.17 ? DE
144.76.151.42 ? DE
136.243.212.110 ? DE
144.76.68.88 ? DE
144.76.67.108 ? DE
136.243.155.105 ? DE
144.76.68.76 ? DE
136.243.153.17 ? DE
136.243.176.156 ? DE
使用者代理字串
serpstatbot/1.0 (advanced backlink tracking bot; http://serpstatbot.com/; abuse@serpstatbot.com)
首次出現
2019-05-17 05:51:14
最後出現
2019-06-30 06:04:49
遵循robots.txt
未知
來源
IP地址(27) 伺服器名稱 所屬國家
144.76.67.110 ? DE
144.76.68.17 ? DE
144.76.151.42 ? DE
136.243.212.110 ? DE
144.76.68.88 ? DE
144.76.67.108 ? DE
136.243.155.105 ? DE
144.76.68.76 ? DE
136.243.153.17 ? DE
136.243.176.156 ? DE

訪問控制

瞭解如何控制serpstatbot訪問許可權，避免serpstatbot抓取行為不當。

是否攔截serpstatbot？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 serpstatbot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: serpstatbot
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: serpstatbot Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: serpstatbot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

serpstatbot 的目的是什麼？

serpstatbot 會不斷爬行網路，新增新連結並跟蹤連結資料庫的變化。serpstatbot 為使用者提供市場上最大的反向連結資料庫之一，用於規劃和監控營銷活動。

如何處理抓取的資料？

抓取的資料會新增到反向連結索引中。您可以在 Serpstat 中訪問索引中的資料。

如何處理 404 或 301 頁面？

serpstatbot 收集歷史資料，以確保臨時變化不會對您的網站產生影響。如果帶有404或301伺服器響應程式碼的頁面連結仍然存在，serpstatbot將繼續查詢並跟蹤它們。您可以檢視 Google 404 政策，瞭解更多資訊。

機器人會抓取帶有 rel = nofollow 屬性的連結嗎？

是的，它會掃描。

如何 阻止serpstatbot？

Serpstatbot 遵循 robots.txt 標準。如果您不希望機器人抓取您的網站，請在robots.txt中新增以下文字：

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
User-agent: serpstatbot
Disallow: /
User-agent: serpstatbot Disallow: /
User-agent: serpstatbot
Disallow: /

請始終確保機器人本身能獲取 robots.txt 檔案。如果不能，它將預設抓取您的網站。

如果您認為 serpstatbot 沒有遵從您的 robots.txt 命令，請通過電子郵件聯絡： serpstatbot@serpstatbot.com。請附上您網站的URL和日誌條目，以顯示機器人試圖抓取它不應該抓取的頁面。

serpstatbot 支援 robots.txt 中的哪些命令？

Serpstatbot支援在robots.txt中新增以下內容：

  • Crawl-delay（抓取延遲）最多20秒（更高的數字將被削減）
  • 當嘗試獲取 robots.txt 時，在同一網站內 Redirecting（重定向）
  • 與雅虎萬用字元規範一致的 Disallow 指令中的簡單模式匹配
  • 如果 Allow 指令較長，則 Allow 指令優先於 Disallow 指令
  • 檢索 robots.txt 檔案失敗（如 403 Forbidden）會被視為沒有任何禁止。在這種情況下，機器人將抓取所有可實際訪問的頁面。

為什麼我的 robots.txt block 在 serpstatbot 上不起作用？

有幾個原因：

  • 請求 robots.txt 後的站外重定向：serpstatbot 只訪問同一域名的重定向。
  • 如果在同一伺服器上執行多個域，某些伺服器會將這些域的訪問記錄到一個檔案中，而不指定域名。您應在訪問日誌中新增域名，或按域分割訪問日誌。

如何降低 serpstatbot 的執行速度？

您可以通過在 robots.txt 檔案中新增以下設定來減慢機器人的速度：

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
User-Agent: serpstatbot
Crawl-Delay: 5
User-Agent: serpstatbot Crawl-Delay: 5
User-Agent: serpstatbot
Crawl-Delay: 5

爬行延遲（ Crawl-Delay ）必須是整數：代表請求之間等待的秒數。Serpstatbot 接受的網站請求延遲時間最多為20秒。高爬行延遲應儘量減少對您網站的影響。如果該引數設定為  User-Agent: * .

如果 Serpstatbot 機器人發現您為其他機器人使用了 Crawl-Delay ，那麼它會自動放慢爬行速度。

我能得到Serpstatbot的全部IP列表嗎？

這是 Serpstatbot 使用的所有 IP 的列表。

站長工具

我們為站長量身定做的高效工具集。
關鍵詞查詢工具
WP錯誤查詢
robots.txt測試工具
SEO工具箱
WordPress主題檢測器
SEO優化中心
WP開發寶典
蜘蛛查詢工具
檢視全部工具

常見蜘蛛/爬蟲

Common Spiders
Matchory Bot
Matchory Bot蜘蛛/爬蟲屬於營銷型別，由Matchory GmbH開發執行。您可以繼續閱讀下方資訊，以深入瞭解Matchory Bot基本資訊，使用者代理和訪問控制等。
Googlebot
GoogleBot蜘蛛/爬蟲屬於搜尋引擎型別，由Google Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解GoogleBot基本資訊，使用者代理和訪問控制等。
Online Domain Tools
Online Domain Tools蜘蛛/爬蟲屬於監控型別，由AITIS s.r.o.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Online Domain Tools基本資訊，使用者代理和訪問控制等。
AhrefsBot
AhrefsBot蜘蛛/爬蟲屬於營銷型別，由Ahrefs Pte Ltd開發執行。您可以繼續閱讀下方資訊，以深入瞭解AhrefsBot基本資訊，使用者代理和訪問控制等。
SEMrushBot
SEMrushBot蜘蛛/爬蟲屬於營銷型別，由Semrush Inc開發執行。您可以繼續閱讀下方資訊，以深入瞭解SEMrushBot基本資訊，使用者代理和訪問控制等。
DotBot
DotBot蜘蛛/爬蟲屬於營銷型別，由SEOmoz, Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解DotBot基本資訊，使用者代理和訪問控制等。
SentiBot
SentiBot蜘蛛/爬蟲屬於營銷型別，由SentiOne開發執行。您可以繼續閱讀下方資訊，以深入瞭解SentiBot基本資訊，使用者代理和訪問控制等。
Awario crawler
Awario crawler蜘蛛/爬蟲屬於營銷型別，由Link-Assistant.Com開發執行。您可以繼續閱讀下方資訊，以深入瞭解Awario crawler基本資訊，使用者代理和訪問控制等。

相關文章

Related Articles