註冊
> 工具>蜘蛛查詢工具

SEMrushBot

SEMrushBot蜘蛛/爬蟲屬於營銷型別，由Semrush Inc開發執行。您可以繼續閱讀下方資訊，以深入瞭解SEMrushBot基本資訊，使用者代理和訪問控制等。

基本資訊

SEMrushBot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
SEMrushBot
型別
營銷
開發商
Semrush Inc
當前狀態
活動

使用者代理

關於SEMrushBot蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
SemrushBot/7~bl
  • SemrushBot/7~bl
  • SemrushBot-BA
  • SemrushBot-SI/0.97
  • SiteAuditBot/0.97
  • SemrushBot-SWA/0.1
  • SemrushBot-OCOB/1
  • BacklinksExtendedBot
  • SemrushBot-BM/1.0
  • SemrushBot-COUB/1
  • SiteAuditBot/0.97
  • SEMrushBot
  • SemrushBot/7~bl-slave
  • SemrushBot-SA/0.97
  • SemrushBot-SA/0.97
  • SemrushBot/1.0~bm
  • SemrushBot/6~bl
  • SemrushBot/6~bl
  • SemrushBot-LBT
  • SemrushBot/2~bl
  • SemrushBot/3~bl
  • SemrushBot/3~bl
  • SemrushBot/3~bl
  • SemrushBot/1.2~bl
  • SemrushBot/1.1~bl
  • SemrushBot/1-bl
  • SemrushBot/0.99
  • SemrushBot/0.98
  • SemrushBot/0.97
  • SemrushBot/0.97
  • SemrushBot/0.96.4
  • SemrushBot/0.96.3
  • SemrushBot/0.96.2
  • SemrushBot/0.95
  • SemrushBot/0.92
  • SemrushBot/0.91
  • SemrushBot
  • SemrushBot
  • SemrushBot/0.9
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)
首次出現
2020-11-19 14:16:15
最後出現
2025-01-10 17:54:14
遵循robots.txt
未知
來源
IP地址(138) 伺服器名稱 所屬國家
185.191.171.12 crawl12.bl.semrush.com MD
185.191.171.1 crawl1.bl.semrush.com MD
185.191.171.21 crawl21.bl.semrush.com MD
185.191.171.41 crawl35.bl.semrush.com MD
185.191.171.13 crawl13.bl.semrush.com MD
185.191.171.18 crawl18.bl.semrush.com MD
185.191.171.22 crawl22.bl.semrush.com MD
185.191.171.43 crawl37.bl.semrush.com MD
185.191.171.42 crawl36.bl.semrush.com MD
185.191.171.7 crawl7.bl.semrush.com MD
185.191.171.26 crawl26.bl.semrush.com MD
185.191.171.24 crawl24.bl.semrush.com MD
185.191.171.37 crawl31.bl.semrush.com MD
185.191.171.8 crawl8.bl.semrush.com MD
185.191.171.23 crawl23.bl.semrush.com MD
185.191.171.14 crawl14.bl.semrush.com MD
185.191.171.6 crawl6.bl.semrush.com CY
185.191.171.17 crawl17.bl.semrush.com MD
185.191.171.19 crawl19.bl.semrush.com MD
185.191.171.39 crawl33.bl.semrush.com MD
185.191.171.45 crawl39.bl.semrush.com MD
185.191.171.34 crawl28.bl.semrush.com MD
185.191.171.44 crawl38.bl.semrush.com MD
185.191.171.38 crawl32.bl.semrush.com MD
185.191.171.33 crawl27.bl.semrush.com MD
185.191.171.3 crawl3.bl.semrush.com MD
185.191.171.5 crawl5.bl.semrush.com MD
185.191.171.16 crawl16.bl.semrush.com MD
185.191.171.2 crawl2.bl.semrush.com MD
185.191.171.40 crawl34.bl.semrush.com MD
185.191.171.20 crawl20.bl.semrush.com MD
185.191.171.4 crawl4.bl.semrush.com MD
185.191.171.35 crawl29.bl.semrush.com MD
185.191.171.36 crawl30.bl.semrush.com MD
185.191.171.10 crawl10.bl.semrush.com MD
185.191.171.11 crawl11.bl.semrush.com MD
185.191.171.9 crawl9.bl.semrush.com MD
185.191.171.15 crawl15.bl.semrush.com MD
185.191.171.25 crawl25.bl.semrush.com MD
85.208.96.193 ? US
85.208.96.195 ? US
85.208.96.194 85.208.96.194 US
85.208.96.196 85.208.96.196 US
85.208.96.199 85.208.96.199 US
85.208.96.198 ? US
85.208.96.201 ? US
85.208.96.197 85.208.96.197 US
85.208.96.202 85.208.96.202 US
85.208.96.200 ? US
85.208.96.211 211.bl.bot.semrush.com US
85.208.96.207 207.bl.bot.semrush.com US
85.208.96.204 204.bl.bot.semrush.com US
85.208.96.210 210.bl.bot.semrush.com US
85.208.96.212 212.bl.bot.semrush.com US
85.208.96.205 205.bl.bot.semrush.com US
85.208.96.203 203.bl.bot.semrush.com US
85.208.96.209 209.bl.bot.semrush.com US
85.208.96.208 208.bl.bot.semrush.com US
85.208.96.206 206.bl.bot.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-BA; +http://www.semrush.com/bot.html)
首次出現
2017-04-11 07:53:06
最後出現
2025-01-10 17:37:14
遵循robots.txt
未知
來源
IP地址(36) 伺服器名稱 所屬國家
85.208.98.23 bot.semrush.com US
85.208.98.22 bot.semrush.com US
85.208.98.29 bot.semrush.com US
85.208.98.19 bot.semrush.com US
85.208.98.16 bot.semrush.com US
85.208.98.24 bot.semrush.com US
85.208.98.31 bot.semrush.com US
85.208.98.20 bot.semrush.com US
85.208.98.30 bot.semrush.com US
85.208.98.36 ? US
3.21.39.137 ec2-3-21-39-137.us-east-2.compute.amazonaws.com US
18.222.175.139 ec2-18-222-175-139.us-east-2.compute.amazonaws.com US
35.166.134.180 ec2-35-166-134-180.us-west-2.compute.amazonaws.com US
85.208.98.34 bot.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-SI/0.97; +http://www.semrush.com/bot.html)
首次出現
2015-11-04 08:30:00
最後出現
2025-01-09 14:07:43
遵循robots.txt
未知
來源
IP地址(12) 伺服器名稱 所屬國家
85.208.98.53 85.208.98.53 US
103.136.251.75 103.136.251.75 HK
103.136.251.99 103.136.251.99 HK
85.208.98.40 bot.semrush.com US
213.174.147.83 213.174.147.83 US
192.243.56.76 ? US
192.243.55.100 ? US
85.208.96.50 ? CY
85.208.96.49 ? CY
213.174.146.73 ? US
使用者代理字串
Mozilla/5.0 (compatible; SiteAuditBot/0.97; +http://www.semrush.com/bot.html)
首次出現
2021-08-20 07:26:10
最後出現
2025-01-07 12:38:38
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
85.208.98.200 72.siteaudit.bot.semrush.com US
85.208.98.199 71.siteaudit.bot.semrush.com US
85.208.98.192 bot.semrush.com US
85.208.98.196 bot.semrush.com US
85.208.98.195 bot.semrush.com US
85.208.98.198 70.siteaudit.bot.semrush.com US
85.208.98.201 73.siteaudit.bot.semrush.com US
85.208.98.197 bot.semrush.com US
85.208.98.194 bot.semrush.com US
85.208.98.193 65.siteaudit.bot.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-SWA/0.1; +http://www.semrush.com/bot.html)
首次出現
2023-10-10 17:05:38
最後出現
2025-01-07 12:12:13
遵循robots.txt
未知
來源
IP地址(4) 伺服器名稱 所屬國家
85.208.98.52 1.swa.bot.semrush.com US
85.208.98.55 bot.semrush.com US
85.208.98.57 bot.semrush.com US
85.208.98.56 bot.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-OCOB/1; +https://www.semrush.com/bot/)
首次出現
2024-09-17 15:29:43
最後出現
2024-09-17 15:30:14
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
85.208.98.56 bot.semrush.com US
使用者代理字串
BacklinksExtendedBot
首次出現
2024-07-07 05:08:59
最後出現
2024-08-25 05:33:56
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
185.170.167.18 ? GB
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-BM/1.0; +http://www.semrush.com/bot.html)
首次出現
2020-01-11 13:05:52
最後出現
2022-11-29 16:27:54
遵循robots.txt
未知
來源
IP地址(9) 伺服器名稱 所屬國家
85.208.98.51 ? US
85.208.96.66 ? CY
85.208.96.68 ? CY
85.208.96.67 ? CY
85.208.96.65 ? CY
85.208.98.38 85.208.98.38 US
85.208.96.71 ? CY
85.208.96.69 ? CY
85.208.96.70 ? CY
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-COUB/1; +http://www.semrush.com/bot.html)
首次出現
2022-11-17 21:05:27
最後出現
2022-11-17 21:05:35
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
85.208.98.55 bot.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SiteAuditBot/0.97; +http://www.semrush.com/bot.html)
首次出現
2021-08-20 07:26:10
最後出現
2022-09-04 21:33:56
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
85.208.98.200 72.siteaudit.bot.semrush.com US
85.208.98.194 bot.semrush.com US
85.208.98.197 bot.semrush.com US
85.208.98.199 71.siteaudit.bot.semrush.com US
85.208.98.201 73.siteaudit.bot.semrush.com US
85.208.98.195 bot.semrush.com US
85.208.98.193 65.siteaudit.bot.semrush.com US
85.208.98.198 70.siteaudit.bot.semrush.com US
85.208.98.192 bot.semrush.com US
85.208.98.196 bot.semrush.com US
使用者代理字串
SEMrushBot
首次出現
2016-09-21 05:47:44
最後出現
2022-08-29 20:01:34
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
85.208.98.17 bot.semrush.com US
85.208.98.36 bot.semrush.com US
85.208.98.21 bot.semrush.com US
192.243.53.51 ? US
192.243.55.127 ? US
85.208.96.4 bot.semrush.com CY
213.174.152.152 ? US
192.243.55.126 ? US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/7~bl-slave; +http://www.semrush.com/bot.html)
首次出現
2022-01-02 19:08:34
最後出現
2022-07-17 20:01:47
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
143.198.177.229 143.198.177.229 US
147.182.180.253 taylorpublications.com US
137.184.49.240 137.184.49.240 US
147.182.177.169 147.182.177.169 US
85.208.96.45 85.208.96.45 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-SA/0.97; +http://www.semrush.com/bot.html)
首次出現
2014-08-03 18:00:31
最後出現
2021-08-29 05:37:12
遵循robots.txt
未知
來源
IP地址(4) 伺服器名稱 所屬國家
46.229.173.66 200.siteaudit.bot.semrush.com US
46.229.173.68 202.siteaudit.bot.semrush.com US
46.229.173.65 ? US
213.174.152.174 ? US
使用者代理字串
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; SemrushBot-SA/0.97; +http://www.semrush.com/bot.html)
首次出現
2019-08-08 05:21:31
最後出現
2021-08-21 21:48:11
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
46.229.173.66 200.siteaudit.bot.semrush.com US
46.229.173.68 202.siteaudit.bot.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/1.0~bm; +http://www.semrush.com/bot.html)
首次出現
2018-04-16 05:44:31
最後出現
2020-09-21 13:51:21
遵循robots.txt
否
來源
IP地址(25) 伺服器名稱 所屬國家
85.208.96.66 ? CY
85.208.96.67 ? CY
85.208.96.65 ? CY
85.208.96.68 ? CY
85.208.96.69 ? CY
85.208.96.70 ? CY
85.208.96.71 ? CY
213.174.152.182 ? US
213.174.152.184 ? US
213.174.152.185 ? US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/6~bl; http://www.semrush.com/bot.html)
首次出現
2019-06-20 06:51:49
最後出現
2020-05-11 17:04:20
遵循robots.txt
未知
來源
IP地址(29) 伺服器名稱 所屬國家
185.191.171.41 185.191.171.41 MD
185.191.171.43 ? MD
185.191.171.39 185.191.171.39 MD
185.191.171.3 bot.semrush.com MD
185.191.171.13 bot.semrush.com MD
185.191.171.17 bot.semrush.com MD
185.191.171.44 ? MD
185.191.171.42 ? MD
185.191.171.6 bot.semrush.com MD
185.191.171.2 bot.semrush.com MD
46.229.168.151 crawl23.bl.semrush.com US
46.229.168.153 crawl25.bl.semrush.com US
46.229.168.131 crawl3.bl.semrush.com US
46.229.168.143 crawl15.bl.semrush.com US
46.229.168.146 crawl18.bl.semrush.com US
46.229.168.134 crawl6.bl.semrush.com US
46.229.168.147 crawl19.bl.semrush.com US
46.229.168.149 crawl21.bl.semrush.com US
46.229.168.142 crawl14.bl.semrush.com US
46.229.168.161 crawl31.bl.semrush.com US
31.30.163.109 cst2-163-109.cust.vodafone.cz CZ
188.165.245.95 unsecured.company FR
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/6~bl; http://www.semrush.com/bot.html)
首次出現
2019-06-20 06:51:49
最後出現
2020-05-11 17:04:20
遵循robots.txt
未知
來源
IP地址(29) 伺服器名稱 所屬國家
46.229.168.151 crawl23.bl.semrush.com US
46.229.168.153 crawl25.bl.semrush.com US
46.229.168.131 crawl3.bl.semrush.com US
46.229.168.143 crawl15.bl.semrush.com US
46.229.168.146 crawl18.bl.semrush.com US
46.229.168.134 crawl6.bl.semrush.com US
46.229.168.147 crawl19.bl.semrush.com US
46.229.168.149 crawl21.bl.semrush.com US
46.229.168.142 crawl14.bl.semrush.com US
46.229.168.161 crawl31.bl.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot-LBT; +http://www.semrush.com/bot.html)
首次出現
2020-01-10 11:33:05
最後出現
2020-01-10 11:33:05
遵循robots.txt
未知
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/2~bl; +http://www.semrush.com/bot.html)
首次出現
2018-03-01 14:53:44
最後出現
2020-01-02 05:54:36
遵循robots.txt
未知
來源
IP地址(53) 伺服器名稱 所屬國家
46.229.168.143 ? US
46.229.168.140 ? US
46.229.168.152 ? US
46.229.168.137 ? US
46.229.168.131 ? US
46.229.168.154 crawl26.bl.semrush.com US
46.229.168.139 ? US
46.229.168.149 ? US
46.229.168.148 ? US
46.229.168.141 ? US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)
首次出現
2018-12-12 16:37:59
最後出現
2019-08-21 15:19:04
遵循robots.txt
未知
來源
IP地址(29) 伺服器名稱 所屬國家
46.229.168.134 crawl6.bl.semrush.com US
46.229.168.132 crawl4.bl.semrush.com US
46.229.168.135 crawl7.bl.semrush.com US
46.229.168.139 crawl11.bl.semrush.com US
46.229.168.161 ? US
46.229.168.151 crawl23.bl.semrush.com US
46.229.168.143 crawl15.bl.semrush.com US
46.229.168.147 crawl19.bl.semrush.com US
46.229.168.146 crawl18.bl.semrush.com US
46.229.168.140 crawl12.bl.semrush.com US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)
首次出現
2019-03-28 18:38:03
最後出現
2019-03-28 18:38:03
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
46.229.168.140 crawl12.bl.semrush.com US
46.229.168.154 crawl26.bl.semrush.com US
46.229.168.143 crawl15.bl.semrush.com US
46.229.168.135 crawl7.bl.semrush.com US
46.229.168.141 crawl13.bl.semrush.com US
46.229.168.146 crawl18.bl.semrush.com US
46.229.168.151 crawl23.bl.semrush.com US
46.229.168.142 crawl14.bl.semrush.com US
46.229.168.132 crawl4.bl.semrush.com US
46.229.168.129 crawl1.bl.semrush.com US
46.229.168.134 crawl6.bl.semrush.com US
46.229.168.139 crawl11.bl.semrush.com US
46.229.168.161 ? US
46.229.168.147 crawl19.bl.semrush.com US
194.36.110.216 194.36.110.216 GB
103.189.201.50 103.189.201.50 ID
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)
首次出現
2019-03-28 18:38:03
最後出現
2019-03-28 18:38:03
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
194.36.110.216 194.36.110.216 GB
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)
首次出現
2017-01-03 17:00:26
最後出現
2018-05-17 05:33:15
遵循robots.txt
未知
來源
IP地址(30) 伺服器名稱 所屬國家
46.229.168.70 ? US
46.229.168.78 ? US
46.229.168.76 ? US
46.229.168.80 ? US
46.229.168.74 ? US
46.229.168.66 ? US
46.229.168.71 ? US
46.229.168.67 ? US
46.229.168.65 ? US
46.229.168.68 ? US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/1.1~bl; +http://www.semrush.com/bot.html)
首次出現
2016-05-04 08:17:00
最後出現
2017-01-13 09:58:04
遵循robots.txt
未知
來源
IP地址(31) 伺服器名稱 所屬國家
46.229.164.100 ? US
46.229.168.67 ? US
46.229.168.68 ? US
46.229.168.69 ? US
46.229.168.70 ? US
46.229.168.73 ? US
46.229.168.74 ? US
46.229.168.72 ? US
46.229.168.71 ? US
46.229.168.65 ? US
46.229.168.66 ? US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/1~bl; +http://www.semrush.com/bot.html)
首次出現
2015-12-28 07:20:00
最後出現
2016-04-29 07:26:41
遵循robots.txt
未知
來源
IP地址(17) 伺服器名稱 所屬國家
192.243.53.51 192.243.53.51 US
192.243.55.130 192.243.55.130 US
192.243.55.129 192.243.55.129 US
192.243.55.138 192.243.55.138 US
192.243.55.137 192.243.55.137 US
192.243.55.136 192.243.55.136 US
192.243.55.134 192.243.55.134 US
192.243.55.132 192.243.55.132 US
192.243.55.133 192.243.55.133 US
192.243.55.135 192.243.55.135 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.99~bl; +http://www.semrush.com/bot.html)
首次出現
2015-09-19 09:10:00
最後出現
2016-03-31 14:16:18
遵循robots.txt
未知
來源
IP地址(6) 伺服器名稱 所屬國家
213.174.146.163 ? US
46.229.164.101 46.229.164.101 US
46.229.164.100 46.229.164.100 US
46.229.164.98 46.229.164.98 US
46.229.164.102 46.229.164.102 US
46.229.164.99 46.229.164.99 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.98~bl; +http://www.semrush.com/bot.html)
首次出現
2014-10-18 09:00:00
最後出現
2015-06-24 22:30:39
遵循robots.txt
未知
來源
IP地址(10) 伺服器名稱 所屬國家
46.229.164.114 46.229.164.114 US
46.229.164.113 46.229.164.113 US
46.229.164.115 46.229.164.115 US
46.229.164.112 46.229.164.112 US
46.229.164.111 46.229.164.111 US
46.229.164.100 46.229.164.100 US
46.229.164.102 46.229.164.102 US
46.229.164.98 46.229.164.98 US
46.229.164.101 46.229.164.101 US
46.229.164.99 46.229.164.99 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.97; +http://www.semrush.com/bot.html)
首次出現
2013-08-30 08:15:00
最後出現
2014-04-16 07:06:53
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
46.229.164.98 46.229.164.98 US
46.229.164.99 46.229.164.99 US
46.229.164.101 46.229.164.101 US
46.229.164.100 46.229.164.100 US
46.229.164.102 46.229.164.102 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.97; +http://www.semrush.com/bot.html)
首次出現
2013-08-30 08:15:00
最後出現
2014-04-16 07:06:53
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
46.229.164.98 46.229.164.98 US
46.229.164.102 46.229.164.102 US
46.229.164.101 46.229.164.101 US
46.229.164.100 46.229.164.100 US
46.229.164.99 46.229.164.99 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.96.4; +http://www.semrush.com/bot.html)
首次出現
2013-08-14 08:45:00
最後出現
2013-08-25 13:04:10
遵循robots.txt
未知
來源
IP地址(6) 伺服器名稱 所屬國家
46.229.164.98 46.229.164.98 US
46.229.164.100 46.229.164.100 US
46.229.164.97 46.229.164.97 US
46.229.164.99 46.229.164.99 US
46.229.164.101 46.229.164.101 US
46.229.164.102 46.229.164.102 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.96.3; +http://www.semrush.com/bot.html)
首次出現
2013-06-14 08:40:00
最後出現
2013-07-28 12:49:44
遵循robots.txt
未知
來源
IP地址(6) 伺服器名稱 所屬國家
46.229.164.97 46.229.164.97 US
46.229.164.98 46.229.164.98 US
46.229.164.100 46.229.164.100 US
46.229.164.99 46.229.164.99 US
46.229.164.101 46.229.164.101 US
46.229.164.102 46.229.164.102 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.96.2; +http://www.semrush.com/bot.html)
首次出現
2013-04-15 07:55:00
最後出現
2013-06-11 17:40:23
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
46.229.164.97 46.229.164.97 US
46.229.164.101 46.229.164.101 US
46.229.164.99 46.229.164.99 US
46.229.164.98 46.229.164.98 US
46.229.164.102 46.229.164.102 US
使用者代理字串
Mozilla/5.0 (compatible; SemrushBot/0.95; +http://www.semrush.com/bot.html)
首次出現
2012-09-16 09:15:00
最後出現
2013-03-14 14:39:36
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
46.229.161.138 46.229.161.138 US
46.229.161.136 46.229.161.136 US
46.229.164.103 46.229.164.103 US
46.229.164.97 46.229.164.97 US
46.229.161.132 46.229.161.132 US
使用者代理字串
SemrushBot/0.92
首次出現
2012-04-02 20:18:54
最後出現
2012-04-04 04:51:15
遵循robots.txt
未知
來源
IP地址(11) 伺服器名稱 所屬國家
107.22.134.187 ec2-107-22-134-187.compute-1.amazonaws.com US
107.22.68.116 ec2-107-22-68-116.compute-1.amazonaws.com US
174.129.166.77 ec2-174-129-166-77.compute-1.amazonaws.com US
184.72.94.71 ec2-184-72-94-71.compute-1.amazonaws.com US
184.73.143.31 ec2-184-73-143-31.compute-1.amazonaws.com US
204.236.244.200 ec2-204-236-244-200.compute-1.amazonaws.com US
50.16.122.77 ec2-50-16-122-77.compute-1.amazonaws.com US
50.17.105.131 ec2-50-17-105-131.compute-1.amazonaws.com US
50.17.33.197 ec2-50-17-33-197.compute-1.amazonaws.com US
50.19.36.141 ec2-50-19-36-141.compute-1.amazonaws.com US
107.21.183.210 ec2-107-21-183-210.compute-1.amazonaws.com US
使用者代理字串
SemrushBot/0.91
首次出現
2012-02-28 21:56:46
最後出現
2012-03-08 19:26:14
遵循robots.txt
未知
來源
IP地址(11) 伺服器名稱 所屬國家
107.21.149.52 ec2-107-21-149-52.compute-1.amazonaws.com US
107.21.155.119 ec2-107-21-155-119.compute-1.amazonaws.com US
107.22.128.82 ec2-107-22-128-82.compute-1.amazonaws.com US
184.72.140.220 ec2-184-72-140-220.compute-1.amazonaws.com US
184.72.187.47 ec2-184-72-187-47.compute-1.amazonaws.com US
23.20.2.192 ec2-23-20-2-192.compute-1.amazonaws.com US
23.20.75.166 ec2-23-20-75-166.compute-1.amazonaws.com US
50.16.11.183 ec2-50-16-11-183.compute-1.amazonaws.com US
50.16.154.80 ec2-50-16-154-80.compute-1.amazonaws.com US
75.101.210.171 ec2-75-101-210-171.compute-1.amazonaws.com US
107.20.48.129 ec2-107-20-48-129.compute-1.amazonaws.com US
使用者代理字串
SemrushBot/Nutch-1.5-SNAPSHOT
首次出現
2012-02-20 12:24:18
最後出現
2012-02-20 15:10:44
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
85.208.98.18 bot.semrush.com US
85.208.98.25 bot.semrush.com US
85.208.98.48 85.208.98.48 US
85.208.98.17 bot.semrush.com US
85.208.98.36 bot.semrush.com US
85.208.98.21 bot.semrush.com US
192.243.53.51 ? US
192.243.55.127 ? US
85.208.96.4 bot.semrush.com CY
213.174.152.152 ? US
192.243.55.126 ? US
184.72.163.70 ec2-184-72-163-70.compute-1.amazonaws.com US
184.72.181.183 ec2-184-72-181-183.compute-1.amazonaws.com US
184.73.13.192 ec2-184-73-13-192.compute-1.amazonaws.com US
184.73.142.88 ec2-184-73-142-88.compute-1.amazonaws.com US
184.73.58.164 ec2-184-73-58-164.compute-1.amazonaws.com US
204.236.243.108 ec2-204-236-243-108.compute-1.amazonaws.com US
50.16.162.168 ec2-50-16-162-168.compute-1.amazonaws.com US
50.19.162.61 ec2-50-19-162-61.compute-1.amazonaws.com US
使用者代理字串
SemrushBot/Nutch-1.5-SNAPSHOT
首次出現
2012-02-20 12:24:18
最後出現
2012-02-20 15:10:44
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
184.72.181.183 ec2-184-72-181-183.compute-1.amazonaws.com US
184.73.13.192 ec2-184-73-13-192.compute-1.amazonaws.com US
184.73.142.88 ec2-184-73-142-88.compute-1.amazonaws.com US
184.73.58.164 ec2-184-73-58-164.compute-1.amazonaws.com US
204.236.243.108 ec2-204-236-243-108.compute-1.amazonaws.com US
50.16.162.168 ec2-50-16-162-168.compute-1.amazonaws.com US
50.19.162.61 ec2-50-19-162-61.compute-1.amazonaws.com US
184.72.163.70 ec2-184-72-163-70.compute-1.amazonaws.com US
使用者代理字串
SemrushBot/0.9
首次出現
2011-11-24 12:54:08
最後出現
2011-12-29 21:46:50
遵循robots.txt
未知
來源
IP地址(40) 伺服器名稱 所屬國家
50.16.21.115 ec2-50-16-21-115.compute-1.amazonaws.com US
50.19.179.186 ec2-50-19-179-186.compute-1.amazonaws.com US
107.20.126.228 ec2-107-20-126-228.compute-1.amazonaws.com US
184.72.171.202 ec2-184-72-171-202.compute-1.amazonaws.com US
50.16.78.4 ec2-50-16-78-4.compute-1.amazonaws.com US
50.19.54.184 ec2-50-19-54-184.compute-1.amazonaws.com US
107.20.41.23 ec2-107-20-41-23.compute-1.amazonaws.com US
184.72.68.95 ec2-184-72-68-95.compute-1.amazonaws.com US
50.16.94.41 ec2-50-16-94-41.compute-1.amazonaws.com US
50.19.72.198 ec2-50-19-72-198.compute-1.amazonaws.com US
75.101.242.89 ec2-75-101-242-89.compute-1.amazonaws.com US
184.73.146.41 ec2-184-73-146-41.compute-1.amazonaws.com US
50.17.33.105 ec2-50-17-33-105.compute-1.amazonaws.com US
184.72.168.246 ec2-184-72-168-246.compute-1.amazonaws.com US
50.17.145.227 ec2-50-17-145-227.compute-1.amazonaws.com US
184.73.45.254 ec2-184-73-45-254.compute-1.amazonaws.com US
184.73.0.176 ec2-184-73-0-176.compute-1.amazonaws.com US
50.16.114.253 ec2-50-16-114-253.compute-1.amazonaws.com US
107.20.125.29 ec2-107-20-125-29.compute-1.amazonaws.com US
174.129.83.124 ec2-174-129-83-124.compute-1.amazonaws.com US
50.17.154.105 ec2-50-17-154-105.compute-1.amazonaws.com US
107.22.40.132 ec2-107-22-40-132.compute-1.amazonaws.com US
50.17.107.112 ec2-50-17-107-112.compute-1.amazonaws.com US
72.44.45.45 ec2-72-44-45-45.compute-1.amazonaws.com US
184.73.31.225 ec2-184-73-31-225.compute-1.amazonaws.com US
50.17.121.8 ec2-50-17-121-8.compute-1.amazonaws.com US
107.22.75.243 ec2-107-22-75-243.compute-1.amazonaws.com US
50.16.151.32 ec2-50-16-151-32.compute-1.amazonaws.com US
184.73.60.255 ec2-184-73-60-255.compute-1.amazonaws.com US
50.17.117.164 ec2-50-17-117-164.compute-1.amazonaws.com US
67.202.37.226 ec2-67-202-37-226.compute-1.amazonaws.com US
50.17.99.241 ec2-50-17-99-241.compute-1.amazonaws.com US
75.101.205.112 ec2-75-101-205-112.compute-1.amazonaws.com US
107.21.128.222 ec2-107-21-128-222.compute-1.amazonaws.com US
107.22.71.15 ec2-107-22-71-15.compute-1.amazonaws.com US
50.17.16.177 ec2-50-17-16-177.compute-1.amazonaws.com US
50.16.179.70 ec2-50-16-179-70.compute-1.amazonaws.com US
107.22.53.139 ec2-107-22-53-139.compute-1.amazonaws.com US
107.22.69.133 ec2-107-22-69-133.compute-1.amazonaws.com US
107.21.139.47 ec2-107-21-139-47.compute-1.amazonaws.com US

訪問控制

瞭解如何控制SEMrushBot訪問許可權，避免SEMrushBot抓取行為不當。

是否攔截SEMrushBot？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 SEMrushBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: SEMrushBot
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: SEMrushBot Disallow: /
	# robots.txt
	# 下列程式碼一般情況可以攔截該代理
	
	User-agent: SEMrushBot
	Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

機器人，也稱為網路機器人、網路蜘蛛或網路爬蟲，是一種軟體應用程式，旨在以比任何人都更有效、更有條理和更簡潔的方式自動執行簡單和重複的任務。

機器人最常見的用途是網路爬蟲或網路爬行。

SemrushBot是Semrush傳送的搜尋機器人軟體，用於發現和收集新的和更新的網路資料。

SemrushBot收集的資料用於：

  • 公共反向連結搜尋引擎索引作為稱為反向連結分析（連結網路圖）的專用工具維護
  • 網站稽覈工具，用於分析頁面 SEO、技術和可用性問題
  • 反向連結稽覈工具，有助於發現和清理個人資料中潛在危險的反向連結
  • 連結構建工具，可幫助您找到潛在客戶，與他們聯絡並監控您新獲得的反向連結
  • SEO寫作助手工具，用於檢查URL是否可訪問
  • 用於索引和搜尋文章的品牌監控工具
  • 內容分析器和帖子跟蹤工具報告
  • 頁面 SEO 檢查器和 SEO 內容模板工具報告
  • 主題研究工具報告
  • SplitSignal工具可在您的網站上建立SEO A / B測試
  • 內容大綱構建器工具報告

SemrushBot如何抓取您的網站

SemrushBot的抓取過程從網頁URL列表開始。當SemrushBot訪問這些URL時，它會儲存頁面中的超連結以供進一步抓取。此列表也稱為“爬行邊界”，根據一組 Semrush 策略反覆訪問，以有效地對映站點以進行更新：內容更改、新頁面和死連結。

如何攔截SemrushBot抓取您的網站

機器人會抓取您的網頁以幫助解析您的網站內容，因此您網站中的相關資訊很容易編入索引，並且更容易被搜尋您提供的內容的使用者使用。

儘管大多數機器人是無害的，甚至是非常有益的，但您可能仍然希望攔截它們抓取您的網站（但請注意，並非網路上的每個人都在使用機器人來幫助索引您的網站）。最簡單快捷的方法是使用robots.txt檔案。此文字檔案包含有關機器人應如何處理站點資料的說明。

重要：robots.txt檔案必須放在它適用的網站主機的頂部目錄中。否則，它對SemrushBot行為沒有影響。

要攔截SemrushBot抓取您的網站，請將以下規則新增到您的robots.txt檔案中：

  • 要攔截SemrushBot抓取您的網站以獲取連結的網路圖，請執行以下操作：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot
    Disallow: /
    User-agent: SemrushBot Disallow: /
    User-agent: SemrushBot
Disallow: /

    SemrushBot for Backlink Analytics 還支援以下機器人的非標準擴充套件.txt：

    • 爬網延遲指令。Semrush的抓取工具在兩次向網站發出請求之間最多可能需要 10 秒的間隔。更高的值將減少到此 10 秒限制。如果未指定抓取延遲，SemrushBot將根據當前伺服器負載調整對站點的請求頻率。
    • 萬用字元 （*） 的使用。

    重要細節：

    • 如果您有子域，則需要在每個子域上放置一個 robots.txt 檔案。否則，SemrushBot 將不會處理您域中的任何其他檔案，並會認為允許它抓取您子域上的所有內容。
    • robots.txt 檔案必須始終返回 HTTP 200 狀態程式碼。如果返回4xx狀態程式碼，SemrushBot將假定不存在robots.txt.txt並且沒有抓取限制。為您的robots.txt.txt檔案返回 5xx 狀態程式碼將攔截 SemrushBot 抓取您的整個網站。Semrush的爬蟲可以處理robots.txt.txt具有 3xx 狀態程式碼的檔案。

請注意，SemrushBot 最多可能需要一小時或 100 個請求才能發現對您的機器人所做的更改.txt。

  • 要攔截SemrushBot抓取您的網站以解決不同的SEO和技術問題：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SiteAuditBot
    Disallow: /
    User-agent: SiteAuditBot Disallow: /
    User-agent: SiteAuditBot
Disallow: /
  • 要攔截SemrushBot抓取您的網站以進行反向連結稽覈工具：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot-BA
    Disallow: /
    User-agent: SemrushBot-BA Disallow: /
    User-agent: SemrushBot-BA
Disallow: /
  • 要攔截SemrushBot抓取您的網站以獲取頁面SEO檢查器工具和類似工具：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot-SI
    Disallow: /
    User-agent: SemrushBot-SI Disallow: /
    User-agent: SemrushBot-SI
Disallow: /
  • 要攔截SemrushBot檢查您網站上的網址以獲取SWA工具，請執行以下操作：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot-SWA
    Disallow: /
    User-agent: SemrushBot-SWA Disallow: /
    User-agent: SemrushBot-SWA
Disallow: /
  • 要攔截SemrushBot對內容分析器和帖子跟蹤工具的網站進行爬網，請執行以下操作：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot-CT
    Disallow: /
    User-agent: SemrushBot-CT Disallow: /
    User-agent: SemrushBot-CT
Disallow: /
  • 要攔截SemrushBot抓取您的網站以進行品牌監控：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot-BM
    Disallow: /
    User-agent: SemrushBot-BM Disallow: /
    User-agent: SemrushBot-BM
Disallow: /
  • 要攔截 SplitSignalBot 抓取您的網站以獲取 SplitSignal 工具，請執行以下操作：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SplitSignalBot
    Disallow: /
    User-agent: SplitSignalBot Disallow: /
    User-agent: SplitSignalBot
Disallow: /
  • 要攔截SemrushBot-COUB抓取內容大綱生成器工具的網站：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot-COUB
    Disallow: /
    User-agent: SemrushBot-COUB Disallow: /
    User-agent: SemrushBot-COUB
Disallow: /

要防止 Web 瀏覽器伺服器日誌中出現“找不到檔案”錯誤訊息，請建立一個空的“robots.txt”檔案。

不要嘗試通過IP攔截SemrushBot，因為Semrush不使用任何連續的IP塊。

常見問題

  • 為什麼Semrush嘗試抓取不存在或具有奇怪URL引數的頁面？
    通常，如果SemrushBot檢測到您網站上不存在的頁面，它將停止抓取它們。但是，如果網路上的其他網站連結到該網頁，Semrush的抓取工具可能會繼續查詢該網頁，該網頁將不再存在。
  • 為什麼SemrushBot嘗試登入，嘗試不同的密碼並提交調查表？
    這是因為您的登入名或調查表單是使用 GET 方法提交的。輸入資料將成為請求的 URL 的一部分，任何知道該 URL 的人都可以訪問，包括Semrush的抓取工具。雖然Semrush試圖省略此類表單，但Semrush建議您將表單方法切換為 POST。
  • SemrushBot在Semrush進行站點遷移後不服從Semrush的robots.txt命令。
    如果要遷移網站（例如，從HTTP遷移到HTTPS），請不要忘記遷移robots.txt檔案。

有關機器人的更多資訊

有關機器人的更多資訊，請參閱 https://www.robotstxt.org/.

獲得支援

如果您對SemrushBot有任何疑問，請通過 bot@semrush.com 與Semrush聯絡，Semrush將盡快回復。

SemrushBot需要一些時間來發現robots.txt檔案中的變化。但是，如果您認為它長期以來一直忽略您的“robots.txt”規則，請向Semrush提供您的網站URL，顯示SemrushBot抓取不應該抓取的頁面的日誌條目，Semrush將迅速解決問題。

站長工具

我們為站長量身定做的高效工具集。
關鍵詞查詢工具
WP錯誤查詢
robots.txt測試工具
SEO工具箱
WordPress主題檢測器
SEO優化中心
WP開發寶典
蜘蛛查詢工具
檢視全部工具

常見蜘蛛/爬蟲

Common Spiders
Matchory Bot
Matchory Bot蜘蛛/爬蟲屬於營銷型別，由Matchory GmbH開發執行。您可以繼續閱讀下方資訊，以深入瞭解Matchory Bot基本資訊，使用者代理和訪問控制等。
Googlebot
GoogleBot蜘蛛/爬蟲屬於搜尋引擎型別，由Google Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解GoogleBot基本資訊，使用者代理和訪問控制等。
Online Domain Tools
Online Domain Tools蜘蛛/爬蟲屬於監控型別，由AITIS s.r.o.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Online Domain Tools基本資訊，使用者代理和訪問控制等。
AhrefsBot
AhrefsBot蜘蛛/爬蟲屬於營銷型別，由Ahrefs Pte Ltd開發執行。您可以繼續閱讀下方資訊，以深入瞭解AhrefsBot基本資訊，使用者代理和訪問控制等。
SEMrushBot
SEMrushBot蜘蛛/爬蟲屬於營銷型別，由Semrush Inc開發執行。您可以繼續閱讀下方資訊，以深入瞭解SEMrushBot基本資訊，使用者代理和訪問控制等。
DotBot
DotBot蜘蛛/爬蟲屬於營銷型別，由SEOmoz, Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解DotBot基本資訊，使用者代理和訪問控制等。
SentiBot
SentiBot蜘蛛/爬蟲屬於營銷型別，由SentiOne開發執行。您可以繼續閱讀下方資訊，以深入瞭解SentiBot基本資訊，使用者代理和訪問控制等。
Awario crawler
Awario crawler蜘蛛/爬蟲屬於營銷型別，由Link-Assistant.Com開發執行。您可以繼續閱讀下方資訊，以深入瞭解Awario crawler基本資訊，使用者代理和訪問控制等。

相關文章

Related Articles