注册
繁體
> 工具>蜘蛛查询工具

SEMrushBot

SEMrushBot蜘蛛/爬虫属于营销类型，由Semrush Inc开发运行。您可以继续阅读下方信息，以深入了解SEMrushBot基本信息，用户代理和访问控制等。

基本信息

SEMrushBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
蜘蛛/爬虫名称
SEMrushBot
类型
营销
开发商
Semrush Inc
当前状态
活动

用户代理

关于SEMrushBot蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
SemrushBot/7~bl
  • SemrushBot/7~bl
  • SemrushBot-BA
  • SemrushBot-SI/0.97
  • SiteAuditBot/0.97
  • SemrushBot-SWA/0.1
  • SemrushBot-OCOB/1
  • BacklinksExtendedBot
  • SemrushBot-BM/1.0
  • SemrushBot-COUB/1
  • SiteAuditBot/0.97
  • SEMrushBot
  • SemrushBot/7~bl-slave
  • SemrushBot-SA/0.97
  • SemrushBot-SA/0.97
  • SemrushBot/1.0~bm
  • SemrushBot/6~bl
  • SemrushBot/6~bl
  • SemrushBot-LBT
  • SemrushBot/2~bl
  • SemrushBot/3~bl
  • SemrushBot/3~bl
  • SemrushBot/3~bl
  • SemrushBot/1.2~bl
  • SemrushBot/1.1~bl
  • SemrushBot/1-bl
  • SemrushBot/0.99
  • SemrushBot/0.98
  • SemrushBot/0.97
  • SemrushBot/0.97
  • SemrushBot/0.96.4
  • SemrushBot/0.96.3
  • SemrushBot/0.96.2
  • SemrushBot/0.95
  • SemrushBot/0.92
  • SemrushBot/0.91
  • SemrushBot
  • SemrushBot
  • SemrushBot/0.9
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)
首次出现
2020-11-19 14:16:15
最后出现
2025-01-10 17:54:14
遵循robots.txt
未知
来源
IP地址(138) 服务器名称 所属国家
185.191.171.12 crawl12.bl.semrush.com MD
185.191.171.1 crawl1.bl.semrush.com MD
185.191.171.21 crawl21.bl.semrush.com MD
185.191.171.41 crawl35.bl.semrush.com MD
185.191.171.13 crawl13.bl.semrush.com MD
185.191.171.18 crawl18.bl.semrush.com MD
185.191.171.22 crawl22.bl.semrush.com MD
185.191.171.43 crawl37.bl.semrush.com MD
185.191.171.42 crawl36.bl.semrush.com MD
185.191.171.7 crawl7.bl.semrush.com MD
185.191.171.26 crawl26.bl.semrush.com MD
185.191.171.24 crawl24.bl.semrush.com MD
185.191.171.37 crawl31.bl.semrush.com MD
185.191.171.8 crawl8.bl.semrush.com MD
185.191.171.23 crawl23.bl.semrush.com MD
185.191.171.14 crawl14.bl.semrush.com MD
185.191.171.6 crawl6.bl.semrush.com CY
185.191.171.17 crawl17.bl.semrush.com MD
185.191.171.19 crawl19.bl.semrush.com MD
185.191.171.39 crawl33.bl.semrush.com MD
185.191.171.45 crawl39.bl.semrush.com MD
185.191.171.34 crawl28.bl.semrush.com MD
185.191.171.44 crawl38.bl.semrush.com MD
185.191.171.38 crawl32.bl.semrush.com MD
185.191.171.33 crawl27.bl.semrush.com MD
185.191.171.3 crawl3.bl.semrush.com MD
185.191.171.5 crawl5.bl.semrush.com MD
185.191.171.16 crawl16.bl.semrush.com MD
185.191.171.2 crawl2.bl.semrush.com MD
185.191.171.40 crawl34.bl.semrush.com MD
185.191.171.20 crawl20.bl.semrush.com MD
185.191.171.4 crawl4.bl.semrush.com MD
185.191.171.35 crawl29.bl.semrush.com MD
185.191.171.36 crawl30.bl.semrush.com MD
185.191.171.10 crawl10.bl.semrush.com MD
185.191.171.11 crawl11.bl.semrush.com MD
185.191.171.9 crawl9.bl.semrush.com MD
185.191.171.15 crawl15.bl.semrush.com MD
185.191.171.25 crawl25.bl.semrush.com MD
85.208.96.193 ? US
85.208.96.195 ? US
85.208.96.194 85.208.96.194 US
85.208.96.196 85.208.96.196 US
85.208.96.199 85.208.96.199 US
85.208.96.198 ? US
85.208.96.201 ? US
85.208.96.197 85.208.96.197 US
85.208.96.202 85.208.96.202 US
85.208.96.200 ? US
85.208.96.211 211.bl.bot.semrush.com US
85.208.96.207 207.bl.bot.semrush.com US
85.208.96.204 204.bl.bot.semrush.com US
85.208.96.210 210.bl.bot.semrush.com US
85.208.96.212 212.bl.bot.semrush.com US
85.208.96.205 205.bl.bot.semrush.com US
85.208.96.203 203.bl.bot.semrush.com US
85.208.96.209 209.bl.bot.semrush.com US
85.208.96.208 208.bl.bot.semrush.com US
85.208.96.206 206.bl.bot.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-BA; +http://www.semrush.com/bot.html)
首次出现
2017-04-11 07:53:06
最后出现
2025-01-10 17:37:14
遵循robots.txt
未知
来源
IP地址(36) 服务器名称 所属国家
85.208.98.23 bot.semrush.com US
85.208.98.22 bot.semrush.com US
85.208.98.29 bot.semrush.com US
85.208.98.19 bot.semrush.com US
85.208.98.16 bot.semrush.com US
85.208.98.24 bot.semrush.com US
85.208.98.31 bot.semrush.com US
85.208.98.20 bot.semrush.com US
85.208.98.30 bot.semrush.com US
85.208.98.36 ? US
3.21.39.137 ec2-3-21-39-137.us-east-2.compute.amazonaws.com US
18.222.175.139 ec2-18-222-175-139.us-east-2.compute.amazonaws.com US
35.166.134.180 ec2-35-166-134-180.us-west-2.compute.amazonaws.com US
85.208.98.34 bot.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-SI/0.97; +http://www.semrush.com/bot.html)
首次出现
2015-11-04 08:30:00
最后出现
2025-01-09 14:07:43
遵循robots.txt
未知
来源
IP地址(12) 服务器名称 所属国家
85.208.98.53 85.208.98.53 US
103.136.251.75 103.136.251.75 HK
103.136.251.99 103.136.251.99 HK
85.208.98.40 bot.semrush.com US
213.174.147.83 213.174.147.83 US
192.243.56.76 ? US
192.243.55.100 ? US
85.208.96.50 ? CY
85.208.96.49 ? CY
213.174.146.73 ? US
用户代理字符串
Mozilla/5.0 (compatible; SiteAuditBot/0.97; +http://www.semrush.com/bot.html)
首次出现
2021-08-20 07:26:10
最后出现
2025-01-07 12:38:38
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
85.208.98.200 72.siteaudit.bot.semrush.com US
85.208.98.199 71.siteaudit.bot.semrush.com US
85.208.98.192 bot.semrush.com US
85.208.98.196 bot.semrush.com US
85.208.98.195 bot.semrush.com US
85.208.98.198 70.siteaudit.bot.semrush.com US
85.208.98.201 73.siteaudit.bot.semrush.com US
85.208.98.197 bot.semrush.com US
85.208.98.194 bot.semrush.com US
85.208.98.193 65.siteaudit.bot.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-SWA/0.1; +http://www.semrush.com/bot.html)
首次出现
2023-10-10 17:05:38
最后出现
2025-01-07 12:12:13
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
85.208.98.52 1.swa.bot.semrush.com US
85.208.98.55 bot.semrush.com US
85.208.98.57 bot.semrush.com US
85.208.98.56 bot.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-OCOB/1; +https://www.semrush.com/bot/)
首次出现
2024-09-17 15:29:43
最后出现
2024-09-17 15:30:14
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
85.208.98.56 bot.semrush.com US
用户代理字符串
BacklinksExtendedBot
首次出现
2024-07-07 05:08:59
最后出现
2024-08-25 05:33:56
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
185.170.167.18 ? GB
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-BM/1.0; +http://www.semrush.com/bot.html)
首次出现
2020-01-11 13:05:52
最后出现
2022-11-29 16:27:54
遵循robots.txt
未知
来源
IP地址(9) 服务器名称 所属国家
85.208.98.51 ? US
85.208.96.66 ? CY
85.208.96.68 ? CY
85.208.96.67 ? CY
85.208.96.65 ? CY
85.208.98.38 85.208.98.38 US
85.208.96.71 ? CY
85.208.96.69 ? CY
85.208.96.70 ? CY
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-COUB/1; +http://www.semrush.com/bot.html)
首次出现
2022-11-17 21:05:27
最后出现
2022-11-17 21:05:35
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
85.208.98.55 bot.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SiteAuditBot/0.97; +http://www.semrush.com/bot.html)
首次出现
2021-08-20 07:26:10
最后出现
2022-09-04 21:33:56
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
85.208.98.200 72.siteaudit.bot.semrush.com US
85.208.98.194 bot.semrush.com US
85.208.98.197 bot.semrush.com US
85.208.98.199 71.siteaudit.bot.semrush.com US
85.208.98.201 73.siteaudit.bot.semrush.com US
85.208.98.195 bot.semrush.com US
85.208.98.193 65.siteaudit.bot.semrush.com US
85.208.98.198 70.siteaudit.bot.semrush.com US
85.208.98.192 bot.semrush.com US
85.208.98.196 bot.semrush.com US
用户代理字符串
SEMrushBot
首次出现
2016-09-21 05:47:44
最后出现
2022-08-29 20:01:34
遵循robots.txt
未知
来源
IP地址(8) 服务器名称 所属国家
85.208.98.17 bot.semrush.com US
85.208.98.36 bot.semrush.com US
85.208.98.21 bot.semrush.com US
192.243.53.51 ? US
192.243.55.127 ? US
85.208.96.4 bot.semrush.com CY
213.174.152.152 ? US
192.243.55.126 ? US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/7~bl-slave; +http://www.semrush.com/bot.html)
首次出现
2022-01-02 19:08:34
最后出现
2022-07-17 20:01:47
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
143.198.177.229 143.198.177.229 US
147.182.180.253 taylorpublications.com US
137.184.49.240 137.184.49.240 US
147.182.177.169 147.182.177.169 US
85.208.96.45 85.208.96.45 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-SA/0.97; +http://www.semrush.com/bot.html)
首次出现
2014-08-03 18:00:31
最后出现
2021-08-29 05:37:12
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
46.229.173.66 200.siteaudit.bot.semrush.com US
46.229.173.68 202.siteaudit.bot.semrush.com US
46.229.173.65 ? US
213.174.152.174 ? US
用户代理字符串
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; SemrushBot-SA/0.97; +http://www.semrush.com/bot.html)
首次出现
2019-08-08 05:21:31
最后出现
2021-08-21 21:48:11
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
46.229.173.66 200.siteaudit.bot.semrush.com US
46.229.173.68 202.siteaudit.bot.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/1.0~bm; +http://www.semrush.com/bot.html)
首次出现
2018-04-16 05:44:31
最后出现
2020-09-21 13:51:21
遵循robots.txt
否
来源
IP地址(25) 服务器名称 所属国家
85.208.96.66 ? CY
85.208.96.67 ? CY
85.208.96.65 ? CY
85.208.96.68 ? CY
85.208.96.69 ? CY
85.208.96.70 ? CY
85.208.96.71 ? CY
213.174.152.182 ? US
213.174.152.184 ? US
213.174.152.185 ? US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/6~bl; http://www.semrush.com/bot.html)
首次出现
2019-06-20 06:51:49
最后出现
2020-05-11 17:04:20
遵循robots.txt
未知
来源
IP地址(29) 服务器名称 所属国家
185.191.171.41 185.191.171.41 MD
185.191.171.43 ? MD
185.191.171.39 185.191.171.39 MD
185.191.171.3 bot.semrush.com MD
185.191.171.13 bot.semrush.com MD
185.191.171.17 bot.semrush.com MD
185.191.171.44 ? MD
185.191.171.42 ? MD
185.191.171.6 bot.semrush.com MD
185.191.171.2 bot.semrush.com MD
46.229.168.151 crawl23.bl.semrush.com US
46.229.168.153 crawl25.bl.semrush.com US
46.229.168.131 crawl3.bl.semrush.com US
46.229.168.143 crawl15.bl.semrush.com US
46.229.168.146 crawl18.bl.semrush.com US
46.229.168.134 crawl6.bl.semrush.com US
46.229.168.147 crawl19.bl.semrush.com US
46.229.168.149 crawl21.bl.semrush.com US
46.229.168.142 crawl14.bl.semrush.com US
46.229.168.161 crawl31.bl.semrush.com US
31.30.163.109 cst2-163-109.cust.vodafone.cz CZ
188.165.245.95 unsecured.company FR
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/6~bl; http://www.semrush.com/bot.html)
首次出现
2019-06-20 06:51:49
最后出现
2020-05-11 17:04:20
遵循robots.txt
未知
来源
IP地址(29) 服务器名称 所属国家
46.229.168.151 crawl23.bl.semrush.com US
46.229.168.153 crawl25.bl.semrush.com US
46.229.168.131 crawl3.bl.semrush.com US
46.229.168.143 crawl15.bl.semrush.com US
46.229.168.146 crawl18.bl.semrush.com US
46.229.168.134 crawl6.bl.semrush.com US
46.229.168.147 crawl19.bl.semrush.com US
46.229.168.149 crawl21.bl.semrush.com US
46.229.168.142 crawl14.bl.semrush.com US
46.229.168.161 crawl31.bl.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot-LBT; +http://www.semrush.com/bot.html)
首次出现
2020-01-10 11:33:05
最后出现
2020-01-10 11:33:05
遵循robots.txt
未知
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/2~bl; +http://www.semrush.com/bot.html)
首次出现
2018-03-01 14:53:44
最后出现
2020-01-02 05:54:36
遵循robots.txt
未知
来源
IP地址(53) 服务器名称 所属国家
46.229.168.143 ? US
46.229.168.140 ? US
46.229.168.152 ? US
46.229.168.137 ? US
46.229.168.131 ? US
46.229.168.154 crawl26.bl.semrush.com US
46.229.168.139 ? US
46.229.168.149 ? US
46.229.168.148 ? US
46.229.168.141 ? US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)
首次出现
2018-12-12 16:37:59
最后出现
2019-08-21 15:19:04
遵循robots.txt
未知
来源
IP地址(29) 服务器名称 所属国家
46.229.168.134 crawl6.bl.semrush.com US
46.229.168.132 crawl4.bl.semrush.com US
46.229.168.135 crawl7.bl.semrush.com US
46.229.168.139 crawl11.bl.semrush.com US
46.229.168.161 ? US
46.229.168.151 crawl23.bl.semrush.com US
46.229.168.143 crawl15.bl.semrush.com US
46.229.168.147 crawl19.bl.semrush.com US
46.229.168.146 crawl18.bl.semrush.com US
46.229.168.140 crawl12.bl.semrush.com US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)
首次出现
2019-03-28 18:38:03
最后出现
2019-03-28 18:38:03
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
46.229.168.140 crawl12.bl.semrush.com US
46.229.168.154 crawl26.bl.semrush.com US
46.229.168.143 crawl15.bl.semrush.com US
46.229.168.135 crawl7.bl.semrush.com US
46.229.168.141 crawl13.bl.semrush.com US
46.229.168.146 crawl18.bl.semrush.com US
46.229.168.151 crawl23.bl.semrush.com US
46.229.168.142 crawl14.bl.semrush.com US
46.229.168.132 crawl4.bl.semrush.com US
46.229.168.129 crawl1.bl.semrush.com US
46.229.168.134 crawl6.bl.semrush.com US
46.229.168.139 crawl11.bl.semrush.com US
46.229.168.161 ? US
46.229.168.147 crawl19.bl.semrush.com US
194.36.110.216 194.36.110.216 GB
103.189.201.50 103.189.201.50 ID
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/3~bl; http://www.semrush.com/bot.html)
首次出现
2019-03-28 18:38:03
最后出现
2019-03-28 18:38:03
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
194.36.110.216 194.36.110.216 GB
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)
首次出现
2017-01-03 17:00:26
最后出现
2018-05-17 05:33:15
遵循robots.txt
未知
来源
IP地址(30) 服务器名称 所属国家
46.229.168.70 ? US
46.229.168.78 ? US
46.229.168.76 ? US
46.229.168.80 ? US
46.229.168.74 ? US
46.229.168.66 ? US
46.229.168.71 ? US
46.229.168.67 ? US
46.229.168.65 ? US
46.229.168.68 ? US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/1.1~bl; +http://www.semrush.com/bot.html)
首次出现
2016-05-04 08:17:00
最后出现
2017-01-13 09:58:04
遵循robots.txt
未知
来源
IP地址(31) 服务器名称 所属国家
46.229.164.100 ? US
46.229.168.67 ? US
46.229.168.68 ? US
46.229.168.69 ? US
46.229.168.70 ? US
46.229.168.73 ? US
46.229.168.74 ? US
46.229.168.72 ? US
46.229.168.71 ? US
46.229.168.65 ? US
46.229.168.66 ? US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/1~bl; +http://www.semrush.com/bot.html)
首次出现
2015-12-28 07:20:00
最后出现
2016-04-29 07:26:41
遵循robots.txt
未知
来源
IP地址(17) 服务器名称 所属国家
192.243.53.51 192.243.53.51 US
192.243.55.130 192.243.55.130 US
192.243.55.129 192.243.55.129 US
192.243.55.138 192.243.55.138 US
192.243.55.137 192.243.55.137 US
192.243.55.136 192.243.55.136 US
192.243.55.134 192.243.55.134 US
192.243.55.132 192.243.55.132 US
192.243.55.133 192.243.55.133 US
192.243.55.135 192.243.55.135 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.99~bl; +http://www.semrush.com/bot.html)
首次出现
2015-09-19 09:10:00
最后出现
2016-03-31 14:16:18
遵循robots.txt
未知
来源
IP地址(6) 服务器名称 所属国家
213.174.146.163 ? US
46.229.164.101 46.229.164.101 US
46.229.164.100 46.229.164.100 US
46.229.164.98 46.229.164.98 US
46.229.164.102 46.229.164.102 US
46.229.164.99 46.229.164.99 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.98~bl; +http://www.semrush.com/bot.html)
首次出现
2014-10-18 09:00:00
最后出现
2015-06-24 22:30:39
遵循robots.txt
未知
来源
IP地址(10) 服务器名称 所属国家
46.229.164.114 46.229.164.114 US
46.229.164.113 46.229.164.113 US
46.229.164.115 46.229.164.115 US
46.229.164.112 46.229.164.112 US
46.229.164.111 46.229.164.111 US
46.229.164.100 46.229.164.100 US
46.229.164.102 46.229.164.102 US
46.229.164.98 46.229.164.98 US
46.229.164.101 46.229.164.101 US
46.229.164.99 46.229.164.99 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.97; +http://www.semrush.com/bot.html)
首次出现
2013-08-30 08:15:00
最后出现
2014-04-16 07:06:53
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
46.229.164.98 46.229.164.98 US
46.229.164.99 46.229.164.99 US
46.229.164.101 46.229.164.101 US
46.229.164.100 46.229.164.100 US
46.229.164.102 46.229.164.102 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.97; +http://www.semrush.com/bot.html)
首次出现
2013-08-30 08:15:00
最后出现
2014-04-16 07:06:53
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
46.229.164.98 46.229.164.98 US
46.229.164.102 46.229.164.102 US
46.229.164.101 46.229.164.101 US
46.229.164.100 46.229.164.100 US
46.229.164.99 46.229.164.99 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.96.4; +http://www.semrush.com/bot.html)
首次出现
2013-08-14 08:45:00
最后出现
2013-08-25 13:04:10
遵循robots.txt
未知
来源
IP地址(6) 服务器名称 所属国家
46.229.164.98 46.229.164.98 US
46.229.164.100 46.229.164.100 US
46.229.164.97 46.229.164.97 US
46.229.164.99 46.229.164.99 US
46.229.164.101 46.229.164.101 US
46.229.164.102 46.229.164.102 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.96.3; +http://www.semrush.com/bot.html)
首次出现
2013-06-14 08:40:00
最后出现
2013-07-28 12:49:44
遵循robots.txt
未知
来源
IP地址(6) 服务器名称 所属国家
46.229.164.97 46.229.164.97 US
46.229.164.98 46.229.164.98 US
46.229.164.100 46.229.164.100 US
46.229.164.99 46.229.164.99 US
46.229.164.101 46.229.164.101 US
46.229.164.102 46.229.164.102 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.96.2; +http://www.semrush.com/bot.html)
首次出现
2013-04-15 07:55:00
最后出现
2013-06-11 17:40:23
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
46.229.164.97 46.229.164.97 US
46.229.164.101 46.229.164.101 US
46.229.164.99 46.229.164.99 US
46.229.164.98 46.229.164.98 US
46.229.164.102 46.229.164.102 US
用户代理字符串
Mozilla/5.0 (compatible; SemrushBot/0.95; +http://www.semrush.com/bot.html)
首次出现
2012-09-16 09:15:00
最后出现
2013-03-14 14:39:36
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
46.229.161.138 46.229.161.138 US
46.229.161.136 46.229.161.136 US
46.229.164.103 46.229.164.103 US
46.229.164.97 46.229.164.97 US
46.229.161.132 46.229.161.132 US
用户代理字符串
SemrushBot/0.92
首次出现
2012-04-02 20:18:54
最后出现
2012-04-04 04:51:15
遵循robots.txt
未知
来源
IP地址(11) 服务器名称 所属国家
107.22.134.187 ec2-107-22-134-187.compute-1.amazonaws.com US
107.22.68.116 ec2-107-22-68-116.compute-1.amazonaws.com US
174.129.166.77 ec2-174-129-166-77.compute-1.amazonaws.com US
184.72.94.71 ec2-184-72-94-71.compute-1.amazonaws.com US
184.73.143.31 ec2-184-73-143-31.compute-1.amazonaws.com US
204.236.244.200 ec2-204-236-244-200.compute-1.amazonaws.com US
50.16.122.77 ec2-50-16-122-77.compute-1.amazonaws.com US
50.17.105.131 ec2-50-17-105-131.compute-1.amazonaws.com US
50.17.33.197 ec2-50-17-33-197.compute-1.amazonaws.com US
50.19.36.141 ec2-50-19-36-141.compute-1.amazonaws.com US
107.21.183.210 ec2-107-21-183-210.compute-1.amazonaws.com US
用户代理字符串
SemrushBot/0.91
首次出现
2012-02-28 21:56:46
最后出现
2012-03-08 19:26:14
遵循robots.txt
未知
来源
IP地址(11) 服务器名称 所属国家
107.21.149.52 ec2-107-21-149-52.compute-1.amazonaws.com US
107.21.155.119 ec2-107-21-155-119.compute-1.amazonaws.com US
107.22.128.82 ec2-107-22-128-82.compute-1.amazonaws.com US
184.72.140.220 ec2-184-72-140-220.compute-1.amazonaws.com US
184.72.187.47 ec2-184-72-187-47.compute-1.amazonaws.com US
23.20.2.192 ec2-23-20-2-192.compute-1.amazonaws.com US
23.20.75.166 ec2-23-20-75-166.compute-1.amazonaws.com US
50.16.11.183 ec2-50-16-11-183.compute-1.amazonaws.com US
50.16.154.80 ec2-50-16-154-80.compute-1.amazonaws.com US
75.101.210.171 ec2-75-101-210-171.compute-1.amazonaws.com US
107.20.48.129 ec2-107-20-48-129.compute-1.amazonaws.com US
用户代理字符串
SemrushBot/Nutch-1.5-SNAPSHOT
首次出现
2012-02-20 12:24:18
最后出现
2012-02-20 15:10:44
遵循robots.txt
未知
来源
IP地址(8) 服务器名称 所属国家
85.208.98.18 bot.semrush.com US
85.208.98.25 bot.semrush.com US
85.208.98.48 85.208.98.48 US
85.208.98.17 bot.semrush.com US
85.208.98.36 bot.semrush.com US
85.208.98.21 bot.semrush.com US
192.243.53.51 ? US
192.243.55.127 ? US
85.208.96.4 bot.semrush.com CY
213.174.152.152 ? US
192.243.55.126 ? US
184.72.163.70 ec2-184-72-163-70.compute-1.amazonaws.com US
184.72.181.183 ec2-184-72-181-183.compute-1.amazonaws.com US
184.73.13.192 ec2-184-73-13-192.compute-1.amazonaws.com US
184.73.142.88 ec2-184-73-142-88.compute-1.amazonaws.com US
184.73.58.164 ec2-184-73-58-164.compute-1.amazonaws.com US
204.236.243.108 ec2-204-236-243-108.compute-1.amazonaws.com US
50.16.162.168 ec2-50-16-162-168.compute-1.amazonaws.com US
50.19.162.61 ec2-50-19-162-61.compute-1.amazonaws.com US
用户代理字符串
SemrushBot/Nutch-1.5-SNAPSHOT
首次出现
2012-02-20 12:24:18
最后出现
2012-02-20 15:10:44
遵循robots.txt
未知
来源
IP地址(8) 服务器名称 所属国家
184.72.181.183 ec2-184-72-181-183.compute-1.amazonaws.com US
184.73.13.192 ec2-184-73-13-192.compute-1.amazonaws.com US
184.73.142.88 ec2-184-73-142-88.compute-1.amazonaws.com US
184.73.58.164 ec2-184-73-58-164.compute-1.amazonaws.com US
204.236.243.108 ec2-204-236-243-108.compute-1.amazonaws.com US
50.16.162.168 ec2-50-16-162-168.compute-1.amazonaws.com US
50.19.162.61 ec2-50-19-162-61.compute-1.amazonaws.com US
184.72.163.70 ec2-184-72-163-70.compute-1.amazonaws.com US
用户代理字符串
SemrushBot/0.9
首次出现
2011-11-24 12:54:08
最后出现
2011-12-29 21:46:50
遵循robots.txt
未知
来源
IP地址(40) 服务器名称 所属国家
50.16.21.115 ec2-50-16-21-115.compute-1.amazonaws.com US
50.19.179.186 ec2-50-19-179-186.compute-1.amazonaws.com US
107.20.126.228 ec2-107-20-126-228.compute-1.amazonaws.com US
184.72.171.202 ec2-184-72-171-202.compute-1.amazonaws.com US
50.16.78.4 ec2-50-16-78-4.compute-1.amazonaws.com US
50.19.54.184 ec2-50-19-54-184.compute-1.amazonaws.com US
107.20.41.23 ec2-107-20-41-23.compute-1.amazonaws.com US
184.72.68.95 ec2-184-72-68-95.compute-1.amazonaws.com US
50.16.94.41 ec2-50-16-94-41.compute-1.amazonaws.com US
50.19.72.198 ec2-50-19-72-198.compute-1.amazonaws.com US
75.101.242.89 ec2-75-101-242-89.compute-1.amazonaws.com US
184.73.146.41 ec2-184-73-146-41.compute-1.amazonaws.com US
50.17.33.105 ec2-50-17-33-105.compute-1.amazonaws.com US
184.72.168.246 ec2-184-72-168-246.compute-1.amazonaws.com US
50.17.145.227 ec2-50-17-145-227.compute-1.amazonaws.com US
184.73.45.254 ec2-184-73-45-254.compute-1.amazonaws.com US
184.73.0.176 ec2-184-73-0-176.compute-1.amazonaws.com US
50.16.114.253 ec2-50-16-114-253.compute-1.amazonaws.com US
107.20.125.29 ec2-107-20-125-29.compute-1.amazonaws.com US
174.129.83.124 ec2-174-129-83-124.compute-1.amazonaws.com US
50.17.154.105 ec2-50-17-154-105.compute-1.amazonaws.com US
107.22.40.132 ec2-107-22-40-132.compute-1.amazonaws.com US
50.17.107.112 ec2-50-17-107-112.compute-1.amazonaws.com US
72.44.45.45 ec2-72-44-45-45.compute-1.amazonaws.com US
184.73.31.225 ec2-184-73-31-225.compute-1.amazonaws.com US
50.17.121.8 ec2-50-17-121-8.compute-1.amazonaws.com US
107.22.75.243 ec2-107-22-75-243.compute-1.amazonaws.com US
50.16.151.32 ec2-50-16-151-32.compute-1.amazonaws.com US
184.73.60.255 ec2-184-73-60-255.compute-1.amazonaws.com US
50.17.117.164 ec2-50-17-117-164.compute-1.amazonaws.com US
67.202.37.226 ec2-67-202-37-226.compute-1.amazonaws.com US
50.17.99.241 ec2-50-17-99-241.compute-1.amazonaws.com US
75.101.205.112 ec2-75-101-205-112.compute-1.amazonaws.com US
107.21.128.222 ec2-107-21-128-222.compute-1.amazonaws.com US
107.22.71.15 ec2-107-22-71-15.compute-1.amazonaws.com US
50.17.16.177 ec2-50-17-16-177.compute-1.amazonaws.com US
50.16.179.70 ec2-50-16-179-70.compute-1.amazonaws.com US
107.22.53.139 ec2-107-22-53-139.compute-1.amazonaws.com US
107.22.69.133 ec2-107-22-69-133.compute-1.amazonaws.com US
107.21.139.47 ec2-107-21-139-47.compute-1.amazonaws.com US

访问控制

了解如何控制SEMrushBot访问权限，避免SEMrushBot抓取行为不当。

是否拦截SEMrushBot？

一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 SEMrushBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: SEMrushBot
Disallow: /
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: SEMrushBot Disallow: /
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: SEMrushBot
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

机器人，也称为网络机器人、网络蜘蛛或网络爬虫，是一种软件应用程序，旨在以比任何人都更有效、更有条理和更简洁的方式自动执行简单和重复的任务。

机器人最常见的用途是网络爬虫或网络爬行。

SemrushBot是Semrush发送的搜索机器人软件，用于发现和收集新的和更新的网络数据。

SemrushBot收集的数据用于：

  • 公共反向链接搜索引擎索引作为称为反向链接分析（链接网络图）的专用工具维护
  • 网站审核工具，用于分析页面 SEO、技术和可用性问题
  • 反向链接审核工具，有助于发现和清理个人资料中潜在危险的反向链接
  • 链接构建工具，可帮助您找到潜在客户，与他们联系并监控您新获得的反向链接
  • SEO写作助手工具，用于检查URL是否可访问
  • 用于索引和搜索文章的品牌监控工具
  • 内容分析器和帖子跟踪工具报告
  • 页面 SEO 检查器和 SEO 内容模板工具报告
  • 主题研究工具报告
  • SplitSignal工具可在您的网站上创建SEO A / B测试
  • 内容大纲构建器工具报告

SemrushBot如何抓取您的网站

SemrushBot的抓取过程从网页URL列表开始。当SemrushBot访问这些URL时，它会保存页面中的超链接以供进一步抓取。此列表也称为“爬行边界”，根据一组 Semrush 策略反复访问，以有效地映射站点以进行更新：内容更改、新页面和死链接。

如何拦截SemrushBot抓取您的网站

机器人会抓取您的网页以帮助解析您的网站内容，因此您网站中的相关信息很容易编入索引，并且更容易被搜索您提供的内容的用户使用。

尽管大多数机器人是无害的，甚至是非常有益的，但您可能仍然希望拦截它们抓取您的网站（但请注意，并非网络上的每个人都在使用机器人来帮助索引您的网站）。最简单快捷的方法是使用robots.txt文件。此文本文件包含有关机器人应如何处理站点数据的说明。

重要：robots.txt文件必须放在它适用的网站主机的顶部目录中。否则，它对SemrushBot行为没有影响。

要拦截SemrushBot抓取您的网站，请将以下规则添加到您的robots.txt文件中：

  • 要拦截SemrushBot抓取您的网站以获取链接的网络图，请执行以下操作：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot
    Disallow: /
    User-agent: SemrushBot Disallow: /
    User-agent: SemrushBot
Disallow: /

    SemrushBot for Backlink Analytics 还支持以下机器人的非标准扩展.txt：

    • 爬网延迟指令。Semrush的抓取工具在两次向网站发出请求之间最多可能需要 10 秒的间隔。更高的值将减少到此 10 秒限制。如果未指定抓取延迟，SemrushBot将根据当前服务器负载调整对站点的请求频率。
    • 通配符 （*） 的使用。

    重要细节：

    • 如果您有子域，则需要在每个子域上放置一个 robots.txt 文件。否则，SemrushBot 将不会处理您域中的任何其他文件，并会认为允许它抓取您子域上的所有内容。
    • robots.txt 文件必须始终返回 HTTP 200 状态代码。如果返回4xx状态代码，SemrushBot将假定不存在robots.txt.txt并且没有抓取限制。为您的robots.txt.txt文件返回 5xx 状态代码将拦截 SemrushBot 抓取您的整个网站。Semrush的爬虫可以处理robots.txt.txt具有 3xx 状态代码的文件。

请注意，SemrushBot 最多可能需要一小时或 100 个请求才能发现对您的机器人所做的更改.txt。

  • 要拦截SemrushBot抓取您的网站以解决不同的SEO和技术问题：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SiteAuditBot
    Disallow: /
    User-agent: SiteAuditBot Disallow: /
    User-agent: SiteAuditBot
Disallow: /
  • 要拦截SemrushBot抓取您的网站以进行反向链接审核工具：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot-BA
    Disallow: /
    User-agent: SemrushBot-BA Disallow: /
    User-agent: SemrushBot-BA
Disallow: /
  • 要拦截SemrushBot抓取您的网站以获取页面SEO检查器工具和类似工具：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot-SI
    Disallow: /
    User-agent: SemrushBot-SI Disallow: /
    User-agent: SemrushBot-SI
Disallow: /
  • 要拦截SemrushBot检查您网站上的网址以获取SWA工具，请执行以下操作：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot-SWA
    Disallow: /
    User-agent: SemrushBot-SWA Disallow: /
    User-agent: SemrushBot-SWA
Disallow: /
  • 要拦截SemrushBot对内容分析器和帖子跟踪工具的网站进行爬网，请执行以下操作：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot-CT
    Disallow: /
    User-agent: SemrushBot-CT Disallow: /
    User-agent: SemrushBot-CT
Disallow: /
  • 要拦截SemrushBot抓取您的网站以进行品牌监控：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot-BM
    Disallow: /
    User-agent: SemrushBot-BM Disallow: /
    User-agent: SemrushBot-BM
Disallow: /
  • 要拦截 SplitSignalBot 抓取您的网站以获取 SplitSignal 工具，请执行以下操作：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SplitSignalBot
    Disallow: /
    User-agent: SplitSignalBot Disallow: /
    User-agent: SplitSignalBot
Disallow: /
  • 要拦截SemrushBot-COUB抓取内容大纲生成器工具的网站：
    Plain text
    Copy to clipboard
    Open code in new window
    EnlighterJS 3 Syntax Highlighter
    User-agent: SemrushBot-COUB
    Disallow: /
    User-agent: SemrushBot-COUB Disallow: /
    User-agent: SemrushBot-COUB
Disallow: /

要防止 Web 浏览器服务器日志中出现“找不到文件”错误消息，请创建一个空的“robots.txt”文件。

不要尝试通过IP拦截SemrushBot，因为Semrush不使用任何连续的IP块。

常见问题

  • 为什么Semrush尝试抓取不存在或具有奇怪URL参数的页面？
    通常，如果SemrushBot检测到您网站上不存在的页面，它将停止抓取它们。但是，如果网络上的其他网站链接到该网页，Semrush的抓取工具可能会继续查找该网页，该网页将不再存在。
  • 为什么SemrushBot尝试登录，尝试不同的密码并提交调查表？
    这是因为您的登录名或调查表单是使用 GET 方法提交的。输入数据将成为请求的 URL 的一部分，任何知道该 URL 的人都可以访问，包括Semrush的抓取工具。虽然Semrush试图省略此类表单，但Semrush建议您将表单方法切换为 POST。
  • SemrushBot在Semrush进行站点迁移后不服从Semrush的robots.txt命令。
    如果要迁移网站（例如，从HTTP迁移到HTTPS），请不要忘记迁移robots.txt文件。

有关机器人的更多信息

有关机器人的更多信息，请参阅 https://www.robotstxt.org/.

获得支持

如果您对SemrushBot有任何疑问，请通过 bot@semrush.com 与Semrush联系，Semrush将尽快回复。

SemrushBot需要一些时间来发现robots.txt文件中的变化。但是，如果您认为它长期以来一直忽略您的“robots.txt”规则，请向Semrush提供您的网站URL，显示SemrushBot抓取不应该抓取的页面的日志条目，Semrush将迅速解决问题。

站长工具

我们为站长量身定做的高效工具集。
关键词查找工具
WP错误查找
robots.txt测试工具
SEO工具箱
WordPress主题检测器
SEO优化中心
WP开发宝典
蜘蛛查询工具
查看全部工具

常见蜘蛛/爬虫

Common Spiders
Matchory Bot
Matchory Bot蜘蛛/爬虫属于营销类型，由Matchory GmbH开发运行。您可以继续阅读下方信息，以深入了解Matchory Bot基本信息，用户代理和访问控制等。
Googlebot
GoogleBot蜘蛛/爬虫属于搜索引擎类型，由Google Inc.开发运行。您可以继续阅读下方信息，以深入了解GoogleBot基本信息，用户代理和访问控制等。
Online Domain Tools
Online Domain Tools蜘蛛/爬虫属于监控类型，由AITIS s.r.o.开发运行。您可以继续阅读下方信息，以深入了解Online Domain Tools基本信息，用户代理和访问控制等。
AhrefsBot
AhrefsBot蜘蛛/爬虫属于营销类型，由Ahrefs Pte Ltd开发运行。您可以继续阅读下方信息，以深入了解AhrefsBot基本信息，用户代理和访问控制等。
SEMrushBot
SEMrushBot蜘蛛/爬虫属于营销类型，由Semrush Inc开发运行。您可以继续阅读下方信息，以深入了解SEMrushBot基本信息，用户代理和访问控制等。
DotBot
DotBot蜘蛛/爬虫属于营销类型，由SEOmoz, Inc.开发运行。您可以继续阅读下方信息，以深入了解DotBot基本信息，用户代理和访问控制等。
SentiBot
SentiBot蜘蛛/爬虫属于营销类型，由SentiOne开发运行。您可以继续阅读下方信息，以深入了解SentiBot基本信息，用户代理和访问控制等。
Awario crawler
Awario crawler蜘蛛/爬虫属于营销类型，由Link-Assistant.Com开发运行。您可以继续阅读下方信息，以深入了解Awario crawler基本信息，用户代理和访问控制等。

相关文章

Related Articles