注册
> 工具>蜘蛛查询工具

HubSpot Crawler

HubSpot Crawler蜘蛛/爬虫属于营销类型，由HubSpot Inc.开发运行。您可以继续阅读下方信息，以深入了解HubSpot Crawler基本信息，用户代理和访问控制等。

基本信息

HubSpot Crawler的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
蜘蛛/爬虫名称
HubSpot Crawler
类型
营销
开发商
HubSpot Inc.
当前状态
活动

用户代理

关于HubSpot Crawler蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
HubSpot Domain check
  • HubSpot Domain check
  • HubSpot Url validation check
  • HubSpot Connect 2.0
  • HubSpot Crawler
  • hubspot crawler
  • HubSpot Connect 2.0
  • HubSpot Connect 2.0
  • HubSpot Connect 2.0
  • HubSpot Links Crawler 2.0
  • HubSpot Single Page link check
  • HubSpot Connect 2.0
  • HubSpot Crawler
  • HubSpot Crawler
  • HubSpot Website Grader
  • HubSpot Connect 2.0
  • HubSpot Connect 2.0
  • HubSpot Marketing Grader
  • HubSpot Marketing Grader
  • HubSpot Webcrawler
  • HubSpot Webcrawler
  • HubSpot Marketing Grader
  • HubSpot Links Crawler 1.0
  • HubSpot Crawler 1.0
  • Hubspot Biden Image Utils
  • HubSpot Marketing Grader
  • HubSpot Connect 1.0
用户代理字符串
Mozilla/5.0 (compatible; HubSpot Crawler; HubSpot Domain check; +https://www.hubspot.com)
首次出现
2023-12-26 15:46:33
最后出现
2025-01-04 10:15:51
遵循robots.txt
未知
来源
IP地址(11) 服务器名称 所属国家
54.174.58.242 54.174.58.242 US
54.174.58.228 54.174.58.228 US
54.174.58.243 54.174.58.243 US
54.174.58.253 54.174.58.253 US
54.174.58.250 54.174.58.250 US
54.174.58.233 54.174.58.233 US
54.174.58.232 54.174.58.232 US
54.174.58.241 54.174.58.241 US
54.174.58.252 54.174.58.252 US
54.174.58.246 54.174.58.246 US
54.174.58.245 54.174.58.245 US
54.174.58.254 54.174.58.254 US
用户代理字符串
Mozilla/5.0 (X11; Linux x86_64; HubSpot Url validation check; web-crawlers+url-validation@hubspot.com) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36
首次出现
2019-08-14 03:48:31
最后出现
2022-05-01 17:31:36
遵循robots.txt
未知
来源
IP地址(21) 服务器名称 所属国家
54.174.53.145 54.174.53.145 US
54.174.55.37 54.174.55.37 US
54.174.58.106 54.174.58.106 US
54.174.53.87 54.174.53.87 US
54.174.55.207 54.174.55.207 US
54.174.54.88 54.174.54.88 US
54.174.54.65 54.174.54.65 US
54.174.56.29 54.174.56.29 US
54.174.54.140 54.174.54.140 US
54.174.55.244 54.174.55.244 US
54.174.53.35 54.174.53.35 US
54.174.54.46 54.174.54.46 US
用户代理字符串
HubSpot Connect 2.0 (http://dev.hubspot.com/) - BizOpsCompanies-Tq2-BizCoDomainValidationAudit
首次出现
2019-10-20 01:16:45
最后出现
2022-03-29 18:15:35
遵循robots.txt
未知
来源
IP地址(61) 服务器名称 所属国家
54.174.53.77 54.174.53.77 US
54.174.54.217 54.174.54.217 US
54.174.55.158 54.174.55.158 US
54.174.54.97 54.174.54.97 US
54.174.54.127 54.174.54.127 US
54.174.53.186 54.174.53.186 US
54.174.54.238 54.174.54.238 US
54.174.54.144 54.174.54.144 US
54.174.53.75 54.174.53.75 US
54.174.53.45 54.174.53.45 US
用户代理字符串
Mozilla/5.0 (compatible; HubSpot Crawler; web-crawlers@hubspot.com)
首次出现
2019-05-19 12:56:53
最后出现
2020-10-07 19:31:54
遵循robots.txt
未知
来源
IP地址(34) 服务器名称 所属国家
54.174.58.252 54.174.58.252 US
54.174.58.239 54.174.58.239 US
54.174.58.248 54.174.58.248 US
54.174.55.147 54.174.55.147 US
54.174.55.170 54.174.55.170 US
54.174.55.162 54.174.55.162 US
54.174.55.157 54.174.55.157 US
54.174.55.152 54.174.55.152 US
54.174.55.167 54.174.55.167 US
54.174.55.137 54.174.55.137 US
用户代理字符串
mozilla/5.0 (compatible; hubspot crawler; web-crawlers@hubspot.com; +@operator_contact_url@)
首次出现
2019-08-27 00:15:44
最后出现
2020-09-29 14:25:33
遵循robots.txt
未知
来源
IP地址(60) 服务器名称 所属国家
54.174.58.121 ? US
54.174.54.196 ? US
54.174.56.162 ? US
54.174.53.204 ? US
54.174.54.137 ? US
54.174.55.16 ? US
54.174.53.23 ? US
54.174.53.190 ? US
54.174.55.81 ? US
54.174.55.228 ? US
用户代理字符串
HubSpot Connect 2.0 (http://dev.hubspot.com/) - BizOpsCompaniesOneOffJobs-DomainStatusNioHttpClientStatsJob
首次出现
2020-07-02 06:48:55
最后出现
2020-07-02 06:48:55
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
54.174.56.146 54.174.56.146 US
用户代理字符串
HubSpot Connect 2.0 (http://dev.hubspot.com/) - contentfilemanagerapiwebinternal-web
首次出现
2020-04-24 09:44:33
最后出现
2020-05-13 12:24:16
遵循robots.txt
未知
来源
IP地址(7) 服务器名称 所属国家
54.174.54.170 54.174.54.170 US
54.174.54.45 54.174.54.45 US
54.174.53.168 54.174.53.168 US
54.174.55.76 54.174.55.76 US
54.174.55.187 54.174.55.187 US
54.174.53.132 54.174.53.132 US
54.174.53.183 54.174.53.183 US
用户代理字符串
HubSpot Connect 2.0 (http://dev.hubspot.com/) - BizOpsCompaniesKafka-BizCoDomainValidation
首次出现
2020-02-11 09:35:57
最后出现
2020-02-11 09:35:57
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
54.174.54.138 54.174.54.138 US
用户代理字符串
HubSpot Links Crawler 2.0 http://www.hubspot.com/
首次出现
2016-06-27 07:55:00
最后出现
2020-02-07 02:11:12
遵循robots.txt
未知
来源
IP地址(148) 服务器名称 所属国家
54.174.54.113 ? US
54.174.56.108 ? US
54.174.56.189 ? US
54.174.56.113 ? US
54.174.53.145 ? US
54.174.55.56 ? US
54.174.54.176 ? US
54.174.54.32 ? US
54.174.55.11 ? US
54.174.54.168 ? US
用户代理字符串
Mozilla/5.0 (X11; Linux x86_64; HubSpot Single Page link check; web-crawlers+links@hubspot.com) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36
首次出现
2018-11-14 23:16:52
最后出现
2020-02-06 13:39:17
遵循robots.txt
未知
来源
IP地址(11) 服务器名称 所属国家
54.174.55.122 ? US
54.174.55.125 ? US
54.174.55.129 ? US
54.174.54.174 ? US
54.174.54.69 ? US
54.174.55.124 ? US
54.174.53.64 ? US
54.174.55.127 ? US
54.174.55.121 ? US
54.174.55.123 54.174.55.123 US
用户代理字符串
HubSpot Connect 2.0 (http://dev.hubspot.com/) - UrlBlacklistsKafkaWorkers-urlchecksworker
首次出现
2017-03-02 08:50:51
最后出现
2019-04-04 08:04:57
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
54.174.55.64 ? US
54.174.53.243 ? US
54.174.53.15 ec2-54-174-53-15.compute-1.amazonaws.com US
54.174.60.71 ec2-54-174-60-71.compute-1.amazonaws.com US
54.174.61.21 ec2-54-174-61-21.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (compatible; HubSpot Crawler; web-crawlers@hubspot.com; https://www.hubspot.com)
首次出现
2019-03-04 04:53:15
最后出现
2019-03-04 04:53:15
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
54.174.58.255 54.174.58.255 US
54.174.58.232 54.174.58.232 US
54.174.58.244 54.174.58.244 US
54.174.58.241 54.174.58.241 US
54.174.58.179 ? US
54.174.58.242 54.174.58.242 US
54.174.58.245 54.174.58.245 US
54.174.58.249 54.174.58.249 US
54.174.58.250 54.174.58.250 US
54.174.53.149 ? US
54.174.58.252 54.174.58.252 US
54.174.58.248 54.174.58.248 US
54.174.58.231 54.174.58.231 US
54.174.58.238 54.174.58.238 US
54.174.58.251 54.174.58.251 US
54.174.58.229 54.174.58.229 US
54.174.58.239 54.174.58.239 US
54.174.55.147 54.174.55.147 US
54.174.55.170 54.174.55.170 US
54.174.55.162 54.174.55.162 US
54.174.55.157 54.174.55.157 US
54.174.55.152 54.174.55.152 US
54.174.55.167 54.174.55.167 US
54.174.55.137 54.174.55.137 US
54.174.58.121 ? US
54.174.54.196 ? US
54.174.56.162 ? US
54.174.53.204 ? US
54.174.54.137 ? US
54.174.55.16 ? US
54.174.53.23 ? US
54.174.53.190 ? US
54.174.55.81 ? US
54.174.55.228 ? US
54.174.55.123 54.174.55.123 US
54.174.58.247 54.174.58.247 US
54.174.58.226 54.174.58.226 US
54.174.58.253 54.174.58.253 US
54.174.58.254 54.174.58.254 US
54.174.58.228 54.174.58.228 US
54.174.58.235 54.174.58.235 US
54.174.58.236 54.174.58.236 US
54.174.58.227 54.174.58.227 US
54.174.58.233 54.174.58.233 US
54.174.58.243 54.174.58.243 US
54.174.58.224 54.174.58.224 US
54.174.53.123 54.174.53.123 US
54.174.53.195 54.174.53.195 US
54.174.53.17 54.174.53.17 US
54.174.53.220 54.174.53.220 US
54.174.53.176 ? US
54.174.53.125 54.174.53.125 US
54.174.54.149 54.174.54.149 US
用户代理字符串
Mozilla/5.0 (compatible; HubSpot Crawler; web-crawlers@hubspot.com; https://www.hubspot.com)
首次出现
2019-03-04 04:53:15
最后出现
2019-03-04 04:53:15
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
54.174.55.123 54.174.55.123 US
用户代理字符串
Mozilla/5.0 (iPhone; U; CPU iPhone OS 5_1_1 like Mac OS X; en) AppleWebKit/534.46.0 (KHTML, like Gecko) CriOS/19.0.1084.60 Mobile/9B206 Safari/7534.48.3 HubSpot Website Grader (web-crawlers@hubspot.com)
首次出现
2016-12-11 07:38:04
最后出现
2016-12-11 07:38:04
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
54.174.56.141 ec2-54-174-56-141.compute-1.amazonaws.com US
54.174.61.68 ec2-54-174-61-68.compute-1.amazonaws.com US
54.174.61.37 pgg3uf.pgg3uf.cs.hubspotemail.net US
用户代理字符串
HubSpot Connect 2.0 (http://dev.hubspot.com/)
首次出现
2016-01-02 22:50:00
最后出现
2016-05-25 15:14:46
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
54.174.55.6 54.174.55.6 US
54.174.53.40 54.174.53.40 US
54.174.54.212 54.174.54.212 US
54.174.56.37 54.174.56.37 US
54.174.53.92 54.174.53.92 US
54.174.53.215 54.174.53.215 US
54.174.56.7 54.174.56.7 US
54.174.55.204 54.174.55.204 US
54.174.53.77 54.174.53.77 US
54.174.54.217 54.174.54.217 US
54.174.55.158 54.174.55.158 US
54.174.54.97 54.174.54.97 US
54.174.54.127 54.174.54.127 US
54.174.53.186 54.174.53.186 US
54.174.54.238 54.174.54.238 US
54.174.54.144 54.174.54.144 US
54.174.53.75 54.174.53.75 US
54.174.53.45 54.174.53.45 US
54.174.56.146 54.174.56.146 US
54.174.54.170 54.174.54.170 US
54.174.54.45 54.174.54.45 US
54.174.53.168 54.174.53.168 US
54.174.55.76 54.174.55.76 US
54.174.55.187 54.174.55.187 US
54.174.53.132 54.174.53.132 US
54.174.53.183 54.174.53.183 US
54.174.54.138 54.174.54.138 US
54.174.55.64 ? US
54.174.53.243 ? US
54.174.53.15 ec2-54-174-53-15.compute-1.amazonaws.com US
54.174.60.71 ec2-54-174-60-71.compute-1.amazonaws.com US
54.174.61.21 ec2-54-174-61-21.compute-1.amazonaws.com US
54.174.58.163 ec2-54-174-58-163.compute-1.amazonaws.com US
54.174.57.129 ec2-54-174-57-129.compute-1.amazonaws.com US
54.174.60.47 ec2-54-174-60-47.compute-1.amazonaws.com US
54.174.62.159 54.174.62.159 US
54.174.62.165 ? US
54.174.62.179 ? US
54.174.58.249 54.174.58.249 US
54.174.58.252 54.174.58.252 US
54.174.62.157 ? US
54.174.62.138 ? US
54.174.62.184 ? US
54.174.62.181 ? US
54.174.62.180 ? US
用户代理字符串
HubSpot Connect 2.0 (http://dev.hubspot.com/)
首次出现
2016-01-02 22:50:00
最后出现
2016-05-25 15:14:46
遵循robots.txt
未知
来源
IP地址(3) 服务器名称 所属国家
54.174.58.163 ec2-54-174-58-163.compute-1.amazonaws.com US
54.174.57.129 ec2-54-174-57-129.compute-1.amazonaws.com US
54.174.60.47 ec2-54-174-60-47.compute-1.amazonaws.com US
用户代理字符串
HubSpot Marketing Grader, HubSpot Marketing Grader
首次出现
2016-02-27 17:19:19
最后出现
2016-02-27 17:19:19
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
54.174.57.19 ec2-54-174-57-19.compute-1.amazonaws.com US
54.174.60.170 ec2-54-174-60-170.compute-1.amazonaws.com US
用户代理字符串
HubSpot Marketing Grader
首次出现
2015-08-23 10:35:36
最后出现
2016-02-27 17:19:04
遵循robots.txt
未知
来源
IP地址(13) 服务器名称 所属国家
54.174.57.19 ec2-54-174-57-19.compute-1.amazonaws.com US
54.174.60.170 ec2-54-174-60-170.compute-1.amazonaws.com US
54.174.54.169 ec2-54-174-54-169.compute-1.amazonaws.com US
54.174.53.127 ec2-54-174-53-127.compute-1.amazonaws.com US
54.174.60.191 ec2-54-174-60-191.compute-1.amazonaws.com US
54.174.56.206 ec2-54-174-56-206.compute-1.amazonaws.com US
54.174.54.26 ec2-54-174-54-26.compute-1.amazonaws.com US
54.174.56.69 ec2-54-174-56-69.compute-1.amazonaws.com US
54.174.59.82 ec2-54-174-59-82.compute-1.amazonaws.com US
54.174.60.81 ec2-54-174-60-81.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36 HubSpot Webcrawler
首次出现
2015-12-15 08:40:00
最后出现
2016-02-16 08:07:50
遵循robots.txt
未知
来源
IP地址(46) 服务器名称 所属国家
54.174.54.145 ? US
54.174.55.122 ? US
54.174.55.121 ? US
54.174.55.116 ? US
54.174.55.124 ? US
54.174.54.69 ? US
54.174.55.129 ? US
54.174.54.174 ? US
54.174.55.123 ? US
54.174.55.125 ? US
54.174.53.127 ec2-54-174-53-127.compute-1.amazonaws.com US
54.174.53.13 ec2-54-174-53-13.compute-1.amazonaws.com US
54.174.61.68 ec2-54-174-61-68.compute-1.amazonaws.com US
54.174.58.186 ec2-54-174-58-186.compute-1.amazonaws.com US
54.174.58.237 ec2-54-174-58-237.compute-1.amazonaws.com US
54.167.38.41 ec2-54-167-38-41.compute-1.amazonaws.com US
54.205.112.217 ec2-54-205-112-217.compute-1.amazonaws.com US
54.204.188.13 ec2-54-204-188-13.compute-1.amazonaws.com US
184.72.145.44 ec2-184-72-145-44.compute-1.amazonaws.com US
23.22.145.240 ec2-23-22-145-240.compute-1.amazonaws.com US
54.174.56.7 54.174.56.7 US
用户代理字符串
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36 HubSpot Webcrawler
首次出现
2015-12-15 08:40:00
最后出现
2016-02-16 08:07:50
遵循robots.txt
未知
来源
IP地址(46) 服务器名称 所属国家
54.174.53.127 ec2-54-174-53-127.compute-1.amazonaws.com US
54.174.53.13 ec2-54-174-53-13.compute-1.amazonaws.com US
54.174.61.68 ec2-54-174-61-68.compute-1.amazonaws.com US
54.174.58.186 ec2-54-174-58-186.compute-1.amazonaws.com US
54.174.58.237 ec2-54-174-58-237.compute-1.amazonaws.com US
54.167.38.41 ec2-54-167-38-41.compute-1.amazonaws.com US
54.205.112.217 ec2-54-205-112-217.compute-1.amazonaws.com US
54.204.188.13 ec2-54-204-188-13.compute-1.amazonaws.com US
184.72.145.44 ec2-184-72-145-44.compute-1.amazonaws.com US
23.22.145.240 ec2-23-22-145-240.compute-1.amazonaws.com US
用户代理字符串
com.hubspot.spooks.core.UserAgent@753535c0, HubSpot Marketing Grader
首次出现
2016-02-11 11:18:39
最后出现
2016-02-11 11:18:39
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
54.174.54.169 ec2-54-174-54-169.compute-1.amazonaws.com US
用户代理字符串
HubSpot Links Crawler 1.0 http://www.hubspot.com/
首次出现
2015-01-06 08:15:00
最后出现
2015-01-14 07:15:13
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
54.196.253.164 ec2-54-196-253-164.compute-1.amazonaws.com US
54.87.101.152 ec2-54-87-101-152.compute-1.amazonaws.com US
用户代理字符串
HubSpot Crawler 1.0 http://www.hubspot.com/
首次出现
2014-06-06 07:00:00
最后出现
2014-10-16 14:09:46
遵循robots.txt
未知
来源
IP地址(28) 服务器名称 所属国家
54.80.230.99 ec2-54-80-230-99.compute-1.amazonaws.com US
54.224.136.90 ec2-54-224-136-90.compute-1.amazonaws.com US
54.198.244.58 ec2-54-198-244-58.compute-1.amazonaws.com US
54.87.176.98 ec2-54-87-176-98.compute-1.amazonaws.com US
54.198.237.208 ec2-54-198-237-208.compute-1.amazonaws.com US
54.87.169.26 ec2-54-87-169-26.compute-1.amazonaws.com US
54.80.106.255 ec2-54-80-106-255.compute-1.amazonaws.com US
54.81.145.231 ec2-54-81-145-231.compute-1.amazonaws.com US
23.22.48.199 ec2-23-22-48-199.compute-1.amazonaws.com US
54.221.55.87 ec2-54-221-55-87.compute-1.amazonaws.com US
54.211.221.7 ec2-54-211-221-7.compute-1.amazonaws.com US
54.81.49.186 ec2-54-81-49-186.compute-1.amazonaws.com US
54.221.24.202 ec2-54-221-24-202.compute-1.amazonaws.com US
54.205.188.132 ec2-54-205-188-132.compute-1.amazonaws.com US
54.80.69.167 ec2-54-80-69-167.compute-1.amazonaws.com US
54.81.144.134 ec2-54-81-144-134.compute-1.amazonaws.com US
54.224.219.39 ec2-54-224-219-39.compute-1.amazonaws.com US
54.80.118.89 ec2-54-80-118-89.compute-1.amazonaws.com US
54.81.26.160 ec2-54-81-26-160.compute-1.amazonaws.com US
107.21.150.151 ec2-107-21-150-151.compute-1.amazonaws.com US
23.22.136.88 ec2-23-22-136-88.compute-1.amazonaws.com US
50.16.2.31 ec2-50-16-2-31.compute-1.amazonaws.com US
54.83.177.222 ec2-54-83-177-222.compute-1.amazonaws.com US
54.81.144.250 ec2-54-81-144-250.compute-1.amazonaws.com US
50.17.16.1 ec2-50-17-16-1.compute-1.amazonaws.com US
54.221.38.150 ec2-54-221-38-150.compute-1.amazonaws.com US
54.211.185.234 ec2-54-211-185-234.compute-1.amazonaws.com US
54.205.193.151 ec2-54-205-193-151.compute-1.amazonaws.com US
用户代理字符串
Hubspot Biden Image Utils
首次出现
2014-08-28 21:08:37
最后出现
2014-08-28 21:08:37
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
54.226.42.23 ec2-54-226-42-23.compute-1.amazonaws.com US
用户代理字符串
Mozilla/5.0 (iPhone; CPU iPhone OS 5_1 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9B179 Safari/7534.48.3 HubSpot Marketing Grader
首次出现
2014-06-01 21:38:05
最后出现
2014-06-01 21:38:05
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
54.174.55.145 54.174.55.145 US
54.174.55.147 54.174.55.147 US
54.174.55.137 54.174.55.137 US
54.174.54.149 54.174.54.149 US
54.174.55.17 54.174.55.17 US
54.174.55.166 54.174.55.166 US
54.174.55.162 54.174.55.162 US
54.174.55.136 54.174.55.136 US
54.174.55.170 54.174.55.170 US
54.174.55.152 54.174.55.152 US
54.174.57.19 ec2-54-174-57-19.compute-1.amazonaws.com US
54.174.60.170 ec2-54-174-60-170.compute-1.amazonaws.com US
54.174.54.169 ec2-54-174-54-169.compute-1.amazonaws.com US
54.174.53.127 ec2-54-174-53-127.compute-1.amazonaws.com US
54.174.60.191 ec2-54-174-60-191.compute-1.amazonaws.com US
54.174.56.206 ec2-54-174-56-206.compute-1.amazonaws.com US
54.174.54.26 ec2-54-174-54-26.compute-1.amazonaws.com US
54.174.56.69 ec2-54-174-56-69.compute-1.amazonaws.com US
54.174.59.82 ec2-54-174-59-82.compute-1.amazonaws.com US
54.174.60.81 ec2-54-174-60-81.compute-1.amazonaws.com US
75.101.186.240 ec2-75-101-186-240.compute-1.amazonaws.com US
用户代理字符串
HubSpot Connect 1.0 (http://dev.hubspot.com/)
首次出现
2012-10-21 00:30:00
最后出现
2014-04-23 07:40:57
遵循robots.txt
未知
来源
IP地址(27) 服务器名称 所属国家
174.129.80.74 ec2-174-129-80-74.compute-1.amazonaws.com US
50.16.54.204 ec2-50-16-54-204.compute-1.amazonaws.com US
75.101.191.166 ec2-75-101-191-166.compute-1.amazonaws.com US
184.72.184.167 ec2-184-72-184-167.compute-1.amazonaws.com US
50.17.23.45 ec2-50-17-23-45.compute-1.amazonaws.com US
23.20.228.218 ec2-23-20-228-218.compute-1.amazonaws.com US
50.19.171.92 ec2-50-19-171-92.compute-1.amazonaws.com US
23.20.81.60 ec2-23-20-81-60.compute-1.amazonaws.com US
54.196.59.44 ec2-54-196-59-44.compute-1.amazonaws.com US
23.22.146.146 ec2-23-22-146-146.compute-1.amazonaws.com US
54.204.106.31 ec2-54-204-106-31.compute-1.amazonaws.com US
23.22.197.125 ec2-23-22-197-125.compute-1.amazonaws.com US
54.211.185.234 ec2-54-211-185-234.compute-1.amazonaws.com US
23.22.233.99 ec2-23-22-233-99.compute-1.amazonaws.com US
54.226.131.113 ec2-54-226-131-113.compute-1.amazonaws.com US
107.20.88.140 ec2-107-20-88-140.compute-1.amazonaws.com US
23.22.241.89 ec2-23-22-241-89.compute-1.amazonaws.com US
54.226.17.248 ec2-54-226-17-248.compute-1.amazonaws.com US
107.21.81.227 ec2-107-21-81-227.compute-1.amazonaws.com US
23.22.75.111 ec2-23-22-75-111.compute-1.amazonaws.com US
67.202.4.105 ec2-67-202-4-105.compute-1.amazonaws.com US
107.22.137.5 ec2-107-22-137-5.compute-1.amazonaws.com US
23.23.60.241 ec2-23-23-60-241.compute-1.amazonaws.com US
72.44.35.198 ec2-72-44-35-198.compute-1.amazonaws.com US
107.22.144.50 ec2-107-22-144-50.compute-1.amazonaws.com US
50.16.146.15 ec2-50-16-146-15.compute-1.amazonaws.com US
72.44.53.168 ec2-72-44-53-168.compute-1.amazonaws.com US

访问控制

了解如何控制HubSpot Crawler访问权限，避免HubSpot Crawler抓取行为不当。

是否拦截HubSpot Crawler？

一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 HubSpot Crawler 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: HubSpot Crawler
Disallow: /
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: HubSpot Crawler Disallow: /
	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: HubSpot Crawler
	Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

HubSpot使用网络爬虫为您在HubSpot的分析工具中提供最新的实时信息，并显示您页面的实时预览。

如果您使用第三方分析软件，如谷歌分析，您的分析数据可能包括来自HubSpot爬虫的访问。

请注意：任何HubSpot分析（如流量分析工具中的数据）已经排除了来自HubSpot爬虫的访问。

要想对您的分析数据有一个更清晰的了解，您可以过滤掉来自HubSpot爬虫的访问。用于HubSpot爬虫的域名的一个例子是hs-sites.origin.hubspot.net。您的第三方分析软件也应该能够识别其他爬虫的域名。

排除特定域名的步骤取决于您使用的软件。如果你使用的是谷歌分析，这个文档可能有助于你设置一个过滤器来排除某些域名。

站长工具

我们为站长量身定做的高效工具集。
关键词查找工具
WP错误查找
robots.txt测试工具
SEO工具箱
WordPress主题检测器
SEO优化中心
WP开发宝典
蜘蛛查询工具
查看全部工具

常见蜘蛛/爬虫

Common Spiders
Matchory Bot
Matchory Bot蜘蛛/爬虫属于营销类型，由Matchory GmbH开发运行。您可以继续阅读下方信息，以深入了解Matchory Bot基本信息，用户代理和访问控制等。
Googlebot
GoogleBot蜘蛛/爬虫属于搜索引擎类型，由Google Inc.开发运行。您可以继续阅读下方信息，以深入了解GoogleBot基本信息，用户代理和访问控制等。
Online Domain Tools
Online Domain Tools蜘蛛/爬虫属于监控类型，由AITIS s.r.o.开发运行。您可以继续阅读下方信息，以深入了解Online Domain Tools基本信息，用户代理和访问控制等。
AhrefsBot
AhrefsBot蜘蛛/爬虫属于营销类型，由Ahrefs Pte Ltd开发运行。您可以继续阅读下方信息，以深入了解AhrefsBot基本信息，用户代理和访问控制等。
SEMrushBot
SEMrushBot蜘蛛/爬虫属于营销类型，由Semrush Inc开发运行。您可以继续阅读下方信息，以深入了解SEMrushBot基本信息，用户代理和访问控制等。
DotBot
DotBot蜘蛛/爬虫属于营销类型，由SEOmoz, Inc.开发运行。您可以继续阅读下方信息，以深入了解DotBot基本信息，用户代理和访问控制等。
SentiBot
SentiBot蜘蛛/爬虫属于营销类型，由SentiOne开发运行。您可以继续阅读下方信息，以深入了解SentiBot基本信息，用户代理和访问控制等。
Awario crawler
Awario crawler蜘蛛/爬虫属于营销类型，由Link-Assistant.Com开发运行。您可以继续阅读下方信息，以深入了解Awario crawler基本信息，用户代理和访问控制等。

相关文章

Related Articles
MoCha：Meta在会说话的角色合成方面的获得电影级飞跃特色图
MoCha：Meta在会说话的角色合成方面的获得电影级飞跃
Meta 发布了一篇研究论文，并提供了他们的新视频生成模型 MoCha（电影角色动画生成器）的演示示例。但它如何在这个日益拥挤的领域中脱颖而出？它与 Sora、Pika 或其他当前的人工智能视频生成模型有何不同？更重要的是，作为创作者、开发者或研究者，如何利用它为自己谋福利？我们将在本篇文章中探讨这些问题。让我们一起来解码 Meta 的 MoCha。