WellKnownBot WellKnownBot

蜘蛛/爬虫名称
WellKnownBot
开发商
Braedon Vickers
官网
resisty.com
当前状态
活动
  • WellKnownBot/0.1
  • WellKnownBot/0.1
用户代理字符串
WellKnownBot/0.1 (https://well-known.dev)
类型
工具
首次出现
2021-03-12 16:46:55
最后出现
2021-06-17 04:49:49
遵循robots.txt
IP地址
5
来源
IP地址 服务器名称 所属国家
104.248.151.24 ? SG
128.199.86.98 ? SG
159.223.88.118 159.223.88.118 SG
139.59.99.248 ? SG
167.71.200.2 ? SG
104.248.155.237 104.248.155.237 SG
178.128.115.182 ? SG
157.245.53.106 157.245.53.106 SG
139.59.250.103 ? SG
188.166.236.206 ? SG
143.198.86.132 ? SG
157.245.159.189 157.245.159.189 SG
68.183.224.166 ? TR
165.22.48.142 165.22.48.142 SG
68.183.188.71 ? SG
128.199.174.153 ? ?
178.128.17.134 ? SG
139.59.233.195 ? SG
188.166.219.244 ? SG
188.166.227.253 ? SG
157.230.240.138 ? SG
159.223.84.43 ? SG
139.59.105.9 ? SG
178.128.58.184 ? SG
157.230.42.241 157.230.42.241 SG
188.166.209.65 ? SG
167.71.214.144 ? SG
188.166.253.214 ? SG
157.230.241.151 ? SG
165.22.60.71 165.22.60.71 SG
159.65.132.46 ? SG
139.59.247.211 ? SG
167.172.78.48 ? US
206.189.146.10 ? SG
139.59.238.236 139.59.238.236 SG
139.59.226.1 ? SG
209.97.171.72 ? SG
143.198.90.75 ? US
143.198.87.5 ? SG
209.97.165.8 ? SG
68.183.176.64 ? US
209.97.169.110 209.97.169.110 SG
174.138.21.255 ? SG
178.128.29.126 ? SG
159.223.83.93 ? ?
178.128.222.141 ? SG
128.199.78.225 ? SG
128.199.79.123 128.199.79.123 SG
159.223.35.108 ? SG
128.199.237.223 ? SG
143.198.91.24 ? SG
178.128.20.48 ? SG
128.199.119.178 ? SG
139.59.239.34 ? SG
152.42.160.134 ? US
167.172.87.151 ? SG
152.42.216.58 ? US
165.22.109.216 ? SG
209.97.161.66 ? SG
178.128.26.247 ? SG
206.189.40.229 ? SG
165.22.241.234 ? SG
128.199.177.181 ? SG
167.172.71.97 ? SG
152.42.247.127 ? SG
157.245.197.193 ? SG
157.245.194.91 157.245.194.91 SG
用户代理字符串
WellKnownBot/0.1 (https://well-known.dev)
类型
工具
首次出现
2021-03-12 16:46:55
最后出现
2021-06-17 04:49:49
遵循robots.txt
IP地址
5
来源
IP地址 服务器名称 所属国家
139.59.233.195 ? SG
188.166.219.244 ? SG
188.166.227.253 ? SG
157.230.240.138 ? SG

关于Well-Known

Well-Known是一个免费、开放的知名资源索引。它定期扫描数以百万计的领域,汇编了一个可搜索的结构化知名资源数据数据库。

该搜索引擎支持每种资源类型的特定搜索过滤器,使详细查询能够回答各种问题。

目前支持10种资源

知名资源是由位于特定 “知名 “地点的网站托管的文件。这些资源被用来向开发者、其他网站和服务等传达有关网站和其提供的服务的各种信息。

资源的格式和位置通常是在规范中定义的,尽管有些是在松散的共识中产生的,没有正式的规定。它们通常位于/.known/路径下。

你可以在这里阅读更多关于well-know资源的信息。

关于WellKnownBot

WellKnown扫描是由WellKnownBot执行的。所有请求都包含一个User-Agent头,其中包括字符串WellKnownBot和本页面的URL。

虽然WellKnownBot进行自动请求,但它不是一个网络爬虫/蜘蛛。它只请求少量的特定资源,这些资源旨在供公众、程序性消费。

因为它不是爬虫,所以WellKnownBot不遵循通用的User-Agent。* robots.txt文件中的爬行规则。然而,它确实遵守专门针对它的组中的robots.txt规则。

如果你希望限制WellKnownBot扫描的资源,请在你的组中添加一个User-Agent:WellKnownBot组到你网站的robots.txt。

常见问题

FAQs
查看更多 >