WhatWeb

WhatWeb蜘蛛/爬虫属于漏洞/病毒扫描类型,由Andrew Horton开发运行。您可以继续阅读下方信息,以深入了解WhatWeb基本信息,用户代理和访问控制等。

基本信息

WhatWeb的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
WhatWeb
类型
漏洞/病毒扫描
开发商
Andrew Horton
当前状态
活动

用户代理

关于WhatWeb蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
WhatWeb/0.5.5
用户代理字符串
WhatWeb/0.5.5
首次出现
2021-03-12 04:22:21
最后出现
2025-01-10 17:55:33
遵循robots.txt
来源
IP地址(3) 服务器名称 所属国家
65.181.113.235 ? US
138.201.85.170 5.davidstrejc.cz DE
154.16.147.208 zilfin.cornelsenge.com US
用户代理字符串
WhatWeb/0.4.9
首次出现
2019-09-28 23:47:21
最后出现
2022-11-22 01:54:16
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
185.220.102.251 tor-exit-relay-5.anonymizing-proxy.digitalcourage.de DE
176.58.134.64 adsl-64.176.58.134.tellas.gr GR
78.108.97.49 78-108-97-49.czela.net CZ
94.130.68.194 1.davidstrejc.cz DE
5.45.98.153 nurembergtor60.quetzalcoatl-relays.org DE
用户代理字符串
WhatWeb/0.5.3
首次出现
2021-01-11 14:52:13
最后出现
2021-08-18 06:44:57
遵循robots.txt
来源
IP地址(1) 服务器名称 所属国家
65.181.113.235 65.181.113.235 US
用户代理字符串
WhatWeb/0.5.2
首次出现
2020-06-27 18:29:52
最后出现
2020-06-27 18:29:52
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
138.201.85.170 5.davidstrejc.cz DE
用户代理字符串
WhatWeb/0.5.1
首次出现
2020-05-05 14:29:26
最后出现
2020-05-05 14:29:26
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
23.244.61.17 17.61-244-23.rdns.scalabledns.com US
78.47.131.183 static.183.131.47.78.clients.your-server.de DE
用户代理字符串
WhatWeb/0.5.0
首次出现
2019-10-27 00:23:23
最后出现
2019-10-27 00:23:23
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
178.132.7.102 178.132.7.102 NL
用户代理字符串
WhatWeb/0.4.8-dev
首次出现
2016-07-17 08:04:58
最后出现
2019-06-10 01:15:46
遵循robots.txt
未知
来源
IP地址(14) 服务器名称 所属国家
3.83.132.226 ec2-3-83-132-226.compute-1.amazonaws.com US
52.203.236.143 ec2-52-203-236-143.compute-1.amazonaws.com US
151.80.129.116 mail3.email-verifier-online-domain-tools.com FR
94.130.68.194 1.davidstrejc.cz DE
213.19.59.206 stevav.svi.rev-fortech.cz CZ
104.196.203.75 75.203.196.104.bc.googleusercontent.com US
61.49.45.41 61.49.45.41 CN
111.204.219.194 111.204.219.194 CN
27.115.121.36 27.115.121.36 CN
115.236.59.179 115.236.59.179 CN
用户代理字符串
WhatWeb/0.5.0-dev
首次出现
2019-03-16 21:03:13
最后出现
2019-03-16 21:03:13
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
94.130.68.194 1.davidstrejc.cz DE
78.108.97.49 78-108-97-49.czela.net CZ
用户代理字符串
WhatWeb/0.4.7
首次出现
2014-01-02 20:02:37
最后出现
2014-01-02 20:02:37
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
113.108.139.43 113.108.139.43 CN
202.116.5.37 202.116.5.37 CN

访问控制

了解如何控制WhatWeb访问权限,避免WhatWeb抓取行为不当。

是否拦截WhatWeb?

一般不拦截。此类爬虫通常是网站所有者提交扫描请求才会出现。如果拦截,则无法执行相应的扫描动作。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 WhatWeb 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: WhatWeb
Disallow: /
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: WhatWeb Disallow: /
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: WhatWeb
Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders
OnlyScans bot
OnlyScans bot蜘蛛/爬虫属于漏洞/病毒扫描类型,由OnlyScans, LLC开发运行。您可以继续阅读下方信息,以深入了解OnlyScans bot基本信息,用户代理和访问控制等。
WhatWeb
WhatWeb蜘蛛/爬虫属于漏洞/病毒扫描类型,由Andrew Horton开发运行。您可以继续阅读下方信息,以深入了解WhatWeb基本信息,用户代理和访问控制等。
YandexBot
YandexBot蜘蛛/爬虫属于搜索引擎类型,由Yandex LLC开发运行。您可以继续阅读下方信息,以深入了解YandexBot基本信息,用户代理和访问控制等。
OpenVAS
OpenVAS蜘蛛/爬虫属于漏洞/病毒扫描类型,由Greenbone AG开发运行。您可以继续阅读下方信息,以深入了解OpenVAS基本信息,用户代理和访问控制等。
Tenable crawler
Tenable crawler蜘蛛/爬虫属于漏洞/病毒扫描类型,由Tenable, Inc.开发运行。您可以继续阅读下方信息,以深入了解Tenable crawler基本信息,用户代理和访问控制等。
Foregenix crawler
Foregenix crawler蜘蛛/爬虫属于漏洞/病毒扫描类型,由Foregenix Ltd.开发运行。您可以继续阅读下方信息,以深入了解Foregenix crawler基本信息,用户代理和访问控制等。
virustotal
virustotal蜘蛛/爬虫属于漏洞/病毒扫描类型,由Chronicle LLC开发运行。您可以继续阅读下方信息,以深入了解virustotal基本信息,用户代理和访问控制等。
WPScan
WPScan蜘蛛/爬虫属于漏洞/病毒扫描类型,由Automattic Inc.开发运行。您可以继续阅读下方信息,以深入了解WPScan基本信息,用户代理和访问控制等。

相关文章

Related Articles