Headless Edge

基本信息

Headless Edge的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。

用户代理

关于Headless Edge蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：

用户代理字符串: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/79.0.3945.16 Safari/537.36 Edg/79.0.309.14

来源

IP地址(1)	服务器名称	所属国家
45.134.212.148	unn-45-134-212-148.datapacket.com	PL
40.77.189.122	msnbot-40-77-189-122.search.msn.com	US
80.64.84.195	80.64.84.195.untc.net	UA
180.241.186.40	180.241.186.40	ID
91.102.183.139	customer.frntdeu1.pop.starlinkisp.net	UA
52.157.237.230	52.157.237.230	NL
212.113.106.100	rooted-pizzas.aeza.network	AT
185.174.137.26	slow-request.aeza.network	FI
167.172.74.237	167.172.74.237	SG
34.88.179.8	8.179.88.34.bc.googleusercontent.com	FI
34.88.197.158	158.197.88.34.bc.googleusercontent.com	FI
193.35.18.40	40.18.35.193.pfcloud.io	NL
34.130.125.140	140.125.130.34.bc.googleusercontent.com	CA
34.130.94.177	177.94.130.34.bc.googleusercontent.com	CA
5.9.11.206	static.206.11.9.5.clients.your-server.de	DE

访问控制

了解如何控制Headless Edge访问权限，避免Headless Edge抓取行为不当。

可以考虑拦截。。爬虫通常会下载公开的互联网内容，这些内容默认情况下可以免费访问。不过，如果你不希望你的内容被用于未经授权的目的，你应该拦截它们。

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Headless Edge 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: Headless Edge
	Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

基本信息