AdsTxtCrawler

AdsTxtCrawler蜘蛛/爬虫属于爬虫类型,由Unknown Author开发运行。您可以继续阅读下方信息,以深入了解AdsTxtCrawler基本信息,用户代理和访问控制等。

基本信息

AdsTxtCrawler的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
AdsTxtCrawler
类型
爬虫
开发商
Unknown Author
当前状态
活动

用户代理

关于AdsTxtCrawler蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
AdsTxtCrawler/1.0.2
用户代理字符串
AdsTxtCrawler/1.0.2
首次出现
2019-05-23 15:47:21
最后出现
2023-01-12 17:12:15
遵循robots.txt
未知
来源
IP地址(450) 服务器名称 所属国家
3.86.112.40 ec2-3-86-112-40.compute-1.amazonaws.com US
54.211.180.241 ec2-54-211-180-241.compute-1.amazonaws.com US
3.92.216.94 ec2-3-92-216-94.compute-1.amazonaws.com US
3.234.221.123 ec2-3-234-221-123.compute-1.amazonaws.com US
54.198.185.112 ec2-54-198-185-112.compute-1.amazonaws.com US
34.204.202.78 ec2-34-204-202-78.compute-1.amazonaws.com US
52.90.167.143 ec2-52-90-167-143.compute-1.amazonaws.com US
184.72.93.45 ec2-184-72-93-45.compute-1.amazonaws.com US
18.234.160.148 ec2-18-234-160-148.compute-1.amazonaws.com US
34.229.132.0 ec2-34-229-132-0.compute-1.amazonaws.com US
3.235.175.88 ec2-3-235-175-88.compute-1.amazonaws.com US
3.237.87.114 ec2-3-237-87-114.compute-1.amazonaws.com US
3.87.20.79 ec2-3-87-20-79.compute-1.amazonaws.com US
18.212.253.137 ec2-18-212-253-137.compute-1.amazonaws.com US
34.201.10.172 ec2-34-201-10-172.compute-1.amazonaws.com US
52.91.160.37 ec2-52-91-160-37.compute-1.amazonaws.com US
18.204.230.188 ec2-18-204-230-188.compute-1.amazonaws.com US
34.204.36.91 ec2-34-204-36-91.compute-1.amazonaws.com US
44.204.143.4 ec2-44-204-143-4.compute-1.amazonaws.com US
3.80.6.160 ec2-3-80-6-160.compute-1.amazonaws.com US
3.93.60.35 ec2-3-93-60-35.compute-1.amazonaws.com US
44.201.27.0 ec2-44-201-27-0.compute-1.amazonaws.com US
34.204.186.198 ec2-34-204-186-198.compute-1.amazonaws.com US
44.203.135.86 ec2-44-203-135-86.compute-1.amazonaws.com US
44.200.183.182 ec2-44-200-183-182.compute-1.amazonaws.com US
54.80.192.161 ec2-54-80-192-161.compute-1.amazonaws.com US
3.86.34.135 ec2-3-86-34-135.compute-1.amazonaws.com US
54.160.219.142 ec2-54-160-219-142.compute-1.amazonaws.com US
18.205.41.10 ec2-18-205-41-10.compute-1.amazonaws.com US
44.193.201.241 ec2-44-193-201-241.compute-1.amazonaws.com US
52.23.171.177 ec2-52-23-171-177.compute-1.amazonaws.com US
54.166.83.48 ec2-54-166-83-48.compute-1.amazonaws.com US
54.234.143.15 ec2-54-234-143-15.compute-1.amazonaws.com US
用户代理字符串
AdsTxtCrawler
首次出现
2018-06-14 08:02:10
最后出现
2018-06-14 08:02:10
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
37.140.238.54 rev54.rtbhouse.net NL

访问控制

了解如何控制AdsTxtCrawler访问权限,避免AdsTxtCrawler抓取行为不当。

是否拦截AdsTxtCrawler?

可以考虑拦截。。爬虫通常会下载公开的互联网内容,这些内容默认情况下可以免费访问。不过,如果你不希望你的内容被用于未经授权的目的,你应该拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 AdsTxtCrawler 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: AdsTxtCrawler
	Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles