SafeDNSBot

基本信息

SafeDNSBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。

蜘蛛/爬虫名称: SafeDNSBot

类型: 其他

开发商: SafeDNS, Inc.

当前状态: 活动

用户代理

关于SafeDNSBot蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：

用户代理字符串: SafeDNS search bot/Nutch-1.9 (https://www.safedns.com/searchbot; support [at] safedns [dot] com)

首次出现: 2015-10-07 07:45:00

最后出现: 2016-02-15 02:47:43

遵循robots.txt: 未知

来源

IP地址(66)	服务器名称	所属国家
167.71.0.109	167.71.0.109	NL
206.189.13.53	206.189.13.53	NL
68.183.11.48	?	NL
167.99.36.43	?	NL
206.189.4.227	?	NL
161.35.146.130	?	US
161.35.82.173	?	US
206.189.1.145	?	NL
159.65.201.198	?	NL
206.189.102.76	?	NL
128.199.33.116	128.199.33.116	NL
178.62.251.210	onewa11y-06.com	NL
178.62.242.233	178.62.242.233	NL
178.62.212.218	telma.rec.parsys.com	NL
188.166.16.235	188.166.16.235	NL
178.62.225.65	178.62.225.65	NL
178.62.251.207	squid.ams3.digitalocean.19	NL
188.166.19.111	188.166.19.111	NL
188.166.24.57	kbi.ams3.qa.edp.misy.eu	NL
188.166.1.96	188.166.1.96	NL
167.99.35.1	167.99.35.1	?
167.99.215.153	167.99.215.153	NL
159.223.226.93	159.223.226.93	US
142.93.228.248	142.93.228.248	NL
134.209.196.160	?	NL
167.71.73.226	167.71.73.226	NL
165.22.194.147	?	NL
159.223.209.111	159.223.209.111	NL
146.190.30.66	146.190.30.66	NL
165.22.199.38	?	NL
164.92.146.233	164.92.146.233	NL
174.138.11.34	174.138.11.34	NL
165.232.83.140	?	NL
188.166.8.235	188.166.8.235	NL
64.227.77.200	?	US
128.199.39.118	128.199.39.118	NL
64.225.75.193	?	NL
209.38.40.25	?	US
152.42.133.240	152.42.133.240	US
164.92.157.248	164.92.157.248	NL
174.138.12.101	174.138.12.101	NL
164.90.201.168	?	NL
164.92.216.212	?	NL
209.38.37.161	?	NL
104.248.200.252	104.248.200.252	NL
209.38.33.228	209.38.33.228	NL
167.172.46.193	167.172.46.193	NL
206.189.99.166	206.189.99.166	NL
205.185.127.231	tor-exit.lv2.otterrelays.net	US

用户代理字符串: SafeDNS search bot/Nutch-1.9 (https://www.safedns.com/searchbot; support [at] safedns [dot] com)

首次出现: 2015-10-07 07:45:00

最后出现: 2016-02-15 02:47:43

遵循robots.txt: 未知

来源

IP地址(66)	服务器名称	所属国家
128.199.33.116	128.199.33.116	NL
178.62.251.210	onewa11y-06.com	NL
178.62.242.233	178.62.242.233	NL
178.62.212.218	telma.rec.parsys.com	NL
188.166.16.235	188.166.16.235	NL
178.62.225.65	178.62.225.65	NL
178.62.251.207	squid.ams3.digitalocean.19	NL
188.166.19.111	188.166.19.111	NL
188.166.24.57	kbi.ams3.qa.edp.misy.eu	NL
188.166.1.96	188.166.1.96	NL

访问控制

了解如何控制SafeDNSBot访问权限，避免SafeDNSBot抓取行为不当。

是否拦截SafeDNSBot？

对于未知蜘蛛或者爬虫。它的用途对网站来说可能是好的，也可能是坏的，这取决于它是什么。所以说，这需要站长进一步分析判断这些尚不明确的爬虫行为，再作最终决定。但，根据以往的经验，未声明行为目的及未命名的蜘蛛爬虫，通常都有不可告人的秘密，我们理应对其行为进行控制，比如拦截。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 SafeDNSBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: SafeDNSBot
	Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

safedns.com关于SafeDNS Categorization Crawler收集网页的目标和政策简要介绍如下。如果您有任何疑问，请发电子邮件给safedns.com。

1. 目标

SafeDNS收集网页的主要原因是为了正确分类互联网资源，并为SafeDNS开发新的技术和产品。

2. 政策

SafeDNS的爬虫总是尊重常见的爬行规范，如以下几点：SafeDNS的爬虫以一定间隔的方式逐页访问每个网站。目前，我们只从每个服务器上获取有限数量的页面。尽管我们将抓取过程与检测主机别名的过程交织在一起，但有可能一个别名的服务器可能被同时以不同的主机名访问。它总是读取robots.txt文件，而且从不抓取受限网页。你可以在你网站顶部的robots.txt文件中向爬虫指定指令。例如，以下指令禁止我们的爬虫从您的网站检索任何内容。