DotBot

是否拦截DotBot？

一般不需要拦截，尤其是如果你自己也受益于搜索引擎优化服务。不过，如果你担心服务器资源占用等问题，且您都不使用这些工具，当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 DotBot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: DotBot
	Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

在本页面中，您将了解更多关于我们的爬虫Dotbot的信息，它被用来抓取Moz链接索引，为Moz API、链接浏览器和您的活动中的链接部分提供动力。

Moz链接索引抓取器

Dotbot是Moz的网络爬虫，它为Moz链接指数收集网络数据。我们通过Dotbot收集的这些数据可以在您的Moz Pro广告系列的链接部分、链接浏览器和Moz链接API中找到。Dotbot与Rogerbot不同，Rogerbot是我们为Moz Pro广告系列提供的网站审计爬行器。

为什么Moz会抓取网络？

我们的一些工具，如Link Explorer，需要我们抓取网站。当这种情况发生时，用户代理Dotbot被用来识别我们的爬行器。最好记住，你需要一个Moz专业账户来访问收集到的大部分信息。我们的免费网络营销社区成员的访问权限有限。要看我们收集的数据类型的一个例子，在链接浏览器的搜索框中输入一个URL。

如何阻止Dotbot抓取你的网站

如果您不希望Dotbot抓取您的网站，我们总是尊重标准的Robots排除协议（又称robots.txt）。如果您想阻止Dotbot，您只需将我们的user-agent字符串添加到您的robots.txt文件。

禁止Dotbot进入您网站的某些区域

User-agent: dotbot 
Disallow: /admin/ 
Disallow: /scripts/ Disallow: /images/

完全禁止Dotbot进入您网站

User-agent: dotbot
Disallow: /

减缓Dotbot的速度

User-agent: dotbot
Crawl-delay: 10

Dotbot何时能检测网站robots.txt文件的变化？

Dotbot只在新的索引抓取过程中第一次遇到该网站时查看你的robots.txt文件。这意味着，如果Dotbot看到它被允许进入该网站一次，对该权限的任何改变都不会被查看，直到Dotbot下次定位到你的网站的链接。