Feedspotbot

是否拦截Feedspotbot？

通常不需要。除非您不希望信息流网站或者APP对您的网站内容进行抓取，网站也不提供Feed订阅服务，则可以考虑拦截此类型爬虫。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Feedspotbot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: Feedspotbot
	Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

Feedspot Fetcher是Feedspot在用户向其Feedspot帐户添加Feed时获取RSS/Atom Feed的方式。Fetcher根据feed的更新频率，定期抓取feed。在大多数情况下，每小时最多抓取2次feed网址。以下是网站管理员最常问到的关于这个用户控制的feed爬取器如何工作的一些问题。

常问问题

爬虫多长时间取一次feed？

平均而言，爬虫每小时抓取feed的次数不应超过一次。如果提要经常更新且被许多用户关注，则每小时最多可抓取2次。在某些情况下，如果feed更新不那么频繁，它们会在3至6小时内被抓取一次。

为什么Crawler不遵循robots.txt文件？

Crawler只有在用户明确将其添加到他们的Feedspot账户后才会检索feeds。由于爬虫的请求来自于将feed添加到Feedspot帐户的人类用户的明确行动，而不是来自自动爬虫，因此爬虫不遵循robots.txt准则。抓取器有助于减少您的带宽消耗。例如，即使一个feed被几个用户关注，它也只被抓取一次，从而减少您服务器上的负载。

我如何要求Feedspot不抓取我的所有Feeds或部分Feeds？

您可以通过您的官方邮箱将您的要求或问题发到 team@feedspot.com，标题为Feedspot Fetcher，Feedspot将尝试在24-48小时内作出回应。

为什么Crawler从我们的 “私人 “网络服务器下载信息？

Crawler是应已将其添加到Feedspot账户的用户的要求检索信息的。该请求有可能来自知道您的 “私人 “服务器的用户，或错误地输入了该服务器。

为什么Crawler试图从我的服务器下载不正确的链接，或从一个不存在的服务器下载？

Crawler是应已将其添加到Feedspot帐户的用户的要求而检索提要的。有可能是用户请求的Feed URL位置不存在，也可能是打字错误。

Feedspot是从单个IP还是从多个IP抓取的？

爬虫是分布式系统，在多台机器上运行。爬虫可能使用几个IP来抓取。识别它的最好方法是使用用户代理字符串：Feedspot/1.0。

你们支持Pubsub/push技术吗？

是的。Feedspot 支持 Pubsub/push 中心。如果您的Feeds宣传推送中心，Feedspot将订阅更新并减少抓取Feed的次数。

如果上述常见问题未能解决您的问题，你可以把你的问题发到 team@feedspot.com，标题为 Feedspot Fetcher，Feedspot会尽量在 24-48 小时内答复。