LinkResearchTools bot

LinkResearchTools bot蜘蛛/爬虫属于工具类型,由LinkResearchTools开发运行。您可以继续阅读下方信息,以深入了解LinkResearchTools bot基本信息,用户代理和访问控制等。

基本信息

LinkResearchTools bot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
LinkResearchTools bot
类型
工具
开发商
LinkResearchTools
当前状态
活动

用户代理

关于LinkResearchTools bot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
URLinspectorBot/1.0
用户代理字符串
Mozilla/5.0 (compatible; URLinspectorBot/1.0; +https://www.urlinspector.com/bot)
首次出现
2022-09-28 18:28:35
最后出现
2022-09-28 20:28:39
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
185.111.124.90 ? AT

访问控制

了解如何控制LinkResearchTools bot访问权限,避免LinkResearchTools bot抓取行为不当。

是否拦截LinkResearchTools bot?

可能不需要。工具类型爬虫通常为网站所有者使用此类工具对网站进行相关服务请求才会出现。当然,实际情况需站长判断后再作决定。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 LinkResearchTools bot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: LinkResearchTools bot
	Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

什么是URLinspectorBot?

URLinspectorBot是一个网络爬虫,为URLinspector和LinkResearchTools的网页和超链接数据库提供动力。

这个机器人通过抓取网络,将我们的数据库中有关用户网站和新链接的数据填满,并检查以前发现的链接的状态,以便为我们的用户提供最全面和准确的数据。

URLinspectorBot从网上收集的链接和页面状态数据被我们软件的成千上万的用户用来改进他们的网站。

它是一个工具,你也可以用来监测你的网站的健康状况,目前是免费的。

URLinspectorBot在您的网站上做什么?

URLinspectorBot正在抓取您的网站,分析链接并将它们添加到我们的数据库。它将定期重新抓取您的网站,检查以前发现的链接的当前状态。

URLinspectorBot不会在您的网站上触发广告(如果有的话),也不会为您的Google Analytics流量增加数字。

URLinspectorBot是否遵循robots.txt 文件?

是的。绝对的。

URLinspectorBot严格遵循 robots.txt,包括禁止和允许规则。

我们使用原始的谷歌 robots.txt 库来解析 robots.txt 文件。它与Googlebot用来解析robots.txt文件的库相同。

如何控制您网站上的URLinspectorBot

URLinspectorBot严格遵循您网站上的robots.txt文件。因此,如果你需要,你可以在你的网站上完全控制它。

如果由于某种原因,您想阻止 URLinspectorBot 访问您的网站,请将以下两行放入您服务器上的 robots.txt 文件。

User-agent: URLinspectorBot
Disallow: /

请注意,URLinspectorBot 可能需要一些时间来选择您的 robots.txt 文件中的更改。这将在每次预定抓取之前进行。

还请注意,如果您的 robots.txt 包含错误,URLinspectorBot 将无法识别您的命令,它将继续按照以前的方式抓取您的网站。另外,缺少或空的 robots.txt 文件也不会阻止 URLinspectorBot 抓取您的网站。

您可以阅读更多关于 robots.txt 和 Robots 排除标准的信息:

如果您认为 URLinspectorBot 在您的网站上有某种程度的不当行为,或者您对它有任何疑问,请毫不犹豫地联系URLinspectorBot的支持团队 feedback@urlinspector.com.

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles