IP地址(1) | 服务器名称 | 所属国家 |
---|---|---|
185.111.124.90 | ? | AT |
可能不需要。工具类型爬虫通常为网站所有者使用此类工具对网站进行相关服务请求才会出现。当然,实际情况需站长判断后再作决定。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 LinkResearchTools bot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: LinkResearchTools bot Disallow: /
您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
URLinspectorBot是一个网络爬虫,为URLinspector和LinkResearchTools的网页和超链接数据库提供动力。
这个机器人通过抓取网络,将我们的数据库中有关用户网站和新链接的数据填满,并检查以前发现的链接的状态,以便为我们的用户提供最全面和准确的数据。
URLinspectorBot从网上收集的链接和页面状态数据被我们软件的成千上万的用户用来改进他们的网站。
它是一个工具,你也可以用来监测你的网站的健康状况,目前是免费的。
URLinspectorBot正在抓取您的网站,分析链接并将它们添加到我们的数据库。它将定期重新抓取您的网站,检查以前发现的链接的当前状态。
URLinspectorBot不会在您的网站上触发广告(如果有的话),也不会为您的Google Analytics流量增加数字。
是的。绝对的。
URLinspectorBot严格遵循 robots.txt,包括禁止和允许规则。
我们使用原始的谷歌 robots.txt 库来解析 robots.txt 文件。它与Googlebot用来解析robots.txt文件的库相同。
URLinspectorBot严格遵循您网站上的robots.txt文件。因此,如果你需要,你可以在你的网站上完全控制它。
如果由于某种原因,您想阻止 URLinspectorBot 访问您的网站,请将以下两行放入您服务器上的 robots.txt 文件。
User-agent: URLinspectorBot Disallow: /
请注意,URLinspectorBot 可能需要一些时间来选择您的 robots.txt 文件中的更改。这将在每次预定抓取之前进行。
还请注意,如果您的 robots.txt 包含错误,URLinspectorBot 将无法识别您的命令,它将继续按照以前的方式抓取您的网站。另外,缺少或空的 robots.txt 文件也不会阻止 URLinspectorBot 抓取您的网站。
您可以阅读更多关于 robots.txt 和 Robots 排除标准的信息:
如果您认为 URLinspectorBot 在您的网站上有某种程度的不当行为,或者您对它有任何疑问,请毫不犹豫地联系URLinspectorBot的支持团队 feedback@urlinspector.com.