RankingBot

RankingBot蜘蛛/爬虫属于工具类型,由Alvaro Carballo Garcia开发运行。您可以继续阅读下方信息,以深入了解RankingBot基本信息,用户代理和访问控制等。

基本信息

RankingBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
RankingBot
类型
工具
开发商
Alvaro Carballo Garcia
当前状态
活动

用户代理

关于RankingBot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
RankingBot2
用户代理字符串
RankingBot2 -- https://varocarbas.com/bot_ranking2/
首次出现
2017-04-26 14:06:57
最后出现
2019-04-29 03:03:03
遵循robots.txt
未知
来源
IP地址(5) 服务器名称 所属国家
81.43.124.145 145.red-81-43-124.staticip.rima-tde.net ES
88.7.114.118 118.red-88-7-114.staticip.rima-tde.net ES
88.10.194.242 242.red-88-10-194.dynamicip.rima-tde.net ES
81.39.253.104 104.red-81-39-253.dynamicip.rima-tde.net ES
83.35.244.85 85.red-83-35-244.dynamicip.rima-tde.net ES

访问控制

了解如何控制RankingBot访问权限,避免RankingBot抓取行为不当。

是否拦截RankingBot?

可能不需要。工具类型爬虫通常为网站所有者使用此类工具对网站进行相关服务请求才会出现。当然,实际情况需站长判断后再作决定。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 RankingBot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: RankingBot
	Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

这些机器人是域名排名的一部分。它们执行简单的反向链接计数操作,只存储以下信息:

  • 域名。
  • 每个域的根目录中的robots.txt文件的内容。
  • 从随机其他域指向每个域的链接数量。
  • 根据上述信息对网站/网页进行全面评估,并对进一步的问题进行即时分析。

所有这些也都有以下共同特点:

  • 用户代理:RankingBot2 — https://varocarbas.com/bot_ranking2/。
  • 他们只访问在相应的robots.txt文件中不被禁止的网页,只考虑明确提到他们(’RankingBot2’)或任何机器人(’*’)的条目。
    在确认不诚实的相互链接的合理假设的同时(例如,为彼此之间提供反向链接的唯一目的而创建的一组网站),这些机器人可能会忽略 robots.txt 的指示。
  • 像往常一样,我是这些机器人的唯一作者,完全从头开始开发(PHP + MySQL/MariaDB)。

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles