SentiBot

SentiBot蜘蛛/爬虫属于营销类型,由SentiOne开发运行。您可以继续阅读下方信息,以深入了解SentiBot基本信息,用户代理和访问控制等。

基本信息

SentiBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
SentiBot
类型
营销
开发商
SentiOne
当前状态
活动

用户代理

关于SentiBot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
SentiBot/1.0
用户代理字符串
Mozilla/5.0 (compatible; SentiBot/1.0; +https://www.sentibot.eu)
首次出现
2022-04-07 16:41:37
最后出现
2025-01-10 14:35:46
遵循robots.txt
未知
来源
IP地址(30) 服务器名称 所属国家
95.217.144.245 kuba51.sentione.com FI
95.217.144.250 kuba66.sentione.com FI
95.217.144.156 kuba63.sentione.com FI
95.217.144.240 kuba56.sentione.com FI
95.217.144.238 kuba60.sentione.com FI
95.217.144.235 kuba59.sentione.com FI
95.217.144.155 kuba64.sentione.com FI
95.217.144.242 kuba54.sentione.com FI
95.217.144.249 kuba49.sentione.com FI
95.217.144.241 kuba55.sentione.com FI
95.217.144.237 kuba61.sentione.com FI
95.217.144.243 kuba53.sentione.com FI
95.217.144.254 kuba65.sentione.com FI
95.217.144.239 ? FI
95.217.145.62 kuba67.sentione.com FI
95.217.145.45 kuba50.sentione.com FI
95.217.144.246 kuba46.sentione.com FI
95.217.144.236 kuba58.sentione.com FI
95.217.144.247 kuba47.sentione.com FI
95.217.145.61 kuba68.sentione.com FI
95.217.144.234 kuba62.sentione.com FI
95.217.144.248 kuba48.sentione.com FI
95.217.144.244 kuba52.sentione.com FI
95.217.145.125 kuba107.sentione.com FI
95.217.144.221 kuba106.sentione.com FI
135.181.56.250 dev1.sentione.com FI
95.217.145.91 kuba104.sentione.com FI
95.217.144.223 kuba110.sentione.com FI
95.217.144.222 kuba105.sentione.com FI
95.217.144.173 kuba103.sentione.com FI
用户代理字符串
SentiBot www.sentibot.eu (compatible with Googlebot)
首次出现
2014-11-30 22:00:00
最后出现
2024-09-26 22:02:33
遵循robots.txt
未知
来源
IP地址(134) 服务器名称 所属国家
135.181.20.249 tst1.sentione.com CA
95.217.145.61 kuba24.sentione.com FI
95.217.144.248 kuba48.sentione.com FI
95.217.144.155 kuba64.sentione.com FI
95.217.144.249 kuba49.sentione.com FI
95.217.144.241 kuba55.sentione.com FI
95.217.144.156 kuba63.sentione.com FI
95.217.144.238 kuba60.sentione.com FI
95.217.144.245 kuba51.sentione.com FI
95.217.145.62 kuba25.sentione.com FI
95.216.173.102 ? FI

访问控制

了解如何控制SentiBot访问权限,避免SentiBot抓取行为不当。

是否拦截SentiBot?

一般不需要拦截,尤其是如果你自己也受益于搜索引擎优化服务。不过,如果你担心服务器资源占用等问题,且您都不使用这些工具,当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 SentiBot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: SentiBot
	Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

SentiBot是一个网络爬虫,为SentiOne Listen平台索引用户产生的内容。这个应用程序每天分析来自不同国家的30多万个域名,我们尽一切努力减少由我们产生的流量。

但是,如果你在这里是因为你注意到你的网站上有麻烦的流量,这些流量是由具有以下用户代理的机器人产生的。

“SentiBot www.sentibot.eu(与Googlebot兼容)”,请在您的域名上更新robots.txt文件,为爬虫 “sentibot “制定规则(支持的参数:crawl-delay和disallow)。

如果没有找到 “sentibot “的明确规则,默认使用 “Googlebot “限制规则。请注意,应用robots.txt文件的更新可能需要长达48小时。

常见蜘蛛/爬虫

Common Spiders
Googlebot
GoogleBot蜘蛛/爬虫属于搜索引擎类型,由Google Inc.开发运行。您可以继续阅读下方信息,以深入了解GoogleBot基本信息,用户代理和访问控制等。
Online Domain Tools
Online Domain Tools蜘蛛/爬虫属于监控类型,由AITIS s.r.o.开发运行。您可以继续阅读下方信息,以深入了解Online Domain Tools基本信息,用户代理和访问控制等。
AhrefsBot
AhrefsBot蜘蛛/爬虫属于营销类型,由Ahrefs Pte Ltd开发运行。您可以继续阅读下方信息,以深入了解AhrefsBot基本信息,用户代理和访问控制等。
SEMrushBot
SEMrushBot蜘蛛/爬虫属于营销类型,由Semrush Inc开发运行。您可以继续阅读下方信息,以深入了解SEMrushBot基本信息,用户代理和访问控制等。
DotBot
DotBot蜘蛛/爬虫属于营销类型,由SEOmoz, Inc.开发运行。您可以继续阅读下方信息,以深入了解DotBot基本信息,用户代理和访问控制等。
SentiBot
SentiBot蜘蛛/爬虫属于营销类型,由SentiOne开发运行。您可以继续阅读下方信息,以深入了解SentiBot基本信息,用户代理和访问控制等。
Awario crawler
Awario crawler蜘蛛/爬虫属于营销类型,由Link-Assistant.Com开发运行。您可以继续阅读下方信息,以深入了解Awario crawler基本信息,用户代理和访问控制等。
ZoomBot
ZoomBot蜘蛛/爬虫属于营销类型,由SEO Cube S.r.l.开发运行。您可以继续阅读下方信息,以深入了解ZoomBot基本信息,用户代理和访问控制等。

相关文章

Related Articles