GrapeshotCrawler

GrapeshotCrawler蜘蛛/爬虫属于营销类型,由Grapeshot Limited开发运行。您可以继续阅读下方信息,以深入了解GrapeshotCrawler基本信息,用户代理和访问控制等。

基本信息

GrapeshotCrawler的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
GrapeshotCrawler
类型
营销
开发商
Grapeshot Limited
当前状态
活动

用户代理

关于GrapeshotCrawler蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
GrapeshotCrawler/2.0
用户代理字符串
Mozilla/5.0 (compatible; GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php)
首次出现
2012-08-27 19:45:00
最后出现
2023-10-18 06:05:47
遵循robots.txt
未知
来源
IP地址(71) 服务器名称 所属国家
132.145.66.156 132.145.66.156 US
152.67.128.219 152.67.128.219 US
140.238.95.47 140.238.95.47 US
132.145.67.248 132.145.67.248 US
132.145.66.116 132.145.66.116 US
140.238.95.199 140.238.95.199 US
132.145.9.5 132.145.9.5 US
132.145.14.70 132.145.14.70 US
152.67.138.180 152.67.138.180 US
112.53.2.86 112.53.2.86 CN
140.238.81.78 140.238.81.78 US
132.145.11.125 132.145.11.125 US
132.145.64.33 132.145.64.33 US
152.67.137.35 152.67.137.35 US
140.238.83.181 140.238.83.181 US
132.145.15.209 132.145.15.209 US
用户代理字符串
Mozilla/5.0 (compatible; grapeFX/0.9; crawler@grapeshot.co.uk
首次出现
2012-06-01 15:00:11
最后出现
2012-04-05 11:41:12
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
89.145.95.6 centro-6.grapeshot.co.uk GB

访问控制

了解如何控制GrapeshotCrawler访问权限,避免GrapeshotCrawler抓取行为不当。

是否拦截GrapeshotCrawler?

一般不需要拦截,尤其是如果你自己也受益于搜索引擎优化服务。不过,如果你担心服务器资源占用等问题,且您都不使用这些工具,当然也可以选择拦截它们。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 GrapeshotCrawler 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: GrapeshotCrawler
	Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders
Googlebot
GoogleBot蜘蛛/爬虫属于搜索引擎类型,由Google Inc.开发运行。您可以继续阅读下方信息,以深入了解GoogleBot基本信息,用户代理和访问控制等。
Online Domain Tools
Online Domain Tools蜘蛛/爬虫属于监控类型,由AITIS s.r.o.开发运行。您可以继续阅读下方信息,以深入了解Online Domain Tools基本信息,用户代理和访问控制等。
AhrefsBot
AhrefsBot蜘蛛/爬虫属于营销类型,由Ahrefs Pte Ltd开发运行。您可以继续阅读下方信息,以深入了解AhrefsBot基本信息,用户代理和访问控制等。
SEMrushBot
SEMrushBot蜘蛛/爬虫属于营销类型,由Semrush Inc开发运行。您可以继续阅读下方信息,以深入了解SEMrushBot基本信息,用户代理和访问控制等。
DotBot
DotBot蜘蛛/爬虫属于营销类型,由SEOmoz, Inc.开发运行。您可以继续阅读下方信息,以深入了解DotBot基本信息,用户代理和访问控制等。
SentiBot
SentiBot蜘蛛/爬虫属于营销类型,由SentiOne开发运行。您可以继续阅读下方信息,以深入了解SentiBot基本信息,用户代理和访问控制等。
Awario crawler
Awario crawler蜘蛛/爬虫属于营销类型,由Link-Assistant.Com开发运行。您可以继续阅读下方信息,以深入了解Awario crawler基本信息,用户代理和访问控制等。
ZoomBot
ZoomBot蜘蛛/爬虫属于营销类型,由SEO Cube S.r.l.开发运行。您可以继续阅读下方信息,以深入了解ZoomBot基本信息,用户代理和访问控制等。

相关文章

Related Articles