Gigabot

Gigabot蜘蛛/爬虫属于搜索引擎类型,由Gigablast, Inc.开发运行。您可以继续阅读下方信息,以深入了解Gigabot基本信息,用户代理和访问控制等。

基本信息

Gigabot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
Gigabot
类型
搜索引擎
开发商
Gigablast, Inc.
当前状态
活动

用户代理

关于Gigabot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
GigablastOpenSource/1.0
用户代理字符串
Mozilla/5.0 (compatible; GigablastOpenSource/1.0)
首次出现
2016-07-29 16:31:40
最后出现
2021-05-20 19:36:28
遵循robots.txt
来源
IP地址(2) 服务器名称 所属国家
70.108.8.72 pool-70-108-8-72.washdc.fios.verizon.net US
188.176.48.254 188-176-48-254-static.dk.customer.tdc.net DK
62.231.95.189 62-231-95-189.rdsnet.ro RO
198.16.7.135 gb1.exactseek.com US
217.23.2.54 customer.worldstream.nl NL
93.238.204.49 p5deecc31.dip0.t-ipconnect.de DE
79.197.103.220 p4fc567dc.dip0.t-ipconnect.de DE
93.238.202.126 p5deeca7e.dip0.t-ipconnect.de DE
81.169.233.182 h2800027.stratoserver.net DE
78.47.37.98 ? DE
195.201.170.90 ? DE
2a01:4f8:141:5148::2 2a01:4f8:141:5148::2 DE
54.38.176.6 ns3113752.ip-54-38-176.eu FR
37.187.143.234 ns3094944.ip-37-187-143.eu FR
37.187.147.25 ns3091934.ip-37-187-147.eu FR
37.187.143.226 ns330836.ip-37-187-143.eu FR
37.187.143.208 ns3066836.ip-37-187-143.eu FR
106.72.159.3 m106072159003.v4.enabler.ne.jp JP
172.7.16.63 172-7-16-63.lightspeed.bcvloh.sbcglobal.net US
用户代理字符串
GigablastOpenSource/1.0
首次出现
2014-08-25 09:30:00
最后出现
2021-04-21 12:51:58
遵循robots.txt
来源
IP地址(87) 服务器名称 所属国家
62.231.95.189 62-231-95-189.rdsnet.ro RO
198.16.7.135 gb1.exactseek.com US
217.23.2.54 customer.worldstream.nl NL
93.238.204.49 p5deecc31.dip0.t-ipconnect.de DE
79.197.103.220 p4fc567dc.dip0.t-ipconnect.de DE
93.238.202.126 p5deeca7e.dip0.t-ipconnect.de DE
81.169.233.182 h2800027.stratoserver.net DE
78.47.37.98 ? DE
195.201.170.90 ? DE
2a01:4f8:141:5148::2 2a01:4f8:141:5148::2 DE
用户代理字符串
Gigabot
首次出现
2018-06-08 13:19:34
最后出现
2020-04-13 15:37:15
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
65.132.59.34 ? US
用户代理字符串
Gigabot (1.1 1.2)
首次出现
2019-10-14 04:59:56
最后出现
2020-02-08 00:30:50
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
65.132.59.34 ? US
用户代理字符串
Gigabot (1.1 1.2)
首次出现
2019-10-14 04:59:56
最后出现
2020-02-08 00:30:50
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
65.132.59.34 ? US
用户代理字符串
G-i-g-a-b-o-t
首次出现
2017-06-10 03:51:15
最后出现
2019-05-29 17:09:18
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
65.132.59.34 ? US
用户代理字符串
Gigabot/3.0 (http://www.gigablast.com/spider.html)
首次出现
2009-05-11 05:50:00
最后出现
2018-11-26 10:17:00
遵循robots.txt
未知
来源
IP地址(23) 服务器名称 所属国家
84.101.220.67 ? FR
213.159.213.113 vds.ds RU
213.159.213.114 ru-ms-vgen-01.vpnsvc.com RU
213.159.213.116 ru-ms-vgen-01.vpnsvc.com RU
213.159.213.115 ru-ms-vgen-01.vpnsvc.com RU
83.143.83.199 ? NO
83.143.83.203 ? NO
83.143.83.195 ? NO
83.143.83.198 ? NO
83.143.83.196 ? NO
用户代理字符串
GigablastOpenSource/1
首次出现
2013-08-22 23:45:30
最后出现
2018-06-09 16:03:59
遵循robots.txt
未知
来源
IP地址(8) 服务器名称 所属国家
95.216.29.163 ? FI
78.47.37.98 ? DE
148.251.9.252 ? DE
90.191.82.137 137-82-191-90.dyn.estpak.ee EE
69.9.181.172 coeus.exactseek.com US
69.9.181.169 sitepronews.com US
195.222.13.111 fry.ideelabor.ee EE
208.122.26.142 blog-search.com US
用户代理字符串
Gigabot/1.0
首次出现
2015-11-27 20:00:18
最后出现
2017-05-05 02:31:40
遵循robots.txt
来源
IP地址(1) 服务器名称 所属国家
149.90.182.105 105.182.90.149.rev.vodafone.pt PT
66.162.42.131 66-162-42-131.static.twtelecom.net US
65.132.59.34 65.132.59.34 US
用户代理字符串
Gigabot/1.0
首次出现
2015-11-27 20:00:18
最后出现
2017-05-05 02:31:40
遵循robots.txt
来源
IP地址(1) 服务器名称 所属国家
65.132.59.34 65.132.59.34 US
用户代理字符串
Gigabot/2.0
首次出现
2016-05-05 09:23:00
最后出现
2016-06-06 11:58:03
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
65.132.59.34 ? US

访问控制

了解如何控制Gigabot访问权限,避免Gigabot抓取行为不当。

是否拦截Gigabot?

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力,是用户发现您网站的有效途径。事实上,拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Gigabot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: Gigabot
	Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles