Gigabot
Gigabot蜘蛛/爬虫属于搜索引擎类型,由Gigablast, Inc.开发运行。您可以继续阅读下方信息,以深入了解Gigabot基本信息,用户代理和访问控制等。
基本信息
Gigabot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
- 蜘蛛/爬虫名称
- Gigabot
- 类型
- 搜索引擎
- 开发商
-
Gigablast, Inc.
- 当前状态
-
活动
用户代理
关于Gigabot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
GigablastOpenSource/1.0
-
GigablastOpenSource/1.0
-
GigablastOpenSource/1.0
-
Gigabot
-
Gigabot
-
Gigabot
-
G-i-g-a-b-o-t
-
Gigabot/3.0
-
GigablastOpenSource/1
-
Gigabot/1.0
-
Gigabot/1.0
-
Gigabot/2.0
- 用户代理字符串
- Mozilla/5.0 (compatible; GigablastOpenSource/1.0)
- 首次出现
- 2016-07-29 16:31:40
- 最后出现
- 2021-05-20 19:36:28
- 遵循robots.txt
- 否
- 来源
-
IP地址(2) |
服务器名称 |
所属国家 |
70.108.8.72 |
pool-70-108-8-72.washdc.fios.verizon.net |
US |
188.176.48.254 |
188-176-48-254-static.dk.customer.tdc.net |
DK |
62.231.95.189 |
62-231-95-189.rdsnet.ro |
RO |
198.16.7.135 |
gb1.exactseek.com |
US |
217.23.2.54 |
customer.worldstream.nl |
NL |
93.238.204.49 |
p5deecc31.dip0.t-ipconnect.de |
DE |
79.197.103.220 |
p4fc567dc.dip0.t-ipconnect.de |
DE |
93.238.202.126 |
p5deeca7e.dip0.t-ipconnect.de |
DE |
81.169.233.182 |
h2800027.stratoserver.net |
DE |
78.47.37.98 |
? |
DE |
195.201.170.90 |
? |
DE |
2a01:4f8:141:5148::2 |
2a01:4f8:141:5148::2 |
DE |
54.38.176.6 |
ns3113752.ip-54-38-176.eu |
FR |
37.187.143.234 |
ns3094944.ip-37-187-143.eu |
FR |
37.187.147.25 |
ns3091934.ip-37-187-147.eu |
FR |
37.187.143.226 |
ns330836.ip-37-187-143.eu |
FR |
37.187.143.208 |
ns3066836.ip-37-187-143.eu |
FR |
106.72.159.3 |
m106072159003.v4.enabler.ne.jp |
JP |
172.7.16.63 |
172-7-16-63.lightspeed.bcvloh.sbcglobal.net |
US |
- 用户代理字符串
- GigablastOpenSource/1.0
- 首次出现
- 2014-08-25 09:30:00
- 最后出现
- 2021-04-21 12:51:58
- 遵循robots.txt
- 否
- 来源
-
IP地址(87) |
服务器名称 |
所属国家 |
62.231.95.189 |
62-231-95-189.rdsnet.ro |
RO |
198.16.7.135 |
gb1.exactseek.com |
US |
217.23.2.54 |
customer.worldstream.nl |
NL |
93.238.204.49 |
p5deecc31.dip0.t-ipconnect.de |
DE |
79.197.103.220 |
p4fc567dc.dip0.t-ipconnect.de |
DE |
93.238.202.126 |
p5deeca7e.dip0.t-ipconnect.de |
DE |
81.169.233.182 |
h2800027.stratoserver.net |
DE |
78.47.37.98 |
? |
DE |
195.201.170.90 |
? |
DE |
2a01:4f8:141:5148::2 |
2a01:4f8:141:5148::2 |
DE |
- 用户代理字符串
- Gigabot
- 首次出现
- 2018-06-08 13:19:34
- 最后出现
- 2020-04-13 15:37:15
- 遵循robots.txt
- 未知
- 来源
-
IP地址(1) |
服务器名称 |
所属国家 |
65.132.59.34 |
? |
US |
- 用户代理字符串
- Gigabot (1.1 1.2)
- 首次出现
- 2019-10-14 04:59:56
- 最后出现
- 2020-02-08 00:30:50
- 遵循robots.txt
- 未知
- 来源
-
IP地址(1) |
服务器名称 |
所属国家 |
65.132.59.34 |
? |
US |
- 用户代理字符串
- Gigabot (1.1 1.2)
- 首次出现
- 2019-10-14 04:59:56
- 最后出现
- 2020-02-08 00:30:50
- 遵循robots.txt
- 未知
- 来源
-
IP地址(1) |
服务器名称 |
所属国家 |
65.132.59.34 |
? |
US |
- 用户代理字符串
- G-i-g-a-b-o-t
- 首次出现
- 2017-06-10 03:51:15
- 最后出现
- 2019-05-29 17:09:18
- 遵循robots.txt
- 未知
- 来源
-
IP地址(1) |
服务器名称 |
所属国家 |
65.132.59.34 |
? |
US |
- 用户代理字符串
- Gigabot/3.0 (http://www.gigablast.com/spider.html)
- 首次出现
- 2009-05-11 05:50:00
- 最后出现
- 2018-11-26 10:17:00
- 遵循robots.txt
- 未知
- 来源
-
IP地址(23) |
服务器名称 |
所属国家 |
84.101.220.67 |
? |
FR |
213.159.213.113 |
vds.ds |
RU |
213.159.213.114 |
ru-ms-vgen-01.vpnsvc.com |
RU |
213.159.213.116 |
ru-ms-vgen-01.vpnsvc.com |
RU |
213.159.213.115 |
ru-ms-vgen-01.vpnsvc.com |
RU |
83.143.83.199 |
? |
NO |
83.143.83.203 |
? |
NO |
83.143.83.195 |
? |
NO |
83.143.83.198 |
? |
NO |
83.143.83.196 |
? |
NO |
- 用户代理字符串
- GigablastOpenSource/1
- 首次出现
- 2013-08-22 23:45:30
- 最后出现
- 2018-06-09 16:03:59
- 遵循robots.txt
- 未知
- 来源
-
IP地址(8) |
服务器名称 |
所属国家 |
95.216.29.163 |
? |
FI |
78.47.37.98 |
? |
DE |
148.251.9.252 |
? |
DE |
90.191.82.137 |
137-82-191-90.dyn.estpak.ee |
EE |
69.9.181.172 |
coeus.exactseek.com |
US |
69.9.181.169 |
sitepronews.com |
US |
195.222.13.111 |
fry.ideelabor.ee |
EE |
208.122.26.142 |
blog-search.com |
US |
- 用户代理字符串
- Gigabot/1.0
- 首次出现
- 2015-11-27 20:00:18
- 最后出现
- 2017-05-05 02:31:40
- 遵循robots.txt
- 否
- 来源
-
IP地址(1) |
服务器名称 |
所属国家 |
149.90.182.105 |
105.182.90.149.rev.vodafone.pt |
PT |
66.162.42.131 |
66-162-42-131.static.twtelecom.net |
US |
65.132.59.34 |
65.132.59.34 |
US |
- 用户代理字符串
- Gigabot/1.0
- 首次出现
- 2015-11-27 20:00:18
- 最后出现
- 2017-05-05 02:31:40
- 遵循robots.txt
- 否
- 来源
-
IP地址(1) |
服务器名称 |
所属国家 |
65.132.59.34 |
65.132.59.34 |
US |
- 用户代理字符串
- Gigabot/2.0
- 首次出现
- 2016-05-05 09:23:00
- 最后出现
- 2016-06-06 11:58:03
- 遵循robots.txt
- 未知
- 来源
-
IP地址(1) |
服务器名称 |
所属国家 |
65.132.59.34 |
? |
US |
访问控制
了解如何控制Gigabot访问权限,避免Gigabot抓取行为不当。
是否拦截Gigabot?
一般不要拦截。搜索引擎爬虫为搜索引擎提供动力,是用户发现您网站的有效途径。事实上,拦截搜索引擎爬虫可能会严重减少网站的自然流量。
通过Robots.txt拦截
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Gigabot 或限制其访问权限。我们建议安装 Spider Analyser
插件,以检查它是否真正遵循这些规则。
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: Gigabot
Disallow: /
您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。