Netvibes crawler

Netvibes crawler蜘蛛/爬虫属于信息流类型,由Dassault Systemes开发运行。您可以继续阅读下方信息,以深入了解Netvibes crawler基本信息,用户代理和访问控制等。

基本信息

Netvibes crawler的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
Netvibes crawler
类型
信息流
开发商
Dassault Systemes
当前状态
活动

用户代理

关于Netvibes crawler蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
Netvibes Exposition
用户代理字符串
Netvibes Exposition
首次出现
2018-10-03 10:42:24
最后出现
2018-10-04 08:07:19
遵循robots.txt
来源
IP地址(8) 服务器名称 所属国家
193.189.143.49 web2.netvibes.com FR
193.189.143.151 web11.netvibes.com FR
193.189.143.172 web15.netvibes.com FR
193.189.143.54 web7.netvibes.com FR
193.189.143.181 web18.netvibes.com TR
193.189.143.173 web16.netvibes.com FR
193.189.143.174 web17.netvibes.com FR
193.189.143.55 web8.netvibes.com FR
用户代理字符串
Netvibes (crawler/bot; http://www.netvibes.com)
首次出现
2018-05-29 17:43:34
最后出现
2018-07-02 23:41:54
遵循robots.txt
来源
IP地址(8) 服务器名称 所属国家
193.189.143.54 web7.netvibes.com FR
193.189.143.198 web19.netvibes.com FR
193.189.143.53 web6.netvibes.com FR
193.189.143.232 web24.netvibes.com FR
193.189.143.172 web15.netvibes.com FR
193.189.143.48 web1.netvibes.com FR
193.189.143.173 web16.netvibes.com FR
193.189.143.151 web11.netvibes.com FR
用户代理字符串
Netvibes (http://www.netvibes.com)
首次出现
2016-03-16 12:00:49
最后出现
2018-05-29 11:43:27
遵循robots.txt
来源
IP地址(18) 服务器名称 所属国家
193.189.143.53 web6.netvibes.com FR
193.189.143.54 web7.netvibes.com FR
193.189.143.57 web10.netvibes.com FR
193.189.143.151 web11.netvibes.com FR
193.189.143.172 web15.netvibes.com FR
193.189.143.198 web19.netvibes.com FR
193.189.143.199 web20.netvibes.com TR
193.189.143.232 web24.netvibes.com FR
193.189.143.56 web9.netvibes.com FR
193.189.143.181 web18.netvibes.com TR
193.189.143.48 web1.netvibes.com FR
193.189.143.173 web16.netvibes.com FR
193.189.143.47 memcache5.netvibes.com FR
193.189.143.183 nv37.netvibes.com FR
193.189.143.162 nv31.netvibes.com FR
193.189.143.163 nv32.netvibes.com FR
193.189.143.201 nv11.netvibes.com FR
193.189.143.49 web2.netvibes.com FR
193.189.143.50 web3.netvibes.com FR
193.189.143.55 web8.netvibes.com FR
148.253.64.179 ows-148-253-64-179.eu-west-2.compute.outscale.com FR
148.253.108.139 ows-148-253-108-139.eu-west-2.compute.outscale.com FR
80.247.4.112 ows-80-247-4-112.eu-west-2.compute.outscale.com FR
用户代理字符串
Netvibes (http://www.netvibes.com)
首次出现
2016-03-16 12:00:49
最后出现
2018-05-29 11:43:27
遵循robots.txt
来源
IP地址(18) 服务器名称 所属国家
193.189.143.54 web7.netvibes.com FR
193.189.143.172 web15.netvibes.com FR
193.189.143.53 web6.netvibes.com FR
193.189.143.198 web19.netvibes.com FR
193.189.143.48 web1.netvibes.com FR
193.189.143.47 memcache5.netvibes.com FR
193.189.143.183 nv37.netvibes.com FR
193.189.143.162 nv31.netvibes.com FR
193.189.143.163 nv32.netvibes.com FR
193.189.143.201 nv11.netvibes.com FR

访问控制

了解如何控制Netvibes crawler访问权限,避免Netvibes crawler抓取行为不当。

是否拦截Netvibes crawler?

通常不需要。除非您不希望信息流网站或者APP对您的网站内容进行抓取,网站也不提供Feed订阅服务,则可以考虑拦截此类型爬虫。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Netvibes crawler 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: Netvibes crawler
	Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

常见蜘蛛/爬虫

Common Spiders
Twitterbot
Twitterbot蜘蛛/爬虫属于获取器类型,由X Corp.开发运行。您可以继续阅读下方信息,以深入了解Twitterbot基本信息,用户代理和访问控制等。
SeznamBot
SeznamBot蜘蛛/爬虫属于搜索引擎类型,由Seznam.cz, a.s.开发运行。您可以继续阅读下方信息,以深入了解SeznamBot基本信息,用户代理和访问控制等。
Blogtrottr
Blogtrottr蜘蛛/爬虫属于信息流类型,由Blogtrottr Ltd.开发运行。您可以继续阅读下方信息,以深入了解Blogtrottr基本信息,用户代理和访问控制等。
RSSingBot
RSSingBot蜘蛛/爬虫属于信息流类型,由RSSING.COM开发运行。您可以继续阅读下方信息,以深入了解RSSingBot基本信息,用户代理和访问控制等。
WordPress.com bots
WordPress.com bots蜘蛛/爬虫属于信息流类型,由Automattic Inc.开发运行。您可以继续阅读下方信息,以深入了解WordPress.com bots基本信息,用户代理和访问控制等。
Feedspotbot
Feedspotbot蜘蛛/爬虫属于信息流类型,由Feedspot开发运行。您可以继续阅读下方信息,以深入了解Feedspotbot基本信息,用户代理和访问控制等。
Discordbot
Discordbot蜘蛛/爬虫属于获取器类型,由Discord Inc.开发运行。您可以继续阅读下方信息,以深入了解Discordbot基本信息,用户代理和访问控制等。
Awario crawler
Awario crawler蜘蛛/爬虫属于营销类型,由Link-Assistant.Com开发运行。您可以继续阅读下方信息,以深入了解Awario crawler基本信息,用户代理和访问控制等。

相关文章

Related Articles