Aranea

Aranea蜘蛛/爬虫属于其他类型，由Vladimír Benko开发运行。您可以继续阅读下方信息，以深入了解Aranea基本信息，用户代理和访问控制等。

基本信息

Aranea的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。

蜘蛛/爬虫名称: Aranea

类型: 其他

开发商: Vladimír Benko

当前状态: 活动

用户代理

关于Aranea蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：

用户代理字符串: Aranea Web-Crawled Corpora Project (+http://unesco.uniba.sk/guest (Slovak 2023 Summer Crawl))

首次出现: 2024-12-31 12:21:52

最后出现: 2024-12-31 12:21:52

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
147.213.138.57	147.213.138.57	SK

用户代理字符串: Aranea Web-Crawled Corpora Project (+http://unesco.uniba.sk/guest (Hebrew 2024 Spring Crawl))

首次出现: 2024-05-24 15:46:29

最后出现: 2024-05-29 01:17:55

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
158.195.11.36	?	SK

用户代理字符串: Aranea Web-Crawled Corpora Project (+http://aranea.juls.savba.sk/guest (Czech 2024 Spring Crawl))

首次出现: 2024-03-24 03:02:47

最后出现: 2024-03-24 10:48:50

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
147.213.138.57	?	SK

用户代理字符串: Aranea Web-Crawled Corpora Project (Czech Crawl) (+http://aranea.juls.savba.sk/guest)

首次出现: 2022-03-22 06:11:40

最后出现: 2022-12-28 10:24:20

遵循robots.txt: 未知

来源

IP地址(2)	服务器名称	所属国家
147.213.138.57	147.213.138.57	SK
158.195.11.36	158.195.11.36	SK

用户代理字符串: Aranea Web-Crawled Corpora Project (Parsian Crawl) (+http://unesco.uniba.sk/guest)

首次出现: 2022-04-16 02:20:00

最后出现: 2022-04-16 02:20:00

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
158.195.11.36	?	SK

用户代理字符串: Aranea Web-Crawled Corpora Project (+http://aranea.juls.savba.sk/guest)

首次出现: 2022-03-29 01:47:52

最后出现: 2022-03-29 01:47:52

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
158.195.11.36	158.195.11.36	SK

用户代理字符串: Aranea Web-Crawled Corpora Project (2021 Koreanan Crawl) (+http://unesco.uniba.sk/guest)

首次出现: 2021-04-25 18:17:40

最后出现: 2021-04-25 18:17:40

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
158.195.11.36	?	SK

用户代理字符串: Aranea Web-Crawled Corpora Project (2021 Estonian Crawl) (+http://unesco.uniba.sk/guest)

首次出现: 2021-04-14 16:55:35

最后出现: 2021-04-14 16:55:37

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
158.195.11.36	?	SK

用户代理字符串: Aranea Web-Crawled Corpora Project (2021 Durch Crawl) (+http://aranea.juls.savba.sk/guest)

首次出现: 2021-03-23 23:42:58

最后出现: 2021-03-23 23:42:58

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
147.213.138.58	jozef.juls.savba.sk	SK

用户代理字符串: Aranea Web-Crawled Corpora Project (2021 German Crawl) (+http://unesco.uniba.sk/guest)

首次出现: 2021-03-12 04:49:38

最后出现: 2021-03-12 20:43:49

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
158.195.11.36	158.195.11.36	SK

用户代理字符串: Aranea Web-Crawled Corpora Project (2021 French Crawl) (+http://aranea.juls.savba.sk/guest)

首次出现: 2021-03-12 12:58:16

最后出现: 2021-03-12 12:58:16

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
147.213.138.57	147.213.138.57	SK

用户代理字符串: Aranea Web-Crawled Corpora Project (Second Spanish Crawl) (+http://unesco.uniba.sk/guest)

首次出现: 2021-02-13 04:49:38

最后出现: 2021-02-14 04:36:27

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
158.195.11.36	158.195.11.36	SK

用户代理字符串: Aranea Web-Crawled Corpora Project (Czech & Slovak Crawl) (+http://unesco.uniba.sk/guest)

首次出现: 2021-01-22 15:32:38

最后出现: 2021-01-23 07:12:00

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
158.195.11.36	?	SK

用户代理字符串: Aranea Web Corpora Project (Slovak Crawl) (+http://unesco.uniba.sk/guest)

首次出现: 2018-11-17 13:46:31

最后出现: 2020-07-01 10:34:46

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
158.195.11.36	158.195.11.36	SK

用户代理字符串: Aranea Web Corpora Project (Estonian 2019 Crawl) (+http://unesco.uniba.sk/guest)

首次出现: 2019-08-10 19:58:01

最后出现: 2019-08-10 19:58:02

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
158.195.11.36	?	SK

用户代理字符串: Aranea Web Corpora Project (German Crawl) (+http://unesco.uniba.sk/guest)

首次出现: 2018-10-17 23:16:33

最后出现: 2018-10-19 08:12:40

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
158.195.11.36	?	SK

用户代理字符串: Aranea Web Corpora Project (Sk Crawl) (+http://unesco.uniba.sk/guest)

首次出现: 2018-09-26 06:37:46

最后出现: 2018-10-11 18:05:40

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
158.195.11.36	158.195.11.36	SK

用户代理字符串: Python-urllib/2.7 (+http://ella.juls.savba.sk/aranea_about)

首次出现: 2015-08-23 11:47:31

最后出现: 2015-11-21 04:24:20

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
147.213.138.23	sasa.juls.savba.sk	SK

用户代理字符串: Python-urllib/2.7 (+http://sketch.juls.savba.sk/aranea_about)

首次出现: 2015-05-12 07:27:42

最后出现: 2015-08-08 14:06:17

遵循robots.txt: 未知

来源

IP地址(2)	服务器名称	所属国家
147.213.138.23	sasa.juls.savba.sk	SK
147.213.138.20	ella.juls.savba.sk	SK

用户代理字符串: Python-urllib/2.7 (+http://www.juls.savba.sk)

首次出现: 2014-08-20 06:51:53

最后出现: 2014-08-24 22:11:37

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
147.213.138.6	?	SK

用户代理字符串: Python-urllib/2.6 (http://juls.savba.sk)

首次出现: 2013-06-23 07:32:50

最后出现: 2013-12-01 00:53:23

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
147.213.138.19	jozef.juls.savba.sk	SK
147.213.138.23	sasa.juls.savba.sk	SK
147.213.138.20	ella.juls.savba.sk	SK
147.213.138.6	?	SK

用户代理字符串: Python-urllib/2.6 (http://juls.savba.sk)

首次出现: 2013-06-23 07:32:50

最后出现: 2013-12-01 00:53:23

遵循robots.txt: 未知

来源

IP地址(1)	服务器名称	所属国家
147.213.138.23	sasa.juls.savba.sk	SK

访问控制

了解如何控制Aranea访问权限，避免Aranea抓取行为不当。

是否拦截Aranea？

对于未知蜘蛛或者爬虫。它的用途对网站来说可能是好的，也可能是坏的，这取决于它是什么。所以说，这需要站长进一步分析判断这些尚不明确的爬虫行为，再作最终决定。但，根据以往的经验，未声明行为目的及未命名的蜘蛛爬虫，通常都有不可告人的秘密，我们理应对其行为进行控制，比如拦截。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Aranea 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。

# robots.txt

# 下列代码一般情况可以拦截该代理

User-agent: Aranea

Disallow: /

# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: Aranea Disallow: /

# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: Aranea
Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

站长工具

我们为站长量身定做的高效工具集。

查看全部工具

常见蜘蛛/爬虫

Common Spiders

companyspotter

companyspotter蜘蛛/爬虫属于其他类型，由CompanySpotter BV开发运行。您可以继续阅读下方信息，以深入了解companyspotter基本信息，用户代理和访问控制等。

DataForSeo bot

DataForSeo bot蜘蛛/爬虫属于其他类型，由DataForSEO OU开发运行。您可以继续阅读下方信息，以深入了解DataForSeo bot基本信息，用户代理和访问控制等。

CloudFlare crawler

CloudFlare crawler蜘蛛/爬虫属于其他类型，由CloudFlare, Inc.开发运行。您可以继续阅读下方信息，以深入了解CloudFlare crawler基本信息，用户代理和访问控制等。

Odin

Odin蜘蛛/爬虫属于其他类型，由Cyble, Inc.开发运行。您可以继续阅读下方信息，以深入了解Odin基本信息，用户代理和访问控制等。

Chrome Privacy Preserving Prefetch Proxy

Chrome Privacy Preserving Prefetch Proxy蜘蛛/爬虫属于其他类型，由Google Inc.开发运行。您可以继续阅读下方信息，以深入了解Chrome Privacy Preserving Prefetch Proxy基本信息，用户代理和访问控制等。

EFF crawler

EFF crawler蜘蛛/爬虫属于其他类型，由Electronic Frontier Foundation开发运行。您可以继续阅读下方信息，以深入了解EFF crawler基本信息，用户代理和访问控制等。

Modat crawler

Modat crawler蜘蛛/爬虫属于其他类型，由Modat B.V.开发运行。您可以继续阅读下方信息，以深入了解Modat crawler基本信息，用户代理和访问控制等。

FirmoGraph

FirmoGraph蜘蛛/爬虫属于其他类型，由firmograph.io开发运行。您可以继续阅读下方信息，以深入了解FirmoGraph基本信息，用户代理和访问控制等。

如何做搜索引擎蜘蛛日志分析

搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。

什么是抓取预算（Crawl Budget）及如何最大化其利用价值

抓取预算（Crawl Budget），您又可以将之称为抓取频率、抓取量。这个量一般是由搜索引擎蜘蛛根据网站的质量度和权重给域名分配的。理解抓取预算的定义，重要性及最大化其效率，这有利于网站的索引、排名。

怎样才算有利于SEO的网站结构

众所周知，扁平且层级不超过三级的网站结构是最有利于搜索引擎蜘蛛爬取的。显浅的一句看似易懂但如深入，又未必是那么容易理解。下面我们将深入了解网站结构的定义，重要性及实践，以便于各位技术开发、站长和SEOer在未来的网站开发及运营中应用。

为什么要控制Googlebot抓取速度？

在本文中，我们将了解您为什么要控制Googlebot以及如何控制Googlebot和其他搜索引擎爬虫的抓取速度。

如何拦截Google和Bing访问您的网站？

在本文中，我们将解释如何屏蔽Googlebot和Bingbot，屏蔽爬虫后会发生什么以及出现爬取问题的常见原因。

Bing网站管理员工具Bingbot网站爬取频率设置

Bing网站管理员工具中的爬网空间功能允许网站管理员控制Bingbot抓取您的网站的速率。当您的网站上有访问者以适当地管理带宽时，需要进行爬网控制以限制Bingbot和Googlebot等搜索引擎蜘蛛的活动。

WordPress拦截IP地址的6种方法

当网站规模扩大时，您需要采取某些措施来限制来自评论垃圾邮件发送者、无效机器人和人类攻击者的流量。这对于保护您的服务器资源可用于真实用户以及您支付托管费用以获得真实访问者至关重要。在本文中，我们将解释在WordPress中拦截IP地址的6种方法。

如何禁止搜索引擎索引WordPress网站

您可能想要隐藏站点上的内容的原因有很多，但依靠“建议搜索引擎不索引本站点”选项并不是确保此类内容不被看到的最佳方法。除非您想在网络上隐藏您的整个网站，否则永远不要单击此选项，因为如果不小心切换，它会对您的SEO造成巨大损害。

Aranea

基本信息

用户代理

访问控制

是否拦截Aranea？

通过Robots.txt拦截

站长工具

常见蜘蛛/爬虫

相关文章