注册
> 工具>蜘蛛查询工具

Mail.Ru bot Mail.Ru bot

蜘蛛/爬虫名称
Mail.Ru bot
开发商
VK Group
官网
vk.company
当前状态
活动
  • Mail.RU_Bot/Favicons/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/Img/2.0
  • Mail.RU_Bot/Img/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU_Bot/Fast/2.0
  • Mail.RU_Bot/Fast/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU/2.0c
  • Mail.RU_Bot/Robots
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU/2.0
  • Mail.RU/2.0
  • Mail.Ru/1.0
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)
类型
首次出现
2021-01-20 18:08:51
最后出现
2024-11-19 04:45:58
遵循robots.txt
IP地址
14
来源
IP地址 服务器名称 所属国家
95.163.255.144 fetcher15-3.go.mail.ru RU
95.163.255.149 fetcher15-8.go.mail.ru RU
95.163.255.135 fetcher14-4.go.mail.ru RU
95.163.255.133 fetcher14-2.go.mail.ru RU
95.163.255.142 fetcher15-1.go.mail.ru RU
95.163.255.148 fetcher15-7.go.mail.ru RU
95.163.255.132 95.163.255.132 RU
95.163.255.147 fetcher15-6.go.mail.ru RU
95.163.255.137 95.163.255.137 RU
95.163.255.145 fetcher15-4.go.mail.ru RU
95.163.255.146 fetcher15-5.go.mail.ru RU
95.163.255.136 fetcher14-5.go.mail.ru RU
95.163.255.143 fetcher15-2.go.mail.ru RU
95.163.255.134 fetcher14-3.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)
类型
搜索引擎
首次出现
2013-05-24 00:51:05
最后出现
2022-08-01 05:30:28
遵循robots.txt
是
IP地址
394
来源
IP地址 服务器名称 所属国家
195.211.23.207 snipster23.go.mail.ru RU
95.163.255.63 fetcher7-2.go.mail.ru RU
95.163.255.6 fetcher1-5.go.mail.ru RU
95.163.255.3 fetcher1-2.go.mail.ru RU
95.163.255.152 fetcher16-3.go.mail.ru RU
95.163.255.169 fetcher16-20.go.mail.ru RU
95.163.255.65 fetcher7-4.go.mail.ru RU
95.163.255.62 fetcher7-1.go.mail.ru RU
95.163.255.183 fetcher16-34.go.mail.ru RU
95.163.255.194 fetcher16-45.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +http://go.mail.ru/help/robots)
类型
搜索引擎
首次出现
2013-11-01 08:30:00
最后出现
2022-05-06 09:58:58
遵循robots.txt
是
IP地址
62
来源
IP地址 服务器名称 所属国家
95.163.255.81 fetcher-img2-4.p.mail.ru RU
95.163.255.71 fetcher-img2-2.p.mail.ru RU
95.163.255.101 fetcher-img2-8.p.mail.ru RU
95.163.255.91 fetcher-img2-6.p.mail.ru RU
95.163.255.61 fetcher-img2.p.mail.ru RU
95.163.255.100 fetcher-img2-7.p.mail.ru RU
95.163.255.90 fetcher-img2-5.p.mail.ru RU
95.163.255.80 fetcher-img2-3.p.mail.ru RU
95.163.255.110 fetcher-img2-9.p.mail.ru RU
95.163.255.70 fetcher-img2-1.p.mail.ru RU
95.163.255.129 fetcher-img3-8.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.138 fetcher-img3-9.p.mail.ru RU
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.121 fetcher-img3-2.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.131 fetcher-img3-4.p.mail.ru RU
95.163.255.130 fetcher-img3-3.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +http://go.mail.ru/help/robots)
类型
搜索引擎
首次出现
2013-11-01 08:30:00
最后出现
2022-05-06 09:58:58
遵循robots.txt
是
IP地址
62
来源
IP地址 服务器名称 所属国家
95.163.255.110 fetcher-img2-9.p.mail.ru RU
95.163.255.101 fetcher-img2-8.p.mail.ru RU
95.163.255.61 fetcher-img2.p.mail.ru RU
95.163.255.70 fetcher-img2-1.p.mail.ru RU
95.163.255.71 fetcher-img2-2.p.mail.ru RU
95.163.255.80 fetcher-img2-3.p.mail.ru RU
95.163.255.81 fetcher-img2-4.p.mail.ru RU
95.163.255.90 fetcher-img2-5.p.mail.ru RU
95.163.255.91 fetcher-img2-6.p.mail.ru RU
95.163.255.100 fetcher-img2-7.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +http://go.mail.ru/help/robots)
类型
搜索引擎
首次出现
2014-06-26 13:10:00
最后出现
2022-05-06 07:20:44
遵循robots.txt
是
IP地址
22
来源
IP地址 服务器名称 所属国家
95.163.255.131 fetcher-img3-4.p.mail.ru RU
95.163.255.130 fetcher-img3-3.p.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
95.163.255.121 fetcher-img3-2.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.129 fetcher13-8.go.mail.ru RU
95.163.255.138 fetcher-img3-9.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
类型
搜索引擎
首次出现
2014-01-24 08:35:00
最后出现
2022-03-06 12:40:50
遵循robots.txt
是
IP地址
56
来源
IP地址 服务器名称 所属国家
95.163.36.10 fetcher-fast3-1.p.mail.ru RU
95.163.255.119 fetcher-fast1-7.p.mail.ru RU
95.163.36.7 fetcher-fast2-3.p.mail.ru RU
95.163.36.18 fetcher-fast3-6.p.mail.ru RU
95.163.255.68 fetcher7-7.go.mail.ru RU
95.163.36.16 fetcher-fast3-4.p.mail.ru RU
95.163.255.65 fetcher7-4.go.mail.ru RU
95.163.36.17 fetcher-fast3-5.p.mail.ru RU
95.163.255.118 fetcher-fast1-6.p.mail.ru RU
95.163.255.108 fetcher-fast1-4.p.mail.ru RU
95.163.36.12 fetcher-fast3-3.p.mail.ru RU
95.163.36.11 fetcher-fast3-2.p.mail.ru RU
95.163.255.126 fetcher-fast1-1.p.mail.ru RU
95.163.36.19 fetcher-fast3-7.p.mail.ru RU
95.163.255.125 fetcher-fast1.p.mail.ru RU
95.163.36.9 fetcher-fast3.p.mail.ru RU
95.163.255.58 fetcher6-7.go.mail.ru RU
95.163.255.52 fetcher6-1.go.mail.ru RU
95.163.255.67 fetcher7-6.go.mail.ru RU
95.163.255.64 fetcher7-3.go.mail.ru RU
95.163.36.13 fetcher-fast2-5.p.mail.ru RU
95.163.36.6 fetcher-fast2-2.p.mail.ru RU
95.163.36.5 fetcher-fast2-1.p.mail.ru RU
95.163.255.128 fetcher-fast1-3.p.mail.ru RU
95.163.36.8 fetcher-fast2-4.p.mail.ru RU
95.163.36.15 fetcher-fast2-7.p.mail.ru RU
95.163.36.4 fetcher-fast2.p.mail.ru RU
95.163.36.14 fetcher-fast2-6.p.mail.ru RU
95.163.255.127 fetcher-fast1-2.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
类型
搜索引擎
首次出现
2014-01-24 08:35:00
最后出现
2022-03-06 12:40:50
遵循robots.txt
是
IP地址
56
来源
IP地址 服务器名称 所属国家
95.163.255.58 fetcher6-7.go.mail.ru RU
95.163.255.52 fetcher6-1.go.mail.ru RU
95.163.255.67 fetcher7-6.go.mail.ru RU
95.163.255.64 fetcher7-3.go.mail.ru RU
95.163.36.18 fetcher-fast3-6.p.mail.ru RU
95.163.36.9 fetcher-fast3.p.mail.ru RU
95.163.36.19 fetcher-fast3-7.p.mail.ru RU
95.163.36.17 fetcher-fast3-5.p.mail.ru RU
95.163.36.16 fetcher-fast3-4.p.mail.ru RU
95.163.36.11 fetcher-fast3-2.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; http://go.mail.ru/help/robots)
类型
搜索引擎
首次出现
2018-03-17 13:35:40
最后出现
2020-05-05 04:34:01
遵循robots.txt
是
IP地址
31
来源
IP地址 服务器名称 所属国家
95.163.255.97 fetcher10-6.go.mail.ru RU
95.163.255.95 fetcher10-4.go.mail.ru RU
95.163.255.23 fetcher3-2.go.mail.ru RU
95.163.255.98 fetcher10-7.go.mail.ru RU
95.163.255.93 fetcher10-2.go.mail.ru RU
95.163.255.99 fetcher10-8.go.mail.ru RU
95.163.255.27 fetcher3-6.go.mail.ru RU
95.163.255.28 fetcher3-7.go.mail.ru RU
95.163.255.22 fetcher3-1.go.mail.ru RU
95.163.255.24 fetcher3-3.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; http://go.mail.ru/help/robots)
类型
搜索引擎
首次出现
2018-04-19 01:08:34
最后出现
2020-04-12 21:58:06
遵循robots.txt
是
IP地址
12
来源
IP地址 服务器名称 所属国家
95.163.255.135 fetcher14-4.go.mail.ru RU
95.163.255.142 fetcher15-1.go.mail.ru RU
95.163.36.5 fetcher-fast2-1.p.mail.ru RU
95.163.36.6 fetcher-fast2-2.p.mail.ru RU
95.163.255.148 fetcher15-7.go.mail.ru RU
95.163.36.8 fetcher-fast2-4.p.mail.ru RU
95.163.255.108 fetcher-fast1-4.p.mail.ru RU
95.163.255.132 fetcher14-1.go.mail.ru RU
95.163.255.147 fetcher15-6.go.mail.ru RU
95.163.255.149 fetcher15-8.go.mail.ru RU
95.163.255.128 fetcher-fast1-3.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.129 fetcher13-8.go.mail.ru RU
95.163.255.145 fetcher15-4.go.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.144 fetcher15-3.go.mail.ru RU
95.163.255.131 fetcher-img3-4.p.mail.ru RU
95.163.255.130 fetcher-img3-3.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
95.163.255.121 fetcher-img3-2.p.mail.ru RU
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.138 fetcher-img3-9.p.mail.ru RU
95.163.255.247 fetcher-img3-8.p.mail.ru RU
217.69.143.67 fetcher-img3-5.p.mail.ru RU
217.69.143.64 fetcher-img3-2.p.mail.ru RU
217.69.143.66 fetcher-img3-4.p.mail.ru RU
217.69.143.65 fetcher-img3-3.p.mail.ru RU
95.163.255.133 fetcher14-2.go.mail.ru RU
95.163.255.146 fetcher15-5.go.mail.ru RU
95.163.36.4 fetcher-fast2.p.mail.ru RU
95.163.36.11 fetcher-fast3-2.p.mail.ru RU
95.163.36.19 fetcher-fast3-7.p.mail.ru RU
95.163.255.143 fetcher15-2.go.mail.ru RU
95.163.255.137 95.163.255.137 RU
95.163.36.17 fetcher-fast3-5.p.mail.ru RU
95.163.255.134 fetcher14-3.go.mail.ru RU
95.163.36.15 fetcher-fast2-7.p.mail.ru RU
95.163.255.102 fetcher11-1.go.mail.ru RU
95.163.255.136 fetcher14-5.go.mail.ru RU
95.163.255.118 fetcher-fast1-6.p.mail.ru RU
95.163.36.13 fetcher-fast2-5.p.mail.ru RU
95.163.255.127 fetcher-fast1-2.p.mail.ru RU
95.163.255.119 fetcher-fast1-7.p.mail.ru RU
95.163.36.14 fetcher-fast2-6.p.mail.ru RU
95.163.255.126 fetcher-fast1-1.p.mail.ru RU
95.163.36.12 fetcher-fast3-3.p.mail.ru RU
95.163.36.10 fetcher-fast3-1.p.mail.ru RU
95.163.255.125 fetcher-fast1.p.mail.ru RU
95.163.36.16 fetcher-fast3-4.p.mail.ru RU
95.163.36.7 fetcher-fast2-3.p.mail.ru RU
95.163.255.109 fetcher-fast1-5.p.mail.ru RU
95.163.36.9 fetcher-fast3.p.mail.ru RU
95.163.36.18 fetcher-fast3-6.p.mail.ru RU
95.163.255.106 fetcher11-5.go.mail.ru RU
176.112.170.226 srch-general-fetcher1-w-2.g.smailru.net RU
176.112.170.230 srch-general-fetcher1-w-6.g.smailru.net RU
176.112.170.229 srch-general-fetcher1-w-5.g.smailru.net RU
176.112.170.239 srch-general-fetcher2-w-7.g.smailru.net RU
176.112.170.227 srch-general-fetcher1-w-3.g.smailru.net RU
95.163.255.107 fetcher11-6.go.mail.ru RU
176.112.170.238 srch-general-fetcher2-w-6.g.smailru.net RU
176.112.170.231 srch-general-fetcher1-w-7.g.smailru.net RU
176.112.170.236 srch-general-fetcher2-w-4.g.smailru.net RU
176.112.170.237 srch-general-fetcher2-w-5.g.smailru.net RU
95.163.255.103 fetcher11-2.go.mail.ru RU
176.112.170.232 ? RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; http://go.mail.ru/help/robots)
类型
搜索引擎
首次出现
2018-04-19 01:08:34
最后出现
2020-04-12 21:58:06
遵循robots.txt
IP地址
12
来源
IP地址 服务器名称 所属国家
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.247 fetcher-img3-8.p.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
217.69.143.67 fetcher-img3-5.p.mail.ru RU
217.69.143.64 fetcher-img3-2.p.mail.ru RU
217.69.143.66 fetcher-img3-4.p.mail.ru RU
217.69.143.65 fetcher-img3-3.p.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU/2.0c)
类型
搜索引擎
首次出现
2016-01-31 20:32:00
最后出现
2019-05-03 10:00:56
遵循robots.txt
是
IP地址
2
来源
IP地址 服务器名称 所属国家
188.93.56.216 ? RU
217.69.133.188 spider9.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots; +http://go.mail.ru/help/robots)
类型
搜索引擎
首次出现
2014-09-09 06:07:32
最后出现
2015-02-12 03:43:46
遵循robots.txt
是
IP地址
10
来源
IP地址 服务器名称 所属国家
217.69.143.71 fetcher-img3-9.p.mail.ru RU
217.69.143.62 fetcher-img3.p.mail.ru RU
217.69.143.69 fetcher-img3-7.p.mail.ru RU
217.69.143.64 fetcher-img3-2.p.mail.ru DE
217.69.143.65 fetcher-img3-3.p.mail.ru DE
217.69.143.63 fetcher-img3-1.p.mail.ru DE
217.69.143.68 fetcher-img3-6.p.mail.ru DE
217.69.143.67 fetcher-img3-5.p.mail.ru RU
217.69.143.70 fetcher-img3-8.p.mail.ru RU
217.69.143.66 fetcher-img3-4.p.mail.ru DE
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)
类型
搜索引擎
首次出现
2012-12-18 20:10:48
最后出现
2013-05-09 16:10:16
遵循robots.txt
是
IP地址
6
来源
IP地址 服务器名称 所属国家
217.69.133.67 fetcher1.mail.ru DE
217.69.133.70 fetcher4.mail.ru RU
217.69.133.69 fetcher3.mail.ru RU
217.69.134.56 spider8.mail.ru DE
217.69.133.68 fetcher2.mail.ru DE
217.69.134.79 fetcher5.mail.ru DE
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)
类型
搜索引擎
首次出现
2012-10-21 12:15:00
最后出现
2012-12-14 13:42:09
遵循robots.txt
是
IP地址
4
来源
IP地址 服务器名称 所属国家
95.163.255.156 fetcher16-7.go.mail.ru RU
95.163.255.170 fetcher16-21.go.mail.ru RU
95.163.255.185 fetcher16-36.go.mail.ru RU
95.163.255.187 fetcher16-38.go.mail.ru RU
95.163.255.157 fetcher16-8.go.mail.ru RU
95.163.255.173 fetcher16-24.go.mail.ru RU
95.163.255.161 fetcher16-12.go.mail.ru RU
95.163.255.166 fetcher16-17.go.mail.ru RU
95.163.255.172 95.163.255.172 RU
95.163.255.171 fetcher16-22.go.mail.ru RU
95.163.255.39 fetcher4-8.go.mail.ru RU
95.163.255.164 fetcher16-15.go.mail.ru RU
95.163.255.223 fetcher17-25.go.mail.ru RU
95.163.255.231 fetcher17-33.go.mail.ru RU
95.163.255.186 fetcher16-37.go.mail.ru RU
95.163.255.182 fetcher16-33.go.mail.ru RU
95.163.255.227 fetcher17-29.go.mail.ru RU
95.163.255.224 fetcher17-26.go.mail.ru RU
95.163.255.218 fetcher17-20.go.mail.ru RU
95.163.255.206 fetcher17-8.go.mail.ru RU
195.211.23.207 snipster23.go.mail.ru RU
95.163.255.63 fetcher7-2.go.mail.ru RU
95.163.255.6 fetcher1-5.go.mail.ru RU
95.163.255.3 fetcher1-2.go.mail.ru RU
95.163.255.152 fetcher16-3.go.mail.ru RU
95.163.255.169 fetcher16-20.go.mail.ru RU
95.163.255.65 fetcher7-4.go.mail.ru RU
95.163.255.62 fetcher7-1.go.mail.ru RU
95.163.255.183 fetcher16-34.go.mail.ru RU
95.163.255.194 fetcher16-45.go.mail.ru RU
95.163.255.97 fetcher10-6.go.mail.ru RU
95.163.255.95 fetcher10-4.go.mail.ru RU
95.163.255.23 fetcher3-2.go.mail.ru RU
95.163.255.98 fetcher10-7.go.mail.ru RU
95.163.255.93 fetcher10-2.go.mail.ru RU
95.163.255.99 fetcher10-8.go.mail.ru RU
95.163.255.27 fetcher3-6.go.mail.ru RU
95.163.255.28 fetcher3-7.go.mail.ru RU
95.163.255.22 fetcher3-1.go.mail.ru RU
95.163.255.24 fetcher3-3.go.mail.ru RU
217.69.133.67 fetcher1.mail.ru DE
217.69.133.70 fetcher4.mail.ru RU
217.69.133.68 fetcher2.mail.ru DE
217.69.133.69 fetcher3.mail.ru RU
217.69.134.56 spider8.mail.ru DE
217.69.134.79 fetcher5.mail.ru DE
95.163.255.215 fetcher17-17.go.mail.ru RU
95.163.255.160 fetcher16-11.go.mail.ru RU
95.163.255.154 fetcher16-5.go.mail.ru RU
95.163.255.165 fetcher16-16.go.mail.ru RU
95.163.255.150 fetcher16-1.go.mail.ru RU
95.163.255.195 fetcher16-46.go.mail.ru RU
95.163.255.151 fetcher16-2.go.mail.ru RU
95.163.255.196 fetcher16-47.go.mail.ru RU
95.163.255.178 fetcher16-29.go.mail.ru RU
95.163.255.190 fetcher16-41.go.mail.ru RU
95.163.255.153 fetcher16-4.go.mail.ru RU
95.163.255.189 95.163.255.189 RU
95.163.255.167 fetcher16-18.go.mail.ru RU
95.163.255.174 fetcher16-25.go.mail.ru RU
95.163.255.197 fetcher16-48.go.mail.ru RU
95.163.255.181 fetcher16-32.go.mail.ru RU
95.163.255.175 fetcher16-26.go.mail.ru RU
95.163.255.188 fetcher16-39.go.mail.ru RU
95.163.255.179 fetcher16-30.go.mail.ru RU
95.163.255.163 fetcher16-14.go.mail.ru RU
95.163.255.184 fetcher16-35.go.mail.ru RU
95.163.255.180 fetcher16-31.go.mail.ru RU
95.163.255.32 fetcher4-1.go.mail.ru RU
95.163.255.158 fetcher16-9.go.mail.ru RU
95.163.255.192 fetcher16-43.go.mail.ru RU
95.163.255.201 fetcher17-3.go.mail.ru RU
95.163.255.155 fetcher16-6.go.mail.ru RU
95.163.255.214 fetcher17-16.go.mail.ru RU
95.163.255.202 fetcher17-4.go.mail.ru RU
95.163.255.238 fetcher17-40.go.mail.ru RU
95.163.255.193 fetcher16-44.go.mail.ru RU
95.163.255.177 fetcher16-28.go.mail.ru RU
95.163.255.226 fetcher17-28.go.mail.ru RU
95.163.255.18 fetcher2-7.go.mail.ru RU
95.163.255.68 fetcher7-7.go.mail.ru RU
95.163.255.69 fetcher7-8.go.mail.ru RU
95.163.255.13 fetcher2-2.go.mail.ru ?
95.163.255.162 fetcher16-13.go.mail.ru RU
95.163.255.37 fetcher4-6.go.mail.ru RU
95.163.255.66 fetcher7-5.go.mail.ru RU
95.163.255.176 fetcher16-27.go.mail.ru RU
95.163.255.168 fetcher16-19.go.mail.ru RU
95.163.255.191 fetcher16-42.go.mail.ru RU
95.163.255.96 fetcher10-5.go.mail.ru RU
95.163.255.159 fetcher16-10.go.mail.ru RU
95.163.255.229 fetcher17-31.go.mail.ru RU
95.163.255.58 fetcher6-7.go.mail.ru RU
95.163.255.53 fetcher6-2.go.mail.ru RU
95.163.255.211 fetcher17-13.go.mail.ru RU
95.163.255.200 fetcher17-2.go.mail.ru RU
95.163.255.52 fetcher6-1.go.mail.ru RU
95.163.255.239 fetcher17-41.go.mail.ru RU
95.163.255.17 fetcher17-44.go.mail.ru RU
95.163.255.38 fetcher4-7.go.mail.ru RU
95.163.255.36 fetcher4-5.go.mail.ru RU
95.163.255.26 fetcher3-5.go.mail.ru RU
95.163.255.64 fetcher7-3.go.mail.ru RU
95.163.255.33 fetcher4-2.go.mail.ru RU
95.163.255.67 fetcher7-6.go.mail.ru RU
95.163.255.34 fetcher4-3.go.mail.ru RU
95.163.255.25 fetcher3-4.go.mail.ru RU
176.112.170.226 srch-general-fetcher1-w-2.g.smailru.net RU
95.163.255.29 fetcher3-8.go.mail.ru RU
95.163.255.235 fetcher17-37.go.mail.ru RU
95.163.255.210 fetcher17-12.go.mail.ru RU
95.163.255.219 fetcher17-21.go.mail.ru RU
95.163.255.207 fetcher17-9.go.mail.ru RU
95.163.255.225 fetcher17-27.go.mail.ru RU
95.163.255.233 fetcher17-35.go.mail.ru RU
95.163.255.236 fetcher17-38.go.mail.ru RU
95.163.255.212 fetcher17-14.go.mail.ru RU
95.163.255.203 fetcher17-5.go.mail.ru RU
95.163.255.0 fetcher17-42.go.mail.ru RU
95.163.255.216 fetcher17-18.go.mail.ru RU
95.163.255.208 fetcher17-10.go.mail.ru RU
176.112.170.233 srch-general-fetcher2-w-1.g.smailru.net RU
95.163.255.222 fetcher17-24.go.mail.ru RU
95.163.255.1 fetcher17-43.go.mail.ru RU
95.163.255.237 fetcher17-39.go.mail.ru RU
95.163.255.205 fetcher17-7.go.mail.ru RU
176.112.170.236 srch-general-fetcher2-w-4.g.smailru.net RU
95.163.255.228 fetcher17-30.go.mail.ru RU
95.163.255.232 fetcher17-34.go.mail.ru RU
95.163.255.60 fetcher17-45.go.mail.ru RU
95.163.255.209 fetcher17-11.go.mail.ru RU
95.163.255.220 fetcher17-22.go.mail.ru RU
95.163.255.213 fetcher17-15.go.mail.ru RU
95.163.255.199 fetcher17-1.go.mail.ru RU
95.163.255.122 fetcher17-46.go.mail.ru RU
95.163.255.204 fetcher17-6.go.mail.ru RU
78.153.140.223 hostglobal.plus GB
95.163.255.230 fetcher17-32.go.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)
类型
搜索引擎
首次出现
2012-10-21 12:15:00
最后出现
2012-12-14 13:42:09
遵循robots.txt
是
IP地址
4
来源
IP地址 服务器名称 所属国家
217.69.134.79 fetcher5.mail.ru DE
217.69.133.67 fetcher1.mail.ru DE
217.69.133.69 fetcher3.mail.ru RU
217.69.133.70 fetcher4.mail.ru RU
用户代理字符串
Mozilla/5.0 (compatible; Mail.RU/2.0)
类型
搜索引擎
首次出现
2012-04-11 17:25:45
最后出现
2012-10-18 11:48:35
遵循robots.txt
是
IP地址
6
来源
IP地址 服务器名称 所属国家
217.69.133.31 nipple4.mail.ru RU
217.69.134.56 spider8.mail.ru DE
217.69.134.91 dombai.mail.ru DE
217.69.133.28 nipple1.mail.ru RU
217.69.133.29 nipple2.mail.ru RU
217.69.133.30 nipple3.mail.ru RU
5.180.136.56 vds2359175.my-ihor.ru RU
用户代理字符串
Mail.RU/2.0
类型
搜索引擎
首次出现
2011-04-29 20:15:16
最后出现
2012-04-10 06:08:11
遵循robots.txt
是
IP地址
5
来源
IP地址 服务器名称 所属国家
217.69.134.56 spider8.mail.ru DE
217.69.134.91 dombai.mail.ru DE
217.69.133.28 nipple1.mail.ru RU
217.69.133.29 nipple2.mail.ru RU
217.69.133.31 nipple4.mail.ru RU
用户代理字符串
Mail.Ru/1.0
类型
搜索引擎
首次出现
2009-05-11 05:50:00
最后出现
2012-03-14 19:57:03
遵循robots.txt
是
IP地址
19
来源
IP地址 服务器名称 所属国家
217.69.134.172 spider17.mail.ru DE
94.100.181.242 spider7.mail.ru RU
217.69.134.173 spider18.mail.ru DE
94.100.181.80 aurora3.mail.ru RU
217.69.134.178 spider23.mail.ru RU
94.100.181.85 aurora8.mail.ru RU
217.69.134.179 wiper.p.mail.ru DE
94.100.181.86 aurora9.mail.ru RU
217.69.134.53 spider5.mail.ru DE
94.100.181.90 spider24.mail.ru RU
217.69.134.54 spider6.mail.ru DE
217.69.134.55 spider7.mail.ru DE
217.69.136.30 spider2.mail.ru DE
217.69.133.34 senderexim1.p.smailru.net DE
94.100.181.102 aurora4.mail.ru RU
217.69.134.167 spider12.mail.ru DE
94.100.181.107 spider2.mail.ru RU
217.69.134.168 spider13.mail.ru DE
94.100.181.240 spider5.mail.ru RU

搜索爬虫或蜘蛛（spider，crawler，bot）是一个在互联网上 “行走 “的程序，然后下载它们以便随后编制索引。在它下载了文件之后，机器人对其进行分析，定义其类型、编码、语言，并将页面的链接添加到队列中，以便进一步编制索引。机器人会定期返回以前访问过的网页，以检查其相关性。

除了索引整个互联网的主要机器人外，还有专门的机器人，分别下载图片、视频、新闻、rss等。通过这种方式，他们可以更迅速地对文件进行索引。

如何让Mail.Ru bot更快建立索引

有几个提示可以帮助加快你的网页的索引。

  1. 创建一个网站地图（如果你有一个大的网站，可以创建几个文件），其中包含一个用于索引的页面尿素列表。不要忘了更新它!
  2. 创建一个网站地图页面。你可以把你网站的所有重要页面的链接放在上面。
  3. 使用robots.txt。你可以用它来禁止对个别网页和网站部分进行索引，指定主要的网站主机（以避免对镜像进行索引），为访问网站页面设置一个时间延迟。
  4. 配置服务器，以便在出现错误的情况下给出正确的HTTP头信息。例如，如果该页面不存在，它应该返回一个404错误。

Mail.Ru bot如何出现在服务器日志中

Mail.Ru bot使用以下用户代理：

  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Video/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Mail/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)

如何检查一个爬虫是否来自go.mail.ru

为了验证一个爬虫是否真的属于Mail.ru，您需要做以下工作。

  • 从网络服务器的日志中找到你感兴趣的用户代理的IP地址。
  • 然后，通过对这个ip地址进行反向dns查询（例如*nix系统中的host命令），你可以确定其主机。我们的机器人进行查询的所有主机名都以mail.ru结尾。
  • 最为直接的方法是，在您的WordPress安装Spider Analyser插件或者通过蜘蛛查询在线工具，可以快速判断。

在主机不匹配的情况下，这可能意味着这个爬虫正在使用一个假的用户代理，不属于Mail.ru。

管理Mail.Ru bot行为的技术

元标签

Mail.Ru bot会考虑到放置在网站页面代码中的以下标签的内容。

  • <meta name=”keywords” content=”…”/> – 在确定页面与搜索查询的相关性时可以考虑到这一点。
  • <meta name=”Description” content=”…”/> – 这个标签的内容在片段中使用。
  • <meta http-equiv=”Content-Type” content=”type; charset=…”/> – 这个标签的值定义了文件的类型及其编码。
  • <meta http-equiv=”refresh” content=”N;url=_redirector_address” /> – 在给定页面的N秒后将用户重定向到url地址页面。如果N很小，它被认为是一个临时重定向，类似于HTTP代码302/303/307的服务器重定向。

Mail.ru机器人还在标签中考虑诸如以下的指示。

  • <meta name=”robots” content=”all”/> – 索引页面上的文本和链接，类似于<meta name=”robots” content=”index, follow”/>。
  • <meta name=”robots” content=”noindex” /> – 不允许对页面文本进行索引。
  • <meta name=”robots” content=”nofollow”/> – 禁止页面上的索引链接。然而，如果这些网页上其他地方有没有nofollow的链接，那么这些网页仍然可以被索引。
  • <meta name=”robots” content=”none”/> – 不允许索引页面上的文本和链接，类似于<meta name=”robots” content=”noindex, nofollow”/>。
  • <meta name=”robots” content=”noarchive”/> – 禁止在搜索结果页上链接到保存的副本。

如果在页面的代码中没有指定元标签，机器人会默认它们是 “正面 “的。在标签之间发生冲突的情况下，机器人会选择默认值。

例子。

<meta name="robots" content="all"/> 
<meta name="robots" content="noindex, follow"/>

由于标签的冲突，机器人将预取所有值，即文本和链接将被索引。

一个值为all的标签不适用于noarchive。

例子。

<meta name="robot" content="all"/>
<meta name="robot" content="noarchive"/>

文本和链接将被编入索引，但在搜索结果中不会有与保存副本的链接。

Nofollow在标签中的含义

标签<a>中的nofollow值只适用于它所指定的链接。

<a href="url" rel="nofollow">链接文本</a>

标签中canonical的含义

这个值可以用来将机器人指向一个规范的页面，以防相同或非常相似的内容可以通过不同的链接进行检索。

示例：

//www.myhost.ru/item.php?item=1234
//www.myhost.ru/item.php?item=1234&sortby=price
//www.myhost.ru/item.php?item=1234&sortby=rating
//www.myhost.ru/item.php?item=1234&sortby=date

几个页面显示相同的产品列表，按不同的字段排序。

你可以选择第一个链接作为标准链接，并在其他指定页面的<head>中放置以下标签

<link rel="canonical" href="//www.myhost.ru/item.php?item=1234"/>

这样一来，只有规范的页面会被索引，避免了内容的重复。

Mail.Ru bot支持的编码和语言

目前，俄文、英文、白俄罗斯文、乌克兰文和哈萨克文的网页已被编入索引。所有常见的编码都被支持。

常见问题

FAQs
查看更多 >

相关文章

Related Articles