註冊
简体
> 工具>蜘蛛查詢工具

Mail.Ru bot

Mail.Ru bot蜘蛛/爬蟲屬於搜尋引擎型別，由VK Group開發執行。您可以繼續閱讀下方資訊，以深入瞭解Mail.Ru bot基本資訊，使用者代理和訪問控制等。

基本資訊

Mail.Ru bot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
Mail.Ru bot
型別
搜尋引擎
開發商
VK Group
當前狀態
活動

使用者代理

關於Mail.Ru bot蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
Mail.RU_Bot/Favicons/2.0
  • Mail.RU_Bot/Favicons/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/Img/2.0
  • Mail.RU_Bot/Img/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU_Bot/Fast/2.0
  • Mail.RU_Bot/Fast/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU_Bot/Robots/2.0
  • Mail.RU/2.0c
  • Mail.RU_Bot/Robots
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU_Bot/2.0
  • Mail.RU/2.0
  • Mail.RU/2.0
  • Mail.Ru/1.0
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)
首次出現
2021-01-20 18:08:51
最後出現
2025-01-09 19:50:48
遵循robots.txt
未知
來源
IP地址(14) 伺服器名稱 所屬國家
95.163.255.144 fetcher15-3.go.mail.ru RU
95.163.255.149 fetcher15-8.go.mail.ru RU
95.163.255.135 fetcher14-4.go.mail.ru RU
95.163.255.133 fetcher14-2.go.mail.ru RU
95.163.255.142 fetcher15-1.go.mail.ru RU
95.163.255.148 fetcher15-7.go.mail.ru RU
95.163.255.132 95.163.255.132 RU
95.163.255.147 fetcher15-6.go.mail.ru RU
95.163.255.137 95.163.255.137 RU
95.163.255.145 fetcher15-4.go.mail.ru RU
95.163.255.146 fetcher15-5.go.mail.ru RU
95.163.255.136 fetcher14-5.go.mail.ru RU
95.163.255.143 fetcher15-2.go.mail.ru RU
95.163.255.134 fetcher14-3.go.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)
首次出現
2013-05-24 00:51:05
最後出現
2022-08-01 05:30:28
遵循robots.txt
是
來源
IP地址(394) 伺服器名稱 所屬國家
195.211.23.207 snipster23.go.mail.ru RU
95.163.255.63 fetcher7-2.go.mail.ru RU
95.163.255.6 fetcher1-5.go.mail.ru RU
95.163.255.3 fetcher1-2.go.mail.ru RU
95.163.255.152 fetcher16-3.go.mail.ru RU
95.163.255.169 fetcher16-20.go.mail.ru RU
95.163.255.65 fetcher7-4.go.mail.ru RU
95.163.255.62 fetcher7-1.go.mail.ru RU
95.163.255.183 fetcher16-34.go.mail.ru RU
95.163.255.194 fetcher16-45.go.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +http://go.mail.ru/help/robots)
首次出現
2013-11-01 08:30:00
最後出現
2022-05-06 09:58:58
遵循robots.txt
是
來源
IP地址(62) 伺服器名稱 所屬國家
95.163.255.81 fetcher-img2-4.p.mail.ru RU
95.163.255.71 fetcher-img2-2.p.mail.ru RU
95.163.255.101 fetcher-img2-8.p.mail.ru RU
95.163.255.91 fetcher-img2-6.p.mail.ru RU
95.163.255.61 fetcher-img2.p.mail.ru RU
95.163.255.100 fetcher-img2-7.p.mail.ru RU
95.163.255.90 fetcher-img2-5.p.mail.ru RU
95.163.255.80 fetcher-img2-3.p.mail.ru RU
95.163.255.110 fetcher-img2-9.p.mail.ru RU
95.163.255.70 fetcher-img2-1.p.mail.ru RU
95.163.255.129 fetcher-img3-8.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.138 fetcher-img3-9.p.mail.ru RU
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.121 fetcher-img3-2.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.131 fetcher-img3-4.p.mail.ru RU
95.163.255.130 fetcher-img3-3.p.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +http://go.mail.ru/help/robots)
首次出現
2013-11-01 08:30:00
最後出現
2022-05-06 09:58:58
遵循robots.txt
是
來源
IP地址(62) 伺服器名稱 所屬國家
95.163.255.110 fetcher-img2-9.p.mail.ru RU
95.163.255.101 fetcher-img2-8.p.mail.ru RU
95.163.255.61 fetcher-img2.p.mail.ru RU
95.163.255.70 fetcher-img2-1.p.mail.ru RU
95.163.255.71 fetcher-img2-2.p.mail.ru RU
95.163.255.80 fetcher-img2-3.p.mail.ru RU
95.163.255.81 fetcher-img2-4.p.mail.ru RU
95.163.255.90 fetcher-img2-5.p.mail.ru RU
95.163.255.91 fetcher-img2-6.p.mail.ru RU
95.163.255.100 fetcher-img2-7.p.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +http://go.mail.ru/help/robots)
首次出現
2014-06-26 13:10:00
最後出現
2022-05-06 07:20:44
遵循robots.txt
是
來源
IP地址(22) 伺服器名稱 所屬國家
95.163.255.131 fetcher-img3-4.p.mail.ru RU
95.163.255.130 fetcher-img3-3.p.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
95.163.255.121 fetcher-img3-2.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.129 fetcher13-8.go.mail.ru RU
95.163.255.138 fetcher-img3-9.p.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
首次出現
2014-01-24 08:35:00
最後出現
2022-03-06 12:40:50
遵循robots.txt
是
來源
IP地址(56) 伺服器名稱 所屬國家
95.163.36.10 fetcher-fast3-1.p.mail.ru RU
95.163.255.119 fetcher-fast1-7.p.mail.ru RU
95.163.36.7 fetcher-fast2-3.p.mail.ru RU
95.163.36.18 fetcher-fast3-6.p.mail.ru RU
95.163.255.68 fetcher7-7.go.mail.ru RU
95.163.36.16 fetcher-fast3-4.p.mail.ru RU
95.163.255.65 fetcher7-4.go.mail.ru RU
95.163.36.17 fetcher-fast3-5.p.mail.ru RU
95.163.255.118 fetcher-fast1-6.p.mail.ru RU
95.163.255.108 fetcher-fast1-4.p.mail.ru RU
95.163.36.12 fetcher-fast3-3.p.mail.ru RU
95.163.36.11 fetcher-fast3-2.p.mail.ru RU
95.163.255.126 fetcher-fast1-1.p.mail.ru RU
95.163.36.19 fetcher-fast3-7.p.mail.ru RU
95.163.255.125 fetcher-fast1.p.mail.ru RU
95.163.36.9 fetcher-fast3.p.mail.ru RU
95.163.255.58 fetcher6-7.go.mail.ru RU
95.163.255.52 fetcher6-1.go.mail.ru RU
95.163.255.67 fetcher7-6.go.mail.ru RU
95.163.255.64 fetcher7-3.go.mail.ru RU
95.163.36.13 fetcher-fast2-5.p.mail.ru RU
95.163.36.6 fetcher-fast2-2.p.mail.ru RU
95.163.36.5 fetcher-fast2-1.p.mail.ru RU
95.163.255.128 fetcher-fast1-3.p.mail.ru RU
95.163.36.8 fetcher-fast2-4.p.mail.ru RU
95.163.36.15 fetcher-fast2-7.p.mail.ru RU
95.163.36.4 fetcher-fast2.p.mail.ru RU
95.163.36.14 fetcher-fast2-6.p.mail.ru RU
95.163.255.127 fetcher-fast1-2.p.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
首次出現
2014-01-24 08:35:00
最後出現
2022-03-06 12:40:50
遵循robots.txt
是
來源
IP地址(56) 伺服器名稱 所屬國家
95.163.255.58 fetcher6-7.go.mail.ru RU
95.163.255.52 fetcher6-1.go.mail.ru RU
95.163.255.67 fetcher7-6.go.mail.ru RU
95.163.255.64 fetcher7-3.go.mail.ru RU
95.163.36.18 fetcher-fast3-6.p.mail.ru RU
95.163.36.9 fetcher-fast3.p.mail.ru RU
95.163.36.19 fetcher-fast3-7.p.mail.ru RU
95.163.36.17 fetcher-fast3-5.p.mail.ru RU
95.163.36.16 fetcher-fast3-4.p.mail.ru RU
95.163.36.11 fetcher-fast3-2.p.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; http://go.mail.ru/help/robots)
首次出現
2018-03-17 13:35:40
最後出現
2020-05-05 04:34:01
遵循robots.txt
是
來源
IP地址(31) 伺服器名稱 所屬國家
95.163.255.97 fetcher10-6.go.mail.ru RU
95.163.255.95 fetcher10-4.go.mail.ru RU
95.163.255.23 fetcher3-2.go.mail.ru RU
95.163.255.98 fetcher10-7.go.mail.ru RU
95.163.255.93 fetcher10-2.go.mail.ru RU
95.163.255.99 fetcher10-8.go.mail.ru RU
95.163.255.27 fetcher3-6.go.mail.ru RU
95.163.255.28 fetcher3-7.go.mail.ru RU
95.163.255.22 fetcher3-1.go.mail.ru RU
95.163.255.24 fetcher3-3.go.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; http://go.mail.ru/help/robots)
首次出現
2018-04-19 01:08:34
最後出現
2020-04-12 21:58:06
遵循robots.txt
是
來源
IP地址(12) 伺服器名稱 所屬國家
95.163.255.135 fetcher14-4.go.mail.ru RU
95.163.255.142 fetcher15-1.go.mail.ru RU
95.163.36.5 fetcher-fast2-1.p.mail.ru RU
95.163.36.6 fetcher-fast2-2.p.mail.ru RU
95.163.255.148 fetcher15-7.go.mail.ru RU
95.163.36.8 fetcher-fast2-4.p.mail.ru RU
95.163.255.108 fetcher-fast1-4.p.mail.ru RU
95.163.255.132 fetcher14-1.go.mail.ru RU
95.163.255.147 fetcher15-6.go.mail.ru RU
95.163.255.149 fetcher15-8.go.mail.ru RU
95.163.255.128 fetcher-fast1-3.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.129 fetcher13-8.go.mail.ru RU
95.163.255.145 fetcher15-4.go.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.144 fetcher15-3.go.mail.ru RU
95.163.255.131 fetcher-img3-4.p.mail.ru RU
95.163.255.130 fetcher-img3-3.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
95.163.255.121 fetcher-img3-2.p.mail.ru RU
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.138 fetcher-img3-9.p.mail.ru RU
95.163.255.247 fetcher-img3-8.p.mail.ru RU
217.69.143.67 fetcher-img3-5.p.mail.ru RU
217.69.143.64 fetcher-img3-2.p.mail.ru RU
217.69.143.66 fetcher-img3-4.p.mail.ru RU
217.69.143.65 fetcher-img3-3.p.mail.ru RU
95.163.255.133 fetcher14-2.go.mail.ru RU
95.163.255.146 fetcher15-5.go.mail.ru RU
95.163.36.4 fetcher-fast2.p.mail.ru RU
95.163.36.11 fetcher-fast3-2.p.mail.ru RU
95.163.36.19 fetcher-fast3-7.p.mail.ru RU
95.163.255.143 fetcher15-2.go.mail.ru RU
95.163.255.137 95.163.255.137 RU
95.163.36.17 fetcher-fast3-5.p.mail.ru RU
95.163.255.134 fetcher14-3.go.mail.ru RU
95.163.36.15 fetcher-fast2-7.p.mail.ru RU
95.163.255.102 fetcher11-1.go.mail.ru RU
95.163.255.136 fetcher14-5.go.mail.ru RU
95.163.255.118 fetcher-fast1-6.p.mail.ru RU
95.163.36.13 fetcher-fast2-5.p.mail.ru RU
95.163.255.127 fetcher-fast1-2.p.mail.ru RU
95.163.255.119 fetcher-fast1-7.p.mail.ru RU
95.163.36.14 fetcher-fast2-6.p.mail.ru RU
95.163.255.126 fetcher-fast1-1.p.mail.ru RU
95.163.36.12 fetcher-fast3-3.p.mail.ru RU
95.163.36.10 fetcher-fast3-1.p.mail.ru RU
95.163.255.125 fetcher-fast1.p.mail.ru RU
95.163.36.16 fetcher-fast3-4.p.mail.ru RU
95.163.36.7 fetcher-fast2-3.p.mail.ru RU
95.163.255.109 fetcher-fast1-5.p.mail.ru RU
95.163.36.9 fetcher-fast3.p.mail.ru RU
95.163.36.18 fetcher-fast3-6.p.mail.ru RU
95.163.255.106 fetcher11-5.go.mail.ru RU
176.112.170.226 srch-general-fetcher1-w-2.g.smailru.net RU
176.112.170.230 srch-general-fetcher1-w-6.g.smailru.net RU
176.112.170.229 srch-general-fetcher1-w-5.g.smailru.net RU
176.112.170.239 srch-general-fetcher2-w-7.g.smailru.net RU
176.112.170.227 srch-general-fetcher1-w-3.g.smailru.net RU
95.163.255.107 fetcher11-6.go.mail.ru RU
176.112.170.238 srch-general-fetcher2-w-6.g.smailru.net RU
176.112.170.231 srch-general-fetcher1-w-7.g.smailru.net RU
176.112.170.236 srch-general-fetcher2-w-4.g.smailru.net RU
176.112.170.237 srch-general-fetcher2-w-5.g.smailru.net RU
95.163.255.103 fetcher11-2.go.mail.ru RU
176.112.170.232 ? RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; http://go.mail.ru/help/robots)
首次出現
2018-04-19 01:08:34
最後出現
2020-04-12 21:58:06
遵循robots.txt
未知
來源
IP地址(12) 伺服器名稱 所屬國家
95.163.255.141 fetcher-img3-6.p.mail.ru RU
95.163.255.247 fetcher-img3-8.p.mail.ru RU
95.163.255.140 fetcher-img3-5.p.mail.ru RU
95.163.255.120 fetcher-img3-1.p.mail.ru RU
95.163.255.111 fetcher-img3.p.mail.ru RU
95.163.255.198 fetcher-img3-7.p.mail.ru RU
217.69.143.67 fetcher-img3-5.p.mail.ru RU
217.69.143.64 fetcher-img3-2.p.mail.ru RU
217.69.143.66 fetcher-img3-4.p.mail.ru RU
217.69.143.65 fetcher-img3-3.p.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Mail.RU/2.0c)
首次出現
2016-01-31 20:32:00
最後出現
2019-05-03 10:00:56
遵循robots.txt
是
來源
IP地址(2) 伺服器名稱 所屬國家
188.93.56.216 ? RU
217.69.133.188 spider9.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots; +http://go.mail.ru/help/robots)
首次出現
2014-09-09 06:07:32
最後出現
2015-02-12 03:43:46
遵循robots.txt
是
來源
IP地址(10) 伺服器名稱 所屬國家
217.69.143.71 fetcher-img3-9.p.mail.ru RU
217.69.143.62 fetcher-img3.p.mail.ru RU
217.69.143.69 fetcher-img3-7.p.mail.ru RU
217.69.143.64 fetcher-img3-2.p.mail.ru DE
217.69.143.65 fetcher-img3-3.p.mail.ru DE
217.69.143.63 fetcher-img3-1.p.mail.ru DE
217.69.143.68 fetcher-img3-6.p.mail.ru DE
217.69.143.67 fetcher-img3-5.p.mail.ru RU
217.69.143.70 fetcher-img3-8.p.mail.ru RU
217.69.143.66 fetcher-img3-4.p.mail.ru DE
使用者代理字串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)
首次出現
2012-12-18 20:10:48
最後出現
2013-05-09 16:10:16
遵循robots.txt
是
來源
IP地址(6) 伺服器名稱 所屬國家
217.69.133.67 fetcher1.mail.ru DE
217.69.133.70 fetcher4.mail.ru RU
217.69.133.69 fetcher3.mail.ru RU
217.69.134.56 spider8.mail.ru DE
217.69.133.68 fetcher2.mail.ru DE
217.69.134.79 fetcher5.mail.ru DE
使用者代理字串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)
首次出現
2012-10-21 12:15:00
最後出現
2012-12-14 13:42:09
遵循robots.txt
是
來源
IP地址(4) 伺服器名稱 所屬國家
95.163.255.156 fetcher16-7.go.mail.ru RU
95.163.255.170 fetcher16-21.go.mail.ru RU
95.163.255.185 fetcher16-36.go.mail.ru RU
95.163.255.187 fetcher16-38.go.mail.ru RU
95.163.255.157 fetcher16-8.go.mail.ru RU
95.163.255.173 fetcher16-24.go.mail.ru RU
95.163.255.161 fetcher16-12.go.mail.ru RU
95.163.255.166 fetcher16-17.go.mail.ru RU
95.163.255.172 95.163.255.172 RU
95.163.255.171 fetcher16-22.go.mail.ru RU
95.163.255.39 fetcher4-8.go.mail.ru RU
95.163.255.164 fetcher16-15.go.mail.ru RU
95.163.255.223 fetcher17-25.go.mail.ru RU
95.163.255.231 fetcher17-33.go.mail.ru RU
95.163.255.186 fetcher16-37.go.mail.ru RU
95.163.255.182 fetcher16-33.go.mail.ru RU
95.163.255.227 fetcher17-29.go.mail.ru RU
95.163.255.224 fetcher17-26.go.mail.ru RU
95.163.255.218 fetcher17-20.go.mail.ru RU
95.163.255.206 fetcher17-8.go.mail.ru RU
195.211.23.207 snipster23.go.mail.ru RU
95.163.255.63 fetcher7-2.go.mail.ru RU
95.163.255.6 fetcher1-5.go.mail.ru RU
95.163.255.3 fetcher1-2.go.mail.ru RU
95.163.255.152 fetcher16-3.go.mail.ru RU
95.163.255.169 fetcher16-20.go.mail.ru RU
95.163.255.65 fetcher7-4.go.mail.ru RU
95.163.255.62 fetcher7-1.go.mail.ru RU
95.163.255.183 fetcher16-34.go.mail.ru RU
95.163.255.194 fetcher16-45.go.mail.ru RU
95.163.255.97 fetcher10-6.go.mail.ru RU
95.163.255.95 fetcher10-4.go.mail.ru RU
95.163.255.23 fetcher3-2.go.mail.ru RU
95.163.255.98 fetcher10-7.go.mail.ru RU
95.163.255.93 fetcher10-2.go.mail.ru RU
95.163.255.99 fetcher10-8.go.mail.ru RU
95.163.255.27 fetcher3-6.go.mail.ru RU
95.163.255.28 fetcher3-7.go.mail.ru RU
95.163.255.22 fetcher3-1.go.mail.ru RU
95.163.255.24 fetcher3-3.go.mail.ru RU
217.69.133.67 fetcher1.mail.ru DE
217.69.133.70 fetcher4.mail.ru RU
217.69.133.68 fetcher2.mail.ru DE
217.69.133.69 fetcher3.mail.ru RU
217.69.134.56 spider8.mail.ru DE
217.69.134.79 fetcher5.mail.ru DE
95.163.255.215 fetcher17-17.go.mail.ru RU
95.163.255.160 fetcher16-11.go.mail.ru RU
95.163.255.154 fetcher16-5.go.mail.ru RU
95.163.255.165 fetcher16-16.go.mail.ru RU
95.163.255.150 fetcher16-1.go.mail.ru RU
95.163.255.195 fetcher16-46.go.mail.ru RU
95.163.255.151 fetcher16-2.go.mail.ru RU
95.163.255.196 fetcher16-47.go.mail.ru RU
95.163.255.178 fetcher16-29.go.mail.ru RU
95.163.255.190 fetcher16-41.go.mail.ru RU
95.163.255.153 fetcher16-4.go.mail.ru RU
95.163.255.189 95.163.255.189 RU
95.163.255.167 fetcher16-18.go.mail.ru RU
95.163.255.174 fetcher16-25.go.mail.ru RU
95.163.255.197 fetcher16-48.go.mail.ru RU
95.163.255.181 fetcher16-32.go.mail.ru RU
95.163.255.175 fetcher16-26.go.mail.ru RU
95.163.255.188 fetcher16-39.go.mail.ru RU
95.163.255.179 fetcher16-30.go.mail.ru RU
95.163.255.163 fetcher16-14.go.mail.ru RU
95.163.255.184 fetcher16-35.go.mail.ru RU
95.163.255.180 fetcher16-31.go.mail.ru RU
95.163.255.32 fetcher4-1.go.mail.ru RU
95.163.255.158 fetcher16-9.go.mail.ru RU
95.163.255.192 fetcher16-43.go.mail.ru RU
95.163.255.201 fetcher17-3.go.mail.ru RU
95.163.255.155 fetcher16-6.go.mail.ru RU
95.163.255.214 fetcher17-16.go.mail.ru RU
95.163.255.202 fetcher17-4.go.mail.ru RU
95.163.255.238 fetcher17-40.go.mail.ru RU
95.163.255.193 fetcher16-44.go.mail.ru RU
95.163.255.177 fetcher16-28.go.mail.ru RU
95.163.255.226 fetcher17-28.go.mail.ru RU
95.163.255.18 fetcher2-7.go.mail.ru RU
95.163.255.68 fetcher7-7.go.mail.ru RU
95.163.255.69 fetcher7-8.go.mail.ru RU
95.163.255.13 fetcher2-2.go.mail.ru ?
95.163.255.162 fetcher16-13.go.mail.ru RU
95.163.255.37 fetcher4-6.go.mail.ru RU
95.163.255.66 fetcher7-5.go.mail.ru RU
95.163.255.176 fetcher16-27.go.mail.ru RU
95.163.255.168 fetcher16-19.go.mail.ru RU
95.163.255.191 fetcher16-42.go.mail.ru RU
95.163.255.96 fetcher10-5.go.mail.ru RU
95.163.255.159 fetcher16-10.go.mail.ru RU
95.163.255.229 fetcher17-31.go.mail.ru RU
95.163.255.58 fetcher6-7.go.mail.ru RU
95.163.255.53 fetcher6-2.go.mail.ru RU
95.163.255.211 fetcher17-13.go.mail.ru RU
95.163.255.200 fetcher17-2.go.mail.ru RU
95.163.255.52 fetcher6-1.go.mail.ru RU
95.163.255.239 fetcher17-41.go.mail.ru RU
95.163.255.17 fetcher17-44.go.mail.ru RU
95.163.255.38 fetcher4-7.go.mail.ru RU
95.163.255.36 fetcher4-5.go.mail.ru RU
95.163.255.26 fetcher3-5.go.mail.ru RU
95.163.255.64 fetcher7-3.go.mail.ru RU
95.163.255.33 fetcher4-2.go.mail.ru RU
95.163.255.67 fetcher7-6.go.mail.ru RU
95.163.255.34 fetcher4-3.go.mail.ru RU
95.163.255.25 fetcher3-4.go.mail.ru RU
176.112.170.226 srch-general-fetcher1-w-2.g.smailru.net RU
95.163.255.29 fetcher3-8.go.mail.ru RU
95.163.255.235 fetcher17-37.go.mail.ru RU
95.163.255.210 fetcher17-12.go.mail.ru RU
95.163.255.219 fetcher17-21.go.mail.ru RU
95.163.255.207 fetcher17-9.go.mail.ru RU
95.163.255.225 fetcher17-27.go.mail.ru RU
95.163.255.233 fetcher17-35.go.mail.ru RU
95.163.255.236 fetcher17-38.go.mail.ru RU
95.163.255.212 fetcher17-14.go.mail.ru RU
95.163.255.203 fetcher17-5.go.mail.ru RU
95.163.255.0 fetcher17-42.go.mail.ru RU
95.163.255.216 fetcher17-18.go.mail.ru RU
95.163.255.208 fetcher17-10.go.mail.ru RU
176.112.170.233 srch-general-fetcher2-w-1.g.smailru.net RU
95.163.255.222 fetcher17-24.go.mail.ru RU
95.163.255.1 fetcher17-43.go.mail.ru RU
95.163.255.237 fetcher17-39.go.mail.ru RU
95.163.255.205 fetcher17-7.go.mail.ru RU
176.112.170.236 srch-general-fetcher2-w-4.g.smailru.net RU
95.163.255.228 fetcher17-30.go.mail.ru RU
95.163.255.232 fetcher17-34.go.mail.ru RU
95.163.255.60 fetcher17-45.go.mail.ru RU
95.163.255.209 fetcher17-11.go.mail.ru RU
95.163.255.220 fetcher17-22.go.mail.ru RU
95.163.255.213 fetcher17-15.go.mail.ru RU
95.163.255.199 fetcher17-1.go.mail.ru RU
95.163.255.122 fetcher17-46.go.mail.ru RU
95.163.255.204 fetcher17-6.go.mail.ru RU
78.153.140.223 hostglobal.plus GB
95.163.255.230 fetcher17-32.go.mail.ru RU
95.163.255.123 fetcher17-47.go.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)
首次出現
2012-10-21 12:15:00
最後出現
2012-12-14 13:42:09
遵循robots.txt
是
來源
IP地址(4) 伺服器名稱 所屬國家
217.69.134.79 fetcher5.mail.ru DE
217.69.133.67 fetcher1.mail.ru DE
217.69.133.69 fetcher3.mail.ru RU
217.69.133.70 fetcher4.mail.ru RU
使用者代理字串
Mozilla/5.0 (compatible; Mail.RU/2.0)
首次出現
2012-04-11 17:25:45
最後出現
2012-10-18 11:48:35
遵循robots.txt
是
來源
IP地址(6) 伺服器名稱 所屬國家
217.69.133.31 nipple4.mail.ru RU
217.69.134.56 spider8.mail.ru DE
217.69.134.91 dombai.mail.ru DE
217.69.133.28 nipple1.mail.ru RU
217.69.133.29 nipple2.mail.ru RU
217.69.133.30 nipple3.mail.ru RU
5.180.136.56 vds2359175.my-ihor.ru RU
使用者代理字串
Mail.RU/2.0
首次出現
2011-04-29 20:15:16
最後出現
2012-04-10 06:08:11
遵循robots.txt
是
來源
IP地址(5) 伺服器名稱 所屬國家
217.69.134.56 spider8.mail.ru DE
217.69.134.91 dombai.mail.ru DE
217.69.133.28 nipple1.mail.ru RU
217.69.133.29 nipple2.mail.ru RU
217.69.133.31 nipple4.mail.ru RU
使用者代理字串
Mail.Ru/1.0
首次出現
2009-05-11 05:50:00
最後出現
2012-03-14 19:57:03
遵循robots.txt
是
來源
IP地址(19) 伺服器名稱 所屬國家
217.69.134.172 spider17.mail.ru DE
94.100.181.242 spider7.mail.ru RU
217.69.134.173 spider18.mail.ru DE
94.100.181.80 aurora3.mail.ru RU
217.69.134.178 spider23.mail.ru RU
94.100.181.85 aurora8.mail.ru RU
217.69.134.179 wiper.p.mail.ru DE
94.100.181.86 aurora9.mail.ru RU
217.69.134.53 spider5.mail.ru DE
94.100.181.90 spider24.mail.ru RU
217.69.134.54 spider6.mail.ru DE
217.69.134.55 spider7.mail.ru DE
217.69.136.30 spider2.mail.ru DE
217.69.133.34 senderexim1.p.smailru.net DE
94.100.181.102 aurora4.mail.ru RU
217.69.134.167 spider12.mail.ru DE
94.100.181.107 spider2.mail.ru RU
217.69.134.168 spider13.mail.ru DE
94.100.181.240 spider5.mail.ru RU

訪問控制

瞭解如何控制Mail.Ru bot訪問許可權，避免Mail.Ru bot抓取行為不當。

是否攔截Mail.Ru bot？

一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Mail.Ru bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Mail.Ru bot
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Mail.Ru bot Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Mail.Ru bot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

搜尋爬蟲或蜘蛛（spider，crawler，bot）是一個在網際網路上 “行走 “的程式，然後下載它們以便隨後編制索引。在它下載了檔案之後，機器人對其進行分析，定義其型別、編碼、語言，並將頁面的連結新增到佇列中，以便進一步編制索引。機器人會定期返回以前訪問過的網頁，以檢查其相關性。

除了索引整個網際網路的主要機器人外，還有專門的機器人，分別下載圖片、視訊、新聞、rss等。通過這種方式，他們可以更迅速地對檔案進行索引。

如何讓Mail.Ru bot更快建立索引

有幾個提示可以幫助加快你的網頁的索引。

  1. 建立一個網站地圖（如果你有一個大的網站，可以建立幾個檔案），其中包含一個用於索引的頁面尿素列表。不要忘了更新它!
  2. 建立一個網站地圖頁面。你可以把你網站的所有重要頁面的連結放在上面。
  3. 使用robots.txt。你可以用它來禁止對個別網頁和網站部分進行索引，指定主要的網站主機（以避免對映象進行索引），為訪問網站頁面設定一個時間延遲。
  4. 配置伺服器，以便在出現錯誤的情況下給出正確的HTTP頭資訊。例如，如果該頁面不存在，它應該返回一個404錯誤。

Mail.Ru bot如何出現在伺服器日誌中

Mail.Ru bot使用以下使用者代理：

  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Img/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Video/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Robots/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Mail/2.0; +https://help.mail.ru/webmaster/indexing/robots)
  • Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)

如何檢查一個爬蟲是否來自go.mail.ru

為了驗證一個爬蟲是否真的屬於Mail.ru，您需要做以下工作。

  • 從網路伺服器的日誌中找到你感興趣的使用者代理的IP地址。
  • 然後，通過對這個ip地址進行反向dns查詢（例如*nix系統中的host命令），你可以確定其主機。我們的機器人進行查詢的所有主機名都以mail.ru結尾。
  • 最為直接的方法是，在您的WordPress安裝Spider Analyser外掛或者通過蜘蛛查詢線上工具，可以快速判斷。

在主機不匹配的情況下，這可能意味著這個爬蟲正在使用一個假的使用者代理，不屬於Mail.ru。

管理Mail.Ru bot行為的技術

元標籤

Mail.Ru bot會考慮到放置在網站頁面程式碼中的以下標籤的內容。

  • <meta name=”keywords” content=”…”/> – 在確定頁面與搜尋查詢的相關性時可以考慮到這一點。
  • <meta name=”Description” content=”…”/> – 這個標籤的內容在片段中使用。
  • <meta http-equiv=”Content-Type” content=”type; charset=…”/> – 這個標籤的值定義了檔案的型別及其編碼。
  • <meta http-equiv=”refresh” content=”N;url=_redirector_address” /> – 在給定頁面的N秒後將使用者重定向到url地址頁面。如果N很小，它被認為是一個臨時重定向，類似於HTTP程式碼302/303/307的伺服器重定向。

Mail.ru機器人還在標籤中考慮諸如以下的指示。

  • <meta name=”robots” content=”all”/> – 索引頁面上的文字和連結，類似於<meta name=”robots” content=”index, follow”/>。
  • <meta name=”robots” content=”noindex” /> – 不允許對頁面文字進行索引。
  • <meta name=”robots” content=”nofollow”/> – 禁止頁面上的索引連結。然而，如果這些網頁上其他地方有沒有nofollow的連結，那麼這些網頁仍然可以被索引。
  • <meta name=”robots” content=”none”/> – 不允許索引頁面上的文字和連結，類似於<meta name=”robots” content=”noindex, nofollow”/>。
  • <meta name=”robots” content=”noarchive”/> – 禁止在搜尋結果頁上鍊接到儲存的副本。

如果在頁面的程式碼中沒有指定元標籤，機器人會預設它們是 “正面 “的。在標籤之間發生衝突的情況下，機器人會選擇預設值。

例子。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<meta name="robots" content="all"/> <meta name="robots" content="noindex, follow"/>
<meta name="robots" content="all"/> 
<meta name="robots" content="noindex, follow"/>

由於標籤的衝突，機器人將預取所有值，即文字和連結將被索引。

一個值為all的標籤不適用於noarchive。

例子。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
<meta name="robot" content="all"/>
<meta name="robot" content="noarchive"/>
<meta name="robot" content="all"/> <meta name="robot" content="noarchive"/>
<meta name="robot" content="all"/>
<meta name="robot" content="noarchive"/>

文字和連結將被編入索引，但在搜尋結果中不會有與儲存副本的連結。

Nofollow在標籤中的含義

標籤<a>中的nofollow值只適用於它所指定的連結。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
<a href="url" rel="nofollow">連結文字</a>
<a href="url" rel="nofollow">連結文字</a>
<a href="url" rel="nofollow">連結文字</a>

標籤中canonical的含義

這個值可以用來將機器人指向一個規範的頁面，以防相同或非常相似的內容可以通過不同的連結進行檢索。

示例：

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
//www.myhost.ru/item.php?item=1234
//www.myhost.ru/item.php?item=1234&sortby=price
//www.myhost.ru/item.php?item=1234&sortby=rating
//www.myhost.ru/item.php?item=1234&sortby=date
//www.myhost.ru/item.php?item=1234 //www.myhost.ru/item.php?item=1234&sortby=price //www.myhost.ru/item.php?item=1234&sortby=rating //www.myhost.ru/item.php?item=1234&sortby=date
//www.myhost.ru/item.php?item=1234
//www.myhost.ru/item.php?item=1234&sortby=price
//www.myhost.ru/item.php?item=1234&sortby=rating
//www.myhost.ru/item.php?item=1234&sortby=date

幾個頁面顯示相同的產品列表，按不同的欄位排序。

你可以選擇第一個連結作為標準連結，並在其他指定頁面的<head>中放置以下標籤

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
<link rel="canonical" href="//www.myhost.ru/item.php?item=1234"/>
<link rel="canonical" href="//www.myhost.ru/item.php?item=1234"/>
<link rel="canonical" href="//www.myhost.ru/item.php?item=1234"/>

這樣一來，只有規範的頁面會被索引，避免了內容的重複。

Mail.Ru bot支援的編碼和語言

目前，俄文、英文、白俄羅斯文、烏克蘭文和哈薩克文的網頁已被編入索引。所有常見的編碼都被支援。

站長工具

我們為站長量身定做的高效工具集。
關鍵詞查詢工具
WP錯誤查詢
robots.txt測試工具
SEO工具箱
WordPress主題檢測器
SEO優化中心
WP開發寶典
蜘蛛查詢工具
檢視全部工具

常見蜘蛛/爬蟲

Common Spiders
Mithril
Mithril蜘蛛/爬蟲屬於搜尋引擎型別，由University of Michigan開發執行。您可以繼續閱讀下方資訊，以深入瞭解Mithril基本資訊，使用者代理和訪問控制等。
fynd.bot crawler
fynd.bot crawler蜘蛛/爬蟲屬於搜尋引擎型別，由fynd.bot開發執行。您可以繼續閱讀下方資訊，以深入瞭解fynd.bot crawler基本資訊，使用者代理和訪問控制等。
Alibaba crawler
Alibaba crawler蜘蛛/爬蟲屬於搜尋引擎型別，由Alibaba Group開發執行。您可以繼續閱讀下方資訊，以深入瞭解Alibaba crawler基本資訊，使用者代理和訪問控制等。
Googlebot
GoogleBot蜘蛛/爬蟲屬於搜尋引擎型別，由Google Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解GoogleBot基本資訊，使用者代理和訪問控制等。
Swisscows Crawler
Swisscows Crawler蜘蛛/爬蟲屬於搜尋引擎型別，由Swisscows AG開發執行。您可以繼續閱讀下方資訊，以深入瞭解Swisscows Crawler基本資訊，使用者代理和訪問控制等。
star-finder.de Bot
star-finder.de Bot蜘蛛/爬蟲屬於搜尋引擎型別，由projektnet開發執行。您可以繼續閱讀下方資訊，以深入瞭解star-finder.de Bot基本資訊，使用者代理和訪問控制等。
SeznamBot
SeznamBot蜘蛛/爬蟲屬於搜尋引擎型別，由Seznam.cz, a.s.開發執行。您可以繼續閱讀下方資訊，以深入瞭解SeznamBot基本資訊，使用者代理和訪問控制等。
MojeekBot
MojeekBot蜘蛛/爬蟲屬於搜尋引擎型別，由Mojeek Ltd.開發執行。您可以繼續閱讀下方資訊，以深入瞭解MojeekBot基本資訊，使用者代理和訪問控制等。

相關文章

Related Articles