註冊
简体
> 工具>蜘蛛查詢工具

Google-Shopping

Google-Shopping蜘蛛/爬蟲屬於營銷型別，由Google Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Google-Shopping基本資訊，使用者代理和訪問控制等。

基本資訊

Google-Shopping的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
Google-Shopping
型別
營銷
開發商
Google Inc.
當前狀態
活動

使用者代理

關於Google-Shopping蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
google-xrawler
  • google-xrawler
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
  • Google-Shopping-Quality
使用者代理字串
google-xrawler
首次出現
2017-03-04 12:35:26
最後出現
2024-11-14 23:00:20
遵循robots.txt
未知
來源
IP地址(68) 伺服器名稱 所屬國家
66.249.83.28 google-proxy-66-249-83-28.google.com US
66.249.83.213 google-proxy-66-249-83-213.google.com US
66.249.83.92 google-proxy-66-249-83-92.google.com US
66.249.83.91 google-proxy-66-249-83-91.google.com US
66.249.83.69 google-proxy-66-249-83-69.google.com US
66.249.83.67 google-proxy-66-249-83-67.google.com US
66.249.83.93 google-proxy-66-249-83-93.google.com US
66.249.83.127 google-proxy-66-249-83-127.google.com US
66.249.83.79 google-proxy-66-249-83-79.google.com US
66.249.83.78 google-proxy-66-249-83-78.google.com US
66.249.83.100 google-proxy-66-249-83-100.google.com US
66.249.83.123 google-proxy-66-249-83-123.google.com US
66.249.83.26 google-proxy-66-249-83-26.google.com US
66.249.83.39 google-proxy-66-249-83-39.google.com US
66.249.83.24 google-proxy-66-249-83-24.google.com US
66.249.83.86 google-proxy-66-249-83-86.google.com US
66.249.83.87 google-proxy-66-249-83-87.google.com US
66.249.83.89 google-proxy-66-249-83-89.google.com US
66.249.83.64 google-proxy-66-249-83-64.google.com US
172.253.7.118 172.253.7.118 US
74.125.77.194 74.125.77.194 US
74.125.93.14 74.125.93.14 US
74.125.77.202 74.125.77.202 US
173.194.103.124 173.194.103.124 US
74.125.72.193 74.125.72.193 US
74.125.77.25 74.125.77.25 US
173.194.103.206 173.194.103.206 US
192.178.37.33 192.178.37.33 US
172.217.36.243 172.217.36.243 US
74.125.77.199 74.125.77.199 US
74.125.77.205 74.125.77.205 US
74.125.77.16 74.125.77.16 US
74.125.77.13 74.125.77.13 US
66.102.8.35 google-proxy-66-102-8-35.google.com US
172.253.7.59 172.253.7.59 US
74.125.184.177 74.125.184.177 US
74.125.72.85 74.125.72.85 US
173.194.103.197 173.194.103.197 US
74.125.77.7 74.125.77.7 US
173.194.103.98 173.194.103.98 US
172.253.7.115 172.253.7.115 US
172.217.36.121 172.217.36.121 US
74.125.77.23 74.125.77.23 US
172.253.242.163 172.253.242.163 ?
74.125.177.212 74.125.177.212 US
172.253.7.113 172.253.7.113 US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/IN/tos.html)
首次出現
2022-04-23 03:24:57
最後出現
2022-04-23 03:24:57
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
66.249.92.37 rate-limited-proxy-66-249-92-37.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/US/tos.html)
首次出現
2022-04-22 05:46:35
最後出現
2022-04-23 03:24:25
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
66.249.92.43 66.249.92.43 US
74.125.151.41 rate-limited-proxy-74-125-151-41.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/US/tos.html)
首次出現
2022-04-21 05:37:13
最後出現
2022-04-21 12:34:10
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
74.125.151.41 rate-limited-proxy-74-125-151-41.google.com US
74.125.151.37 rate-limited-proxy-74-125-151-37.google.com ?
74.125.151.39 rate-limited-proxy-74-125-151-39.google.com ?
使用者代理字串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/FR/tos.html)
首次出現
2014-08-12 04:52:31
最後出現
2022-04-21 08:08:50
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
74.125.151.41 rate-limited-proxy-74-125-151-41.google.com US
74.125.151.37 rate-limited-proxy-74-125-151-37.google.com US
74.125.150.19 rate-limited-proxy-74-125-150-19.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2022-04-01 22:18:28
最後出現
2022-04-01 22:18:28
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
74.125.151.39 rate-limited-proxy-74-125-151-39.google.com US
74.125.151.41 rate-limited-proxy-74-125-151-41.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2022-03-11 04:20:51
最後出現
2022-03-23 10:41:43
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
66.249.90.37 rate-limited-proxy-66-249-90-37.google.com US
66.249.90.43 rate-limited-proxy-66-249-90-43.google.com US
66.249.90.40 rate-limited-proxy-66-249-90-40.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2022-02-14 12:50:11
最後出現
2022-02-14 12:50:11
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
66.249.89.199 rate-limited-proxy-66-249-89-199.google.com GB
66.249.89.197 rate-limited-proxy-66-249-89-197.google.com GB
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2022-01-05 17:08:59
最後出現
2022-01-18 11:25:27
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
66.249.92.7 rate-limited-proxy-66-249-92-7.google.com US
66.249.89.197 rate-limited-proxy-66-249-89-197.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2022-01-03 14:56:26
最後出現
2022-01-05 17:09:22
遵循robots.txt
未知
來源
IP地址(7) 伺服器名稱 所屬國家
66.249.89.199 rate-limited-proxy-66-249-89-199.google.com US
66.249.89.197 rate-limited-proxy-66-249-89-197.google.com US
66.249.89.201 rate-limited-proxy-66-249-89-201.google.com US
66.249.92.203 rate-limited-proxy-66-249-92-203.google.com US
66.249.92.133 rate-limited-proxy-66-249-92-133.google.com US
66.249.92.67 rate-limited-proxy-66-249-92-67.google.com US
66.249.92.71 rate-limited-proxy-66-249-92-71.google.com US
使用者代理字串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/PL/tos.html)
首次出現
2020-04-29 05:12:08
最後出現
2021-08-11 10:59:09
遵循robots.txt
未知
來源
IP地址(3) 伺服器名稱 所屬國家
66.249.89.199 rate-limited-proxy-66-249-89-199.google.com GB
66.249.89.213 rate-limited-proxy-66-249-89-213.google.com US
209.85.238.37 rate-limited-proxy-209-85-238-37.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.90 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2021-07-19 17:36:23
最後出現
2021-07-22 14:24:04
遵循robots.txt
未知
來源
IP地址(6) 伺服器名稱 所屬國家
66.249.87.133 rate-limited-proxy-66-249-87-133.google.com US
72.14.199.20 rate-limited-proxy-72-14-199-20.google.com US
72.14.199.18 rate-limited-proxy-72-14-199-18.google.com US
66.249.89.197 rate-limited-proxy-66-249-89-197.google.com US
66.249.89.201 rate-limited-proxy-66-249-89-201.google.com US
72.14.199.5 rate-limited-proxy-72-14-199-5.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.112 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2021-04-11 20:28:34
最後出現
2021-04-12 12:32:15
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
66.249.92.43 rate-limited-proxy-66-249-92-43.google.com US
66.249.89.217 rate-limited-proxy-66-249-89-217.google.com US
66.249.89.213 rate-limited-proxy-66-249-89-213.google.com US
66.249.89.215 rate-limited-proxy-66-249-89-215.google.com US
66.249.91.149 rate-limited-proxy-66-249-91-149.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.90 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2021-01-09 10:19:01
最後出現
2021-01-09 10:19:01
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
66.249.92.45 rate-limited-proxy-66-249-92-45.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.140 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2020-10-28 09:51:11
最後出現
2020-11-23 05:43:11
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
209.85.238.189 rate-limited-proxy-209-85-238-189.google.com US
72.14.199.69 rate-limited-proxy-72-14-199-69.google.com US
66.249.92.59 rate-limited-proxy-66-249-92-59.google.com US
66.249.92.57 rate-limited-proxy-66-249-92-57.google.com US
209.85.238.187 rate-limited-proxy-209-85-238-187.google.com US
使用者代理字串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/SE/tos.html)
首次出現
2020-10-01 19:51:41
最後出現
2020-10-01 19:51:41
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
72.14.199.69 rate-limited-proxy-72-14-199-69.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.122 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2020-09-28 15:28:32
最後出現
2020-10-01 17:37:45
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
72.14.199.73 rate-limited-proxy-72-14-199-73.google.com US
72.14.199.71 rate-limited-proxy-72-14-199-71.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.105 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2020-09-15 08:16:07
最後出現
2020-09-15 08:16:07
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
66.249.89.217 rate-limited-proxy-66-249-89-217.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.118 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2020-07-01 22:36:23
最後出現
2020-07-01 22:36:23
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
72.14.199.75 rate-limited-proxy-72-14-199-75.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.108 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2020-05-11 10:16:43
最後出現
2020-06-02 16:39:36
遵循robots.txt
未知
來源
IP地址(2) 伺服器名稱 所屬國家
66.249.91.188 rate-limited-proxy-66-249-91-188.google.com US
209.85.238.41 rate-limited-proxy-209-85-238-41.google.com US
使用者代理字串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/BR/tos.html)
首次出現
2020-06-02 01:56:23
最後出現
2020-06-02 05:34:50
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
66.249.91.189 rate-limited-proxy-66-249-91-189.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.92 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/HU/tos.html)
首次出現
2020-03-10 05:08:38
最後出現
2020-05-06 20:25:25
遵循robots.txt
未知
來源
IP地址(8) 伺服器名稱 所屬國家
74.125.150.9 rate-limited-proxy-74-125-150-9.google.com US
209.85.238.37 rate-limited-proxy-209-85-238-37.google.com US
74.125.150.7 rate-limited-proxy-74-125-150-7.google.com US
74.125.150.5 rate-limited-proxy-74-125-150-5.google.com US
66.249.90.228 rate-limited-proxy-66-249-90-228.google.com US
66.249.87.228 rate-limited-proxy-66-249-87-228.google.com CA
66.249.87.230 rate-limited-proxy-66-249-87-230.google.com US
66.249.87.242 rate-limited-proxy-66-249-87-242.google.com US
使用者代理字串
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.92 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/PL/tos.html)
首次出現
2020-04-29 05:11:49
最後出現
2020-04-29 08:48:21
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
209.85.238.41 rate-limited-proxy-209-85-238-41.google.com US
使用者代理字串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1944.0 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/US/tos.html)
首次出現
2014-09-04 15:42:31
最後出現
2014-09-09 11:24:15
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
72.14.199.22 rate-limited-proxy-72-14-199-22.google.com US
74.125.151.39 rate-limited-proxy-74-125-151-39.google.com US
74.125.151.37 rate-limited-proxy-74-125-151-37.google.com US
72.14.199.20 rate-limited-proxy-72-14-199-20.google.com US
66.249.91.9 rate-limited-proxy-66-249-91-9.google.com US
66.249.91.5 rate-limited-proxy-66-249-91-5.google.com US
66.249.91.7 rate-limited-proxy-66-249-91-7.google.com US
74.125.151.41 rate-limited-proxy-74-125-151-41.google.com US
72.14.199.69 rate-limited-proxy-72-14-199-69.google.com US
66.249.92.43 rate-limited-proxy-66-249-92-43.google.com US
66.249.92.37 rate-limited-proxy-66-249-92-37.google.com US
74.125.150.19 rate-limited-proxy-74-125-150-19.google.com US
66.249.90.37 rate-limited-proxy-66-249-90-37.google.com US
66.249.90.43 rate-limited-proxy-66-249-90-43.google.com US
72.14.199.67 rate-limited-proxy-72-14-199-67.google.com US
66.249.90.40 rate-limited-proxy-66-249-90-40.google.com US
66.249.89.197 rate-limited-proxy-66-249-89-197.google.com US
66.249.89.199 rate-limited-proxy-66-249-89-199.google.com US
66.249.89.213 rate-limited-proxy-66-249-89-213.google.com US
209.85.238.37 rate-limited-proxy-209-85-238-37.google.com US
66.249.92.7 rate-limited-proxy-66-249-92-7.google.com US
66.249.89.201 rate-limited-proxy-66-249-89-201.google.com US
66.249.92.203 rate-limited-proxy-66-249-92-203.google.com US
66.249.92.133 rate-limited-proxy-66-249-92-133.google.com US
66.249.92.67 rate-limited-proxy-66-249-92-67.google.com US
66.249.92.71 rate-limited-proxy-66-249-92-71.google.com US
66.249.89.200 rate-limited-proxy-66-249-89-200.google.com GB
66.249.89.39 rate-limited-proxy-66-249-89-39.google.com GB
66.249.89.37 rate-limited-proxy-66-249-89-37.google.com GB
66.249.89.41 rate-limited-proxy-66-249-89-41.google.com GB
66.249.87.133 rate-limited-proxy-66-249-87-133.google.com US
72.14.199.18 rate-limited-proxy-72-14-199-18.google.com US
72.14.199.5 rate-limited-proxy-72-14-199-5.google.com US
66.249.90.22 rate-limited-proxy-66-249-90-22.google.com US
66.249.89.217 rate-limited-proxy-66-249-89-217.google.com US
66.249.89.215 rate-limited-proxy-66-249-89-215.google.com US
66.249.92.34 rate-limited-proxy-66-249-92-34.google.com US
66.249.90.34 rate-limited-proxy-66-249-90-34.google.com US
66.249.91.149 rate-limited-proxy-66-249-91-149.google.com US
66.249.92.45 rate-limited-proxy-66-249-92-45.google.com US
209.85.238.189 rate-limited-proxy-209-85-238-189.google.com US
66.249.92.59 rate-limited-proxy-66-249-92-59.google.com US
66.249.92.57 rate-limited-proxy-66-249-92-57.google.com US
209.85.238.187 rate-limited-proxy-209-85-238-187.google.com US
72.14.199.73 rate-limited-proxy-72-14-199-73.google.com US
72.14.199.71 rate-limited-proxy-72-14-199-71.google.com US
72.14.199.75 rate-limited-proxy-72-14-199-75.google.com US
66.249.91.188 rate-limited-proxy-66-249-91-188.google.com US
209.85.238.41 rate-limited-proxy-209-85-238-41.google.com US
66.249.91.189 rate-limited-proxy-66-249-91-189.google.com US
74.125.150.9 rate-limited-proxy-74-125-150-9.google.com US
74.125.150.7 rate-limited-proxy-74-125-150-7.google.com US
74.125.150.5 rate-limited-proxy-74-125-150-5.google.com US
66.249.90.228 rate-limited-proxy-66-249-90-228.google.com US
66.249.87.228 rate-limited-proxy-66-249-87-228.google.com CA
66.249.87.230 rate-limited-proxy-66-249-87-230.google.com US
66.249.87.242 rate-limited-proxy-66-249-87-242.google.com US
66.249.84.75 google-proxy-66-249-84-75.google.com US
使用者代理字串
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1944.0 Safari/537.36 (compatible; Google-Shopping-Quality +http://www.google.com/merchants/tos/extend/US/tos.html)
首次出現
2014-09-04 15:42:31
最後出現
2014-09-09 11:24:15
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
66.249.84.75 google-proxy-66-249-84-75.google.com US

訪問控制

瞭解如何控制Google-Shopping訪問許可權，避免Google-Shopping抓取行為不當。

是否攔截Google-Shopping？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Google-Shopping 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Google-Shopping
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Google-Shopping Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Google-Shopping
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

站長工具

我們為站長量身定做的高效工具集。
關鍵詞查詢工具
WP錯誤查詢
robots.txt測試工具
SEO工具箱
WordPress主題檢測器
SEO優化中心
WP開發寶典
蜘蛛查詢工具
檢視全部工具

常見蜘蛛/爬蟲

Common Spiders
HaloScan bot
HaloScan bot蜘蛛/爬蟲屬於營銷型別，由ARCHI301開發執行。您可以繼續閱讀下方資訊，以深入瞭解HaloScan bot基本資訊，使用者代理和訪問控制等。
Matchory Bot
Matchory Bot蜘蛛/爬蟲屬於營銷型別，由Matchory GmbH開發執行。您可以繼續閱讀下方資訊，以深入瞭解Matchory Bot基本資訊，使用者代理和訪問控制等。
Googlebot
GoogleBot蜘蛛/爬蟲屬於搜尋引擎型別，由Google Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解GoogleBot基本資訊，使用者代理和訪問控制等。
Online Domain Tools
Online Domain Tools蜘蛛/爬蟲屬於監控型別，由AITIS s.r.o.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Online Domain Tools基本資訊，使用者代理和訪問控制等。
AhrefsBot
AhrefsBot蜘蛛/爬蟲屬於營銷型別，由Ahrefs Pte Ltd開發執行。您可以繼續閱讀下方資訊，以深入瞭解AhrefsBot基本資訊，使用者代理和訪問控制等。
SEMrushBot
SEMrushBot蜘蛛/爬蟲屬於營銷型別，由Semrush Inc開發執行。您可以繼續閱讀下方資訊，以深入瞭解SEMrushBot基本資訊，使用者代理和訪問控制等。
DotBot
DotBot蜘蛛/爬蟲屬於營銷型別，由SEOmoz, Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解DotBot基本資訊，使用者代理和訪問控制等。
SentiBot
SentiBot蜘蛛/爬蟲屬於營銷型別，由SentiOne開發執行。您可以繼續閱讀下方資訊，以深入瞭解SentiBot基本資訊，使用者代理和訪問控制等。

相關文章

Related Articles