IP地址(183) | 服务器名称 | 所属国家 |
---|---|---|
66.249.88.3 | google-proxy-66-249-88-3.google.com | US |
66.249.84.192 | google-proxy-66-249-84-192.google.com | US |
66.249.88.27 | google-proxy-66-249-88-27.google.com | US |
66.249.88.31 | google-proxy-66-249-88-31.google.com | US |
66.249.89.221 | rate-limited-proxy-66-249-89-221.google.com | US |
66.249.92.47 | rate-limited-proxy-66-249-92-47.google.com | US |
66.249.84.223 | google-proxy-66-249-84-223.google.com | US |
66.249.84.221 | google-proxy-66-249-84-221.google.com | US |
66.249.92.49 | rate-limited-proxy-66-249-92-49.google.com | US |
66.249.88.4 | google-proxy-66-249-88-4.google.com | US |
66.249.88.29 | google-proxy-66-249-88-29.google.com | US |
66.249.84.209 | google-proxy-66-249-84-209.google.com | US |
66.249.88.8 | google-proxy-66-249-88-8.google.com | US |
66.249.84.211 | google-proxy-66-249-84-211.google.com | US |
66.249.84.207 | google-proxy-66-249-84-207.google.com | US |
74.125.151.130 | rate-limited-proxy-74-125-151-130.google.com | ? |
74.125.151.157 | rate-limited-proxy-74-125-151-157.google.com | US |
66.249.89.171 | rate-limited-proxy-66-249-89-171.google.com | GB |
74.125.151.159 | rate-limited-proxy-74-125-151-159.google.com | US |
66.249.83.54 | google-proxy-66-249-83-54.google.com | US |
66.249.84.238 | google-proxy-66-249-84-238.google.com | US |
66.249.83.47 | google-proxy-66-249-83-47.google.com | US |
66.249.83.49 | google-proxy-66-249-83-49.google.com | US |
66.249.83.51 | google-proxy-66-249-83-51.google.com | US |
66.249.83.41 | google-proxy-66-249-83-41.google.com | US |
66.249.83.45 | google-proxy-66-249-83-45.google.com | US |
66.102.9.136 | google-proxy-66-102-9-136.google.com | US |
66.102.9.132 | google-proxy-66-102-9-132.google.com | US |
66.102.9.134 | google-proxy-66-102-9-134.google.com | US |
66.249.88.139 | google-proxy-66-249-88-139.google.com | US |
66.249.88.142 | google-proxy-66-249-88-142.google.com | US |
66.249.88.145 | google-proxy-66-249-88-145.google.com | US |
66.249.89.231 | rate-limited-proxy-66-249-89-231.google.com | US |
66.249.84.195 | google-proxy-66-249-84-195.google.com | US |
66.249.89.227 | rate-limited-proxy-66-249-89-227.google.com | US |
66.249.84.199 | google-proxy-66-249-84-199.google.com | US |
66.249.84.193 | google-proxy-66-249-84-193.google.com | US |
66.249.84.222 | google-proxy-66-249-84-222.google.com | US |
66.249.92.152 | rate-limited-proxy-66-249-92-152.google.com | US |
66.249.84.197 | google-proxy-66-249-84-197.google.com | US |
209.85.238.66 | rate-limited-proxy-209-85-238-66.google.com | US |
66.249.90.30 | rate-limited-proxy-66-249-90-30.google.com | US |
209.85.238.93 | rate-limited-proxy-209-85-238-93.google.com | ? |
66.249.92.52 | rate-limited-proxy-66-249-92-52.google.com | US |
66.249.92.71 | rate-limited-proxy-66-249-92-71.google.com | US |
66.249.92.222 | rate-limited-proxy-66-249-92-222.google.com | US |
74.125.210.216 | google-proxy-74-125-210-216.google.com | US |
66.249.93.136 | google-proxy-66-249-93-136.google.com | US |
74.125.210.219 | google-proxy-74-125-210-219.google.com | US |
66.249.92.40 | rate-limited-proxy-66-249-92-40.google.com | US |
66.249.89.229 | rate-limited-proxy-66-249-89-229.google.com | US |
66.249.92.69 | rate-limited-proxy-66-249-92-69.google.com | US |
66.249.92.196 | rate-limited-proxy-66-249-92-196.google.com | US |
66.249.92.4 | rate-limited-proxy-66-249-92-4.google.com | US |
74.125.151.138 | rate-limited-proxy-74-125-151-138.google.com | US |
66.249.92.149 | rate-limited-proxy-66-249-92-149.google.com | US |
66.249.92.150 | rate-limited-proxy-66-249-92-150.google.com | US |
66.249.92.2 | rate-limited-proxy-66-249-92-2.google.com | US |
66.249.92.34 | rate-limited-proxy-66-249-92-34.google.com | US |
66.249.89.186 | rate-limited-proxy-66-249-89-186.google.com | GB |
66.249.92.129 | rate-limited-proxy-66-249-92-129.google.com | US |
66.249.92.15 | rate-limited-proxy-66-249-92-15.google.com | US |
66.249.92.14 | rate-limited-proxy-66-249-92-14.google.com | US |
66.249.89.188 | rate-limited-proxy-66-249-89-188.google.com | GB |
66.249.92.13 | rate-limited-proxy-66-249-92-13.google.com | US |
66.249.89.190 | rate-limited-proxy-66-249-89-190.google.com | GB |
66.249.92.33 | rate-limited-proxy-66-249-92-33.google.com | US |
66.249.92.35 | rate-limited-proxy-66-249-92-35.google.com | US |
66.249.89.173 | rate-limited-proxy-66-249-89-173.google.com | GB |
66.249.92.67 | rate-limited-proxy-66-249-92-67.google.com | US |
66.249.89.174 | rate-limited-proxy-66-249-89-174.google.com | GB |
66.249.91.178 | rate-limited-proxy-66-249-91-178.google.com | US |
66.249.92.198 | rate-limited-proxy-66-249-92-198.google.com | US |
74.125.151.173 | rate-limited-proxy-74-125-151-173.google.com | US |
74.125.217.108 | rate-limited-proxy-74-125-217-108.google.com | US |
66.249.92.68 | rate-limited-proxy-66-249-92-68.google.com | US |
66.249.89.172 | rate-limited-proxy-66-249-89-172.google.com | GB |
72.14.199.237 | rate-limited-proxy-72-14-199-237.google.com | US |
66.249.91.161 | rate-limited-proxy-66-249-91-161.google.com | US |
72.14.199.67 | rate-limited-proxy-72-14-199-67.google.com | US |
74.125.216.141 | rate-limited-proxy-74-125-216-141.google.com | US |
66.249.91.101 | rate-limited-proxy-66-249-91-101.google.com | US |
72.14.199.238 | rate-limited-proxy-72-14-199-238.google.com | US |
66.249.91.14 | rate-limited-proxy-66-249-91-14.google.com | US |
66.249.91.162 | rate-limited-proxy-66-249-91-162.google.com | US |
66.249.91.233 | rate-limited-proxy-66-249-91-233.google.com | ? |
66.249.91.234 | rate-limited-proxy-66-249-91-234.google.com | US |
72.14.199.73 | rate-limited-proxy-72-14-199-73.google.com | US |
72.14.199.71 | rate-limited-proxy-72-14-199-71.google.com | US |
74.125.216.99 | rate-limited-proxy-74-125-216-99.google.com | US |
72.14.199.236 | rate-limited-proxy-72-14-199-236.google.com | US |
72.14.199.72 | rate-limited-proxy-72-14-199-72.google.com | US |
74.125.216.110 | rate-limited-proxy-74-125-216-110.google.com | US |
74.125.216.108 | rate-limited-proxy-74-125-216-108.google.com | US |
66.249.90.97 | rate-limited-proxy-66-249-90-97.google.com | US |
66.249.89.237 | rate-limited-proxy-66-249-89-237.google.com | US |
74.125.216.109 | rate-limited-proxy-74-125-216-109.google.com | US |
74.125.217.41 | rate-limited-proxy-74-125-217-41.google.com | US |
66.249.91.34 | rate-limited-proxy-66-249-91-34.google.com | US |
66.249.91.33 | rate-limited-proxy-66-249-91-33.google.com | US |
66.249.91.163 | rate-limited-proxy-66-249-91-163.google.com | US |
66.249.89.236 | rate-limited-proxy-66-249-89-236.google.com | US |
66.249.89.238 | rate-limited-proxy-66-249-89-238.google.com | US |
IP地址(183) | 服务器名称 | 所属国家 |
---|---|---|
66.249.83.54 | google-proxy-66-249-83-54.google.com | US |
66.249.84.238 | google-proxy-66-249-84-238.google.com | US |
66.249.83.47 | google-proxy-66-249-83-47.google.com | US |
66.249.83.49 | google-proxy-66-249-83-49.google.com | US |
66.249.83.51 | google-proxy-66-249-83-51.google.com | US |
66.249.83.41 | google-proxy-66-249-83-41.google.com | US |
66.249.83.45 | google-proxy-66-249-83-45.google.com | US |
66.102.9.136 | google-proxy-66-102-9-136.google.com | US |
66.102.9.132 | google-proxy-66-102-9-132.google.com | US |
66.102.9.134 | google-proxy-66-102-9-134.google.com | US |
通常不需要。除非您不希望信息流网站或者APP对您的网站内容进行抓取,网站也不提供Feed订阅服务,则可以考虑拦截此类型爬虫。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Feedfetcher-Google 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: Feedfetcher-Google Disallow: /
您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
Google 使用 Feedfetcher 抓取 Google 播客、Google 新闻和 PubSubHubbub 的 RSS 或 Atom Feed。
Feedfetcher 会存储并定期刷新由应用或服务的用户请求的 Feed。只有播客 Feed 才会在 Google 搜索中编入索引;但是,如果 Feed 不符合 Atom 或 RSS 规范,仍可能被编入索引。对于这款由用户控制的 Feed 抓取工具的工作原理,下文列出了一些常见问题的解答。
当用户添加使用 Feedfetcher 数据的服务或应用时,Google 的 Feedfetcher 会尝试获取相应 Feed 的内容,以便将其显示出来。由于 Feedfetcher 请求来自真实用户的明确操作(而非来自自动抓取工具),因此 Feedfetcher 不会遵循 robots.txt 中的指令。
如果您的 Feed 是公开的,那么 Google 无法限制用户访问该 Feed。一种解决办法是,将网站配置为向用户代理 Feedfetcher-Google
发送 404、410 或其他错误状态消息。
如果您的 Feed 是由某个博客或网站托管服务提供商提供的,请直接与相应服务提供商联系,限制用户对您 Feed 的访问。
对于大多数网站,Feedfetcher 平均每小时最多检索一次 Feed。 某些经常更新的网站可能会更频繁地刷新。但请注意,由于网络延迟,Feedfetcher 在短时间内检索您 Feed 的频率可能略高。
Feedfetcher 会根据用户安装的服务或应用发出的请求检索 Feed。所以可能的情况是,用户请求的 Feed 网址不存在。
Feedfetcher 会根据用户安装的服务或应用发出的请求检索 Feed。所以可能的情况是,发出请求的用户知道您的“私密”服务器,或者错误地输入了您的“私密”服务器。
只有在用户已明确启动从 Feed 请求数据的服务或应用后,Feedfetcher 才会检索这些 Feed。Feedfetcher 会以真实用户(而不是漫游器)的身份运行,因此它会忽略 robots.txt 中的指令。由于 Feedfetcher 会充当多位用户的代理,因此它会代表通过应用或服务请求相应 Feed 的所有用户,仅针对这个共同的 Feed 提出 1 次请求,从而节省了带宽。常见的 Feed 包括 RSS 和 Atom。
您可以将服务器配置为向用户代理 Feedfetcher-Google
发送 404、410 或其他错误状态消息,从而阻止 Feedfetcher 抓取您的网站。
Feedfetcher 分布在多台计算机上,以便提升性能,并随着网络规模的扩大而扩大其作用范围。为了减少带宽的使用量,所用的计算机通常位于它们正在网络中检索的网站附近。
Feedfetcher 使用的 IP 地址会随时发生变化。识别 Feedfetcher 请求的最佳方法是查找其用户代理 Feedfetcher-Google
。
一般来说,Feedfetcher 在指定的 Feed 检索期间只从您的网站下载各文件的一份副本。但在极少数情况下,计算机会关闭并重新启动,这可能会导致 Feedfetcher 再次检索最近访问过的网页。
与普通的网页抓取工具不同,Feedfetcher 并不会跟踪链接,它只会跟踪使用 Feedfetcher 的服务或应用的用户发来的请求。