Pinterest bot Pinterest bot

蜘蛛/爬虫名称
Pinterest bot
开发商
Pinterest, Inc.
官网
www.pinterest.com
当前状态
活动
  • Pinterestbot/1.0
  • Pinterestbot/1.0
  • Pinterestbot/1.0
  • Pinterest/0.2
  • Pinterest/0.2
  • Pinterest/0.2
  • Pinterest/0.2
  • Pinterest/0.1
用户代理字符串
Mozilla/5.0 (compatible; Pinterestbot/1.0; +https://www.pinterest.com/bot.html)
类型
首次出现
2020-01-21 11:11:10
最后出现
2021-08-30 18:35:57
遵循robots.txt
IP地址
2
来源
IP地址 服务器名称 所属国家
117.83.232.56 117.83.232.56 CN
54.236.1.12 crawl-54-236-1-12.pinterest.com US
用户代理字符串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +http://www.pinterest.com/bot.html)
类型
首次出现
2017-05-25 15:07:07
最后出现
2017-06-11 15:52:09
遵循robots.txt
IP地址
2
来源
IP地址 服务器名称 所属国家
54.236.1.11 crawl-54-236-1-11.pinterest.com US
54.236.1.13 crawl-54-236-1-13.pinterest.com US
188.95.153.187 crawl-bc5f99bb.pinterestcrawler.com IT
94.139.48.153 crawl-5e8b3099.pinterestcrawler.com ES
121.91.80.179 crawl-795b50b3.pinterestcrawler.com GB
206.232.57.44 crawl-cee8392c.pinterestcrawler.com MX
78.138.30.106 crawl-4e8a1e6a.pinterestcrawler.com AU
154.37.68.52 crawl-9a254434.pinterestcrawler.com AT
58.97.255.227 crawl-3a61ffe3.pinterestcrawler.com FR
209.209.255.227 209.209.255.227 MX
117.83.232.56 117.83.232.56 CN
54.236.1.12 crawl-54-236-1-12.pinterest.com US
89.19.42.174 crawl-59132aae.pinterestcrawler.com BR
213.255.250.196 crawl-d5fffac4.pinterestcrawler.com DE
217.194.144.38 217.194.144.38 CA
用户代理字符串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0; +http://www.pinterest.com/bot.html)
类型
首次出现
2017-05-25 15:07:07
最后出现
2017-06-11 15:52:09
遵循robots.txt
IP地址
2
来源
IP地址 服务器名称 所属国家
54.236.1.12 crawl-54-236-1-12.pinterest.com US
54.236.1.13 crawl-54-236-1-13.pinterest.com US
用户代理字符串
Pinterest/0.2 (+http://www.pinterest.com/bot.html)
类型
首次出现
2017-02-05 05:35:52
最后出现
2017-05-15 16:27:32
遵循robots.txt
IP地址
2
来源
IP地址 服务器名称 所属国家
54.236.1.13 crawl-54-236-1-13.pinterest.com US
54.236.1.11 crawl-54-236-1-11.pinterest.com US
用户代理字符串
Pinterest/0.2 (+http://www.pinterest.com/)
类型
首次出现
2015-09-21 08:37:30
最后出现
2017-01-22 05:21:28
遵循robots.txt
IP地址
18
来源
IP地址 服务器名称 所属国家
54.236.1.11 ec2-54-236-1-11.compute-1.amazonaws.com US
54.236.1.13 ec2-54-236-1-13.compute-1.amazonaws.com US
54.236.1.68 ec2-54-236-1-68.compute-1.amazonaws.com US
54.236.1.74 ec2-54-236-1-74.compute-1.amazonaws.com US
54.236.1.72 ec2-54-236-1-72.compute-1.amazonaws.com US
54.236.1.79 ec2-54-236-1-79.compute-1.amazonaws.com US
54.236.1.71 ec2-54-236-1-71.compute-1.amazonaws.com US
54.236.1.70 ec2-54-236-1-70.compute-1.amazonaws.com US
54.236.1.73 ec2-54-236-1-73.compute-1.amazonaws.com US
54.236.1.75 ec2-54-236-1-75.compute-1.amazonaws.com US
用户代理字符串
Pinterest/0.2 (http://www.pinterest.com/)
类型
首次出现
2015-11-27 17:38:16
最后出现
2016-01-26 21:56:01
遵循robots.txt
IP地址
3
来源
IP地址 服务器名称 所属国家
54.236.1.12 crawl-54-236-1-12.pinterest.com US
54.236.1.13 ec2-54-236-1-13.compute-1.amazonaws.com US
54.236.1.11 ec2-54-236-1-11.compute-1.amazonaws.com US
54.236.1.74 ec2-54-236-1-74.compute-1.amazonaws.com US
54.236.1.68 ec2-54-236-1-68.compute-1.amazonaws.com US
54.236.1.72 ec2-54-236-1-72.compute-1.amazonaws.com US
54.236.1.79 ec2-54-236-1-79.compute-1.amazonaws.com US
54.236.1.71 ec2-54-236-1-71.compute-1.amazonaws.com US
54.236.1.70 ec2-54-236-1-70.compute-1.amazonaws.com US
54.236.1.73 ec2-54-236-1-73.compute-1.amazonaws.com US
54.236.1.75 ec2-54-236-1-75.compute-1.amazonaws.com US
54.236.1.7 ec2-54-236-1-7.compute-1.amazonaws.com US
54.236.1.4 ec2-54-236-1-4.compute-1.amazonaws.com US
54.236.1.3 ec2-54-236-1-3.compute-1.amazonaws.com US
用户代理字符串
Pinterest/0.2 (http://www.pinterest.com/)
类型
首次出现
2015-11-27 17:38:16
最后出现
2016-01-26 21:56:01
遵循robots.txt
IP地址
3
来源
IP地址 服务器名称 所属国家
54.236.1.7 ec2-54-236-1-7.compute-1.amazonaws.com US
54.236.1.4 ec2-54-236-1-4.compute-1.amazonaws.com US
54.236.1.3 ec2-54-236-1-3.compute-1.amazonaws.com US
用户代理字符串
Pinterest/0.1 +http://pinterest.com/
类型
首次出现
2013-08-14 16:16:05
最后出现
2015-09-21 08:20:43
遵循robots.txt
IP地址
26
来源
IP地址 服务器名称 所属国家
54.82.14.182 ec2-54-82-14-182.compute-1.amazonaws.com US
54.81.171.36 ec2-54-81-171-36.compute-1.amazonaws.com US
23.20.24.147 ec2-23-20-24-147.compute-1.amazonaws.com US
54.237.150.66 ec2-54-237-150-66.compute-1.amazonaws.com US
54.237.197.55 ec2-54-237-197-55.compute-1.amazonaws.com US
54.211.68.214 ec2-54-211-68-214.compute-1.amazonaws.com US
54.234.164.192 ec2-54-234-164-192.compute-1.amazonaws.com US
50.16.155.205 ec2-50-16-155-205.compute-1.amazonaws.com US
23.20.84.153 ec2-23-20-84-153.compute-1.amazonaws.com US
54.224.131.213 ec2-54-224-131-213.compute-1.amazonaws.com US

为帮助人们发现并做他们喜爱的事情,Pinterest 创建由数十亿 Pin 图组成的数据库。为了保护 Pinterest 用户并提供最高品质的内容,Pinterest 使用网络爬虫程序(Pinterest bot)来帮助 Pinterest 识别 Pin 图后方页面上的数据。

这些页面包含丰富的信号,使 Pinterest 能够作出推断给出更好的建议,打击垃圾邮件,并显示有用的信息。为充分利用这些信号,Pinterest 经常获取、存储和处理与 Pin 图关联的页面内容。​

Pinterest 爬虫程序为何访问你的网站

Pinterest 爬虫程序访问你的网站主要有三个原因:

  • 从你的目录下载每个产品的图片文件
  • 收集各种元数据,例如产品价格、描述和可用性
  • 确保用户安全访问

Pinterest 爬虫程序如何访问你的网站

当真正的 Pinterest 爬虫程序访问你的网站时,它将发送一个有效的 Pinterest 用户代理并通过 Pinterest 运营的网络进行连接。

Pinterest 爬虫程序遵循机器人排除标准 (robots.txt),配置为限制针对你网站的并发请求速率。请勿在你的网站配置代码中固定这些 IP 地址,因为爬虫程序使用的地址可能会在未经通知的情况下发生更改。

Pinterest bot 的用户代理是:

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0(compatible; Pinterestbot/1.0;+https://www.pinterest.com/bot.html)Mozilla/5.0(Linux; Android 6.0.1;Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0;+https://www.pinterest.com/bot.html)

Pinterest bot 的 IP 是动态的,经常变化,但始终在 54.236.1.001 到 54.236.1.255 范围内。

地理分布式爬取

Pinterest 爬虫程序主要使用美国 IP 地址进行爬取。Pinterest 也可能使用美国之外的 IP 地址进行爬取以支持本地化的数据。

美国 IP 地址的范围始终为:54.236.1.XXX。

非美国 IP 地址没有固定范围。如果你担心有人伪装成 Pinterest 爬虫程序访问你的网站,请按照下一部分中的步骤验证其真实性,而非依赖于 IP 范围检查。

验证 Pinterest 爬虫程序

  1. 使用主机命令对日志中的 IP 地址执行反向 DNS 查找
  2. 验证响应中的域名是否以 pinterest.com或 pinterestcrawler.com 结尾
  3. 使用主机命令对步骤 1 中检索到的响应执行正向 DNS 查找
  4. 验证它与步骤 1 中的 IP 地址是否相同

如果某个客户端可以发送有效的 Pinterest 用户代理,且持续向你发送流量,但此客户端无法通过上述 DNS 测试,请联系 Pinterest

限制或限定 Pinterest 访问你的站点

如需修改 Pinterest 爬虫程序的行为,你需要更新站点的 robots.txt 文件。确保将 robots.txt 文件放置于主域名上,因为 Pinterest 不支持子域名上的 robots.txt 文件。

较大的爬取延迟值会影响你的内容在 Pinterest 上的分发和推荐。因此,爬取延迟值最大限定为 1,大于 1 的任何值都将被视为 1。如果你需设置更大的爬取延迟值,请联系 Pinterest

设置爬取延迟

user-agent: Pinterestbot
Crawl-delay: 0.2

限制 Pinterest 爬取你的整个站点

user-agent: Pinterestbot
disallow: /

限制 Pinterest 爬取路径

user-agent: Pinterestbot
disallow: /directory1/

允许 Pinterest 爬取屏蔽路径中的子路径

user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/

设置多个 robots.txt 参数

user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
crawl-delay: 0.2

常见问题

FAQs
查看更多 >