注册
> 工具>蜘蛛查询工具

bitlybot

bitlybot蜘蛛/爬虫属于工具类型，由Bitly, Inc.开发运行。您可以继续阅读下方信息，以深入了解bitlybot基本信息，用户代理和访问控制等。

基本信息

bitlybot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
蜘蛛/爬虫名称
bitlybot
类型
工具
开发商
Bitly, Inc.
当前状态
活动

用户代理

关于bitlybot蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
bitlybot/3.0
  • bitlybot/3.0
  • bitlybot/4.0
  • bitlybot
  • bitlybot/2.0
用户代理字符串
bitlybot/3.0 (+http://bit.ly/)
首次出现
2015-09-17 09:20:00
最后出现
2024-11-04 02:13:00
遵循robots.txt
未知
来源
IP地址(25) 服务器名称 所属国家
34.86.177.154 ? US
35.199.53.243 ? US
35.199.31.191 ? US
54.86.37.102 ec2-54-86-37-102.compute-1.amazonaws.com US
3.94.163.211 ec2-3-94-163-211.compute-1.amazonaws.com US
34.224.89.159 ec2-34-224-89-159.compute-1.amazonaws.com US
52.201.235.168 ec2-52-201-235-168.compute-1.amazonaws.com US
34.230.78.27 ec2-34-230-78-27.compute-1.amazonaws.com US
54.210.113.231 ec2-54-210-113-231.compute-1.amazonaws.com US
34.224.216.255 ec2-34-224-216-255.compute-1.amazonaws.com US
35.245.230.117 ? US
用户代理字符串
bitlybot/4.0 (+http://bit.ly/)
首次出现
2020-03-25 07:46:55
最后出现
2021-09-23 13:18:17
遵循robots.txt
未知
来源
IP地址(6) 服务器名称 所属国家
34.135.182.194 194.182.135.34.bc.googleusercontent.com US
34.71.233.29 29.233.71.34.bc.googleusercontent.com US
35.202.53.116 116.53.202.35.bc.googleusercontent.com US
34.123.107.224 224.107.123.34.bc.googleusercontent.com US
34.67.7.166 166.7.67.34.bc.googleusercontent.com US
34.67.55.184 184.55.67.34.bc.googleusercontent.com US
用户代理字符串
bitlybot
首次出现
2009-10-27 07:42:34
最后出现
2019-04-26 09:30:52
遵循robots.txt
否
来源
IP地址(33) 服务器名称 所属国家
54.210.113.231 ec2-54-210-113-231.compute-1.amazonaws.com US
54.86.37.102 ec2-54-86-37-102.compute-1.amazonaws.com US
54.82.29.147 ec2-54-82-29-147.compute-1.amazonaws.com US
184.72.13.87 ec2-184-72-13-87.us-west-1.compute.amazonaws.com US
174.129.157.195 ec2-174-129-157-195.compute-1.amazonaws.com US
67.202.6.32 ec2-67-202-6-32.compute-1.amazonaws.com US
107.22.104.94 ec2-107-22-104-94.compute-1.amazonaws.com US
54.82.178.64 ec2-54-82-178-64.compute-1.amazonaws.com US
54.227.49.251 ec2-54-227-49-251.compute-1.amazonaws.com US
50.16.25.6 ec2-50-16-25-6.compute-1.amazonaws.com US
107.22.42.94 ec2-107-22-42-94.compute-1.amazonaws.com US
54.237.43.151 ec2-54-237-43-151.compute-1.amazonaws.com US
23.20.231.181 ec2-23-20-231-181.compute-1.amazonaws.com US
54.197.22.253 ec2-54-197-22-253.compute-1.amazonaws.com US
184.73.103.216 ec2-184-73-103-216.compute-1.amazonaws.com US
54.198.188.134 ec2-54-198-188-134.compute-1.amazonaws.com US
50.17.151.94 ec2-50-17-151-94.compute-1.amazonaws.com US
54.224.44.111 ec2-54-224-44-111.compute-1.amazonaws.com US
107.22.98.172 ec2-107-22-98-172.compute-1.amazonaws.com US
50.17.69.56 ec2-50-17-69-56.compute-1.amazonaws.com US
174.129.155.45 ec2-174-129-155-45.compute-1.amazonaws.com US
50.19.9.196 ec2-50-19-9-196.compute-1.amazonaws.com US
54.160.3.155 ec2-54-160-3-155.compute-1.amazonaws.com US
174.129.157.215 ec2-174-129-157-215.compute-1.amazonaws.com US
54.163.15.248 ec2-54-163-15-248.compute-1.amazonaws.com US
67.202.11.49 ec2-67-202-11-49.compute-1.amazonaws.com US
107.20.32.80 ec2-107-20-32-80.compute-1.amazonaws.com US
54.235.40.139 ec2-54-235-40-139.compute-1.amazonaws.com US
107.22.80.26 ec2-107-22-80-26.compute-1.amazonaws.com US
23.20.125.189 ec2-23-20-125-189.compute-1.amazonaws.com US
72.44.61.86 ec2-72-44-61-86.compute-1.amazonaws.com US
184.72.158.161 ec2-184-72-158-161.compute-1.amazonaws.com US
用户代理字符串
bitlybot/2.0
首次出现
2015-12-21 08:45:00
最后出现
2016-03-15 11:39:05
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
50.19.1.73 ec2-50-19-1-73.compute-1.amazonaws.com US
54.147.4.25 ec2-54-147-4-25.compute-1.amazonaws.com US

访问控制

了解如何控制bitlybot访问权限，避免bitlybot抓取行为不当。

是否拦截bitlybot？

可能不需要。工具类型爬虫通常为网站所有者使用此类工具对网站进行相关服务请求才会出现。当然，实际情况需站长判断后再作决定。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 bitlybot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。 

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: bitlybot
	Disallow: /

您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

bitly的使命是将每一个链接和扫描变成连接的催化剂。

在一个统一的平台上，你需要建立品牌联系、管理链接和二维码，并与各地的受众建立联系的所有产品。

链接管理

一个全面的解决方案，帮助使你的内容和你的受众之间的每一个连接点更加强大。

  • 规模化的URL缩短
  • 带有您的品牌的自定义链接
  • URL重定向
  • 高级分析和跟踪

二维码

为每个客户、企业和品牌体验提供QR码解决方案。

  • 完全可定制的QR码
  • 动态二维码
  • 二维码类型和目的地选项
  • 高级分析和跟踪

Bitly Link-in-bio

Bitly Link-in-bio，由Bitly链接管理提供，帮助你策划、包装和跟踪你的最佳链接。

  • 用于社交媒体的自定义URLs
  • 可定制的登陆页面
  • 易于管理的链接
  • 链接和着陆页跟踪

站长工具

我们为站长量身定做的高效工具集。
关键词查找工具
WP错误查找
robots.txt测试工具
SEO工具箱
WordPress主题检测器
SEO优化中心
WP开发宝典
蜘蛛查询工具
查看全部工具

常见蜘蛛/爬虫

Common Spiders
Googlebot
GoogleBot蜘蛛/爬虫属于搜索引擎类型，由Google Inc.开发运行。您可以继续阅读下方信息，以深入了解GoogleBot基本信息，用户代理和访问控制等。
Online Domain Tools
Online Domain Tools蜘蛛/爬虫属于监控类型，由AITIS s.r.o.开发运行。您可以继续阅读下方信息，以深入了解Online Domain Tools基本信息，用户代理和访问控制等。
cron-job.org
cron-job.org蜘蛛/爬虫属于工具类型，由B1G Software开发运行。您可以继续阅读下方信息，以深入了解cron-job.org基本信息，用户代理和访问控制等。
WGETbot
WGETbot蜘蛛/爬虫属于工具类型，由Alan Reed开发运行。您可以继续阅读下方信息，以深入了解WGETbot基本信息，用户代理和访问控制等。
MxToolbox bot
MxToolbox bot蜘蛛/爬虫属于工具类型，由MXToolBox, Inc开发运行。您可以继续阅读下方信息，以深入了解MxToolbox bot基本信息，用户代理和访问控制等。
updown.io bot
updown.io bot蜘蛛/爬虫属于监控类型，由Adrien Jarthon开发运行。您可以继续阅读下方信息，以深入了解updown.io bot基本信息，用户代理和访问控制等。
WordPress.com bots
WordPress.com bots蜘蛛/爬虫属于信息流类型，由Automattic Inc.开发运行。您可以继续阅读下方信息，以深入了解WordPress.com bots基本信息，用户代理和访问控制等。
s4a
s4a蜘蛛/爬虫属于工具类型，由Capsule Code SAS开发运行。您可以继续阅读下方信息，以深入了解s4a基本信息，用户代理和访问控制等。

相关文章

Related Articles