WbSrch

WbSrch蜘蛛/爬虫属于搜索引擎类型,由Jason Champion开发运行。您可以继续阅读下方信息,以深入了解WbSrch基本信息,用户代理和访问控制等。

基本信息

WbSrch的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
WbSrch
类型
搜索引擎
开发商
Jason Champion
当前状态
无效

用户代理

关于WbSrch蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
WbSrch/1.2
用户代理字符串
Mozilla/5.0 (compatible; WbSrch/1.2 +https://wbsrch.com)
首次出现
2021-03-27 04:05:31
最后出现
2021-07-22 09:10:44
遵循robots.txt
未知
来源
IP地址(2) 服务器名称 所属国家
216.151.2.53 216.151.2.53.teloshost.net US
216.151.2.52 216.151.2.52.teloshost.net US
用户代理字符串
Mozilla/5.0 (compatible; WbSrch/1.1 +http://wbsrch.com)
首次出现
2015-08-26 08:30:00
最后出现
2019-02-11 22:33:49
遵循robots.txt
未知
来源
IP地址(4) 服务器名称 所属国家
45.33.19.243 li973-243.members.linode.com US
75.164.193.16 75-164-193-16.ptld.qwest.net US
216.151.17.11 216.151.17.11.fasternetwork.com US
216.151.17.10 216.151.17.10.fasternetwork.com US
用户代理字符串
Mozilla/5.0 (compatible; WbSrch/1.1 +http://wbsrch.com
首次出现
2015-08-04 11:59:26
最后出现
2015-08-04 11:59:26
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
216.151.2.52 ? US
142.93.30.149 crawler2.wbsrch.com US
216.151.3.108 test1.totalwebservices.net US
216.151.3.110 pdx1.portlandmeshnet.org US
45.56.74.154 li924-154.members.linode.com US
45.33.19.243 li973-243.members.linode.com US
75.164.193.16 75-164-193-16.ptld.qwest.net US
216.151.17.11 216.151.17.11.fasternetwork.com US
216.151.17.10 216.151.17.10.fasternetwork.com US
用户代理字符串
Mozilla/5.0 (compatible; WbSrch/1.1 +http://wbsrch.com
首次出现
2015-08-04 11:59:26
最后出现
2015-08-04 11:59:26
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
216.151.17.11 216.151.17.11.fasternetwork.com US
用户代理字符串
Mozilla/5.0 (compatible; WbSrch/1.0; +https://wbsrch.com)
首次出现
2015-04-02 10:10:00
最后出现
2015-04-22 09:35:14
遵循robots.txt
未知
来源
IP地址(1) 服务器名称 所属国家
216.151.17.10 216.151.17.10.fasternetwork.com US

访问控制

了解如何控制WbSrch访问权限,避免WbSrch抓取行为不当。

是否拦截WbSrch?

一般不要拦截。搜索引擎爬虫为搜索引擎提供动力,是用户发现您网站的有效途径。事实上,拦截搜索引擎爬虫可能会严重减少网站的自然流量。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 WbSrch 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: WbSrch
	Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

通过WbSrch爬虫的官方可以获取到仅有的开发者信息,具体如下:

我从7岁起就是一个电脑怪胎,从15岁起就是一个音乐家。我喜欢科幻小说、电影和电视,喜欢玩技术,喜欢任何能让法西斯分子哭泣的东西。

2014年及以前的帖子来自Basternae 3项目的博客,这是一个用C#.Net编写的MUD,基于最初的Basternae 1和2 MUD。它最初托管在basternae.org,但它的帖子被保留在这里。有些帖子来自于我以前经营的已经不复存在的网站。

——@xangis

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles