Bad-Neighborhood

Bad-Neighborhood蜘蛛/爬虫属于工具类型,由Michael VanDeMar开发运行。您可以继续阅读下方信息,以深入了解Bad-Neighborhood基本信息,用户代理和访问控制等。

基本信息

Bad-Neighborhood的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
Bad-Neighborhood
类型
工具
开发商
Michael VanDeMar
当前状态
活动

用户代理

关于Bad-Neighborhood蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
Bad Neighborhood Header Detector
用户代理字符串
Bad Neighborhood Header Detector (http://www.bad-neighborhood.com/header_detector.php)
首次出现
2012-08-31 21:02:00
最后出现
2024-06-29 19:04:02
遵循robots.txt
来源
IP地址(4) 服务器名称 所属国家
167.99.175.91 vps3.bad-neighborhood.com US
149.56.103.186 vps2.bad-neighborhood.com CA
192.99.244.158 ns1.bad-neighborhood.com CA
70.86.7.26 www.bad-neighborhood.com US
用户代理字符串
Bad-Neighborhood Link Analyzer (http://www.bad-neighborhood.com/)
首次出现
2012-08-31 21:01:00
最后出现
2018-11-24 05:46:42
遵循robots.txt
来源
IP地址(4) 服务器名称 所属国家
167.99.175.91 vps3.bad-neighborhood.com US
149.56.103.186 vps2.bad-neighborhood.com CA
192.99.244.158 ns1.bad-neighborhood.com CA
70.86.7.26 www.bad-neighborhood.com US

访问控制

了解如何控制Bad-Neighborhood访问权限,避免Bad-Neighborhood抓取行为不当。

是否拦截Bad-Neighborhood?

可能不需要。工具类型爬虫通常为网站所有者使用此类工具对网站进行相关服务请求才会出现。当然,实际情况需站长判断后再作决定。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Bad-Neighborhood 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: Bad-Neighborhood
	Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

header detector这个工具通过爬虫Bad-Neighborhood将帮助你检测一个特定的URL所产生的确切标题。在搜索引擎优化中,这对于使用 “跳转 “URL或重定向cgi来跟踪点击列表的人数的目录列表来说可能特别重要。很多时候,这些程序会产生一个302 Found头的响应,用来表示一个临时重定向。众所周知,这在过去会给某些搜索引擎带来问题,并可能导致 “页面劫持”。如果有问题的脚本返回一个正确的301永久移动响应,这个问题就不会发生。

常见的返回代码:

这是最常见的返回状态代码的列表。关于详细的列表和进一步的解释,请访问W3.org HTTP/1.1: Status Code Definitions

300’s重定向

  • 301 永久移动 (永久重定向)
  • 302 发现(临时重定向)
  • 304 Not Modified(只应在响应有条件的GET时返回)

400’s客户端错误

  • 400错误请求(畸形的URI)
  • 401 未授权 (HTTP授权失败)
  • 403 禁止 (你没有权限查看)
  • 404 未找到(该资源不存在)
  • 410 消失(该资源已不可用)

500’s服务器错误

  • 500内部服务器错误(意外的服务器错误)
  • 501 未执行(服务器不识别请求方法)
  • 503 服务不可用 (服务器太忙)

常见蜘蛛/爬虫

Common Spiders

相关文章

Related Articles