SCFCrawler
SCFCrawler蜘蛛/爬虫属于类型，由Matt Burns Ltd开发运行。您可以继续阅读下方信息，以深入了解SCFCrawler基本信息，用户代理和访问控制等。
基本信息
SCFCrawler的基本信息如下表。但部分不是很规范的蜘蛛和爬虫，可能存在信息不明的情况。
- 蜘蛛/爬虫名称
- SCFCrawler
- 类型
- 其他
- 开发商
-
Matt Burns Ltd
- 当前状态
-
活动
用户代理
关于SCFCrawler蜘蛛或者爬虫的用户代理字符串，IP地址和服务器，所在地等信息如下表格所示：
StolenCameraFinder-Discovery/1.16
-
StolenCameraFinder-Discovery/1.16
-
StolenCameraFinder/1.0
-
StolenCameraFinder/1.0
-
StolenCameraFinder/1.0
-
StolenCameraFinder/1.0
-
SCFCrawler
- 用户代理字符串
- StolenCameraFinder-Discovery/1.16 (StolenCameraFinder Discovery Crawler; http://www.stolencamerafinder.com; crawler@stolencamerafinder.com)
- 首次出现
- 2020-07-19 08:11:28
- 最后出现
- 2021-06-21 15:01:42
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(3) |
服务器名称 |
所属国家 |
| 3.91.249.223 |
ec2-3-91-249-223.compute-1.amazonaws.com |
US |
| 54.234.17.57 |
ec2-54-234-17-57.compute-1.amazonaws.com |
US |
| 54.172.155.74 |
ec2-54-172-155-74.compute-1.amazonaws.com |
US |
- 用户代理字符串
- StolenCameraFinder/1.0 (built with StormCrawler 1.15; http://www.stolencamerafinder.com; crawler@stolencamerafinder.com)
- 首次出现
- 2019-10-18 05:47:15
- 最后出现
- 2019-11-12 08:06:01
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(1) |
服务器名称 |
所属国家 |
| 18.234.105.227 |
ec2-18-234-105-227.compute-1.amazonaws.com |
US |
- 用户代理字符串
- StolenCameraFinder/1.0 (built with StormCrawler 1.14; http://www.stolencamerafinder.com; crawler@stolencamerafinder.com)
- 首次出现
- 2019-08-15 11:20:43
- 最后出现
- 2019-08-15 11:20:43
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(1) |
服务器名称 |
所属国家 |
| 35.174.176.35 |
ec2-35-174-176-35.compute-1.amazonaws.com |
US |
- 用户代理字符串
- StolenCameraFinder/1.0 (built with StormCrawler 1.11; http://www.stolencamerafinder.com; crawler@stolencamerafinder.com)
- 首次出现
- 2019-04-13 06:14:57
- 最后出现
- 2019-04-13 06:29:48
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(1) |
服务器名称 |
所属国家 |
| 54.204.201.142 |
ec2-54-204-201-142.compute-1.amazonaws.com |
US |
| 54.196.30.236 |
ec2-54-196-30-236.compute-1.amazonaws.com |
US |
| 54.161.11.12 |
ec2-54-161-11-12.compute-1.amazonaws.com |
US |
| 107.21.85.233 |
ec2-107-21-85-233.compute-1.amazonaws.com |
US |
| 54.221.43.103 |
ec2-54-221-43-103.compute-1.amazonaws.com |
US |
| 3.80.32.226 |
ec2-3-80-32-226.compute-1.amazonaws.com |
US |
| 54.86.252.56 |
ec2-54-86-252-56.compute-1.amazonaws.com |
US |
| 54.226.88.71 |
ec2-54-226-88-71.compute-1.amazonaws.com |
US |
| 54.172.123.139 |
ec2-54-172-123-139.compute-1.amazonaws.com |
US |
| 54.145.33.58 |
ec2-54-145-33-58.compute-1.amazonaws.com |
US |
| 18.234.105.227 |
ec2-18-234-105-227.compute-1.amazonaws.com |
US |
| 35.174.176.35 |
ec2-35-174-176-35.compute-1.amazonaws.com |
US |
| 54.145.239.6 |
ec2-54-145-239-6.compute-1.amazonaws.com |
US |
- 用户代理字符串
- StolenCameraFinder/1.0 (built with StormCrawler 1.11; http://www.stolencamerafinder.com; crawler@stolencamerafinder.com)
- 首次出现
- 2019-04-13 06:14:57
- 最后出现
- 2019-04-13 06:29:48
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(1) |
服务器名称 |
所属国家 |
| 54.145.239.6 |
ec2-54-145-239-6.compute-1.amazonaws.com |
US |
- 用户代理字符串
- SCFCrawler/Nutch-1.8 (Image Crawler for StolenCameraFinder.com; http://www.stolencamerafinder.com/; crawler@stolencamerafinder.com)
- 首次出现
- 2014-06-22 09:00:00
- 最后出现
- 2014-07-03 13:49:15
- 遵循robots.txt
- 未知
- 来源
-
| IP地址(4) |
服务器名称 |
所属国家 |
| 23.20.76.170 |
ec2-23-20-76-170.compute-1.amazonaws.com |
US |
| 54.196.216.9 |
ec2-54-196-216-9.compute-1.amazonaws.com |
US |
| 54.205.125.74 |
ec2-54-205-125-74.compute-1.amazonaws.com |
US |
| 54.198.50.20 |
ec2-54-198-50-20.compute-1.amazonaws.com |
US |
访问控制
了解如何控制SCFCrawler访问权限，避免SCFCrawler抓取行为不当。
是否拦截SCFCrawler？
对于未知蜘蛛或者爬虫。它的用途对网站来说可能是好的，也可能是坏的，这取决于它是什么。所以说，这需要站长进一步分析判断这些尚不明确的爬虫行为，再作最终决定。
但，根据以往的经验，未声明行为目的及未命名的蜘蛛爬虫，通常都有不可告人的秘密，我们理应对其行为进行控制，比如拦截。
通过Robots.txt拦截
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 SCFCrawler 或限制其访问权限。我们建议安装 Spider Analyser
插件，以检查它是否真正遵循这些规则。
# robots.txt
# 下列代码一般情况可以拦截该代理
User-agent: SCFCrawler
Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
