Spinn3r

Spinn3r蜘蛛/爬蟲屬於爬蟲型別,由Spinn3r, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Spinn3r基本資訊,使用者代理和訪問控制等。

基本資訊

Spinn3r的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
Spinn3r
型別
爬蟲
開發商
Spinn3r, Inc.
當前狀態
無效

使用者代理

關於Spinn3r蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
Spinn3r 3.1
使用者代理字串
Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.2.1; aggregator:Spinn3r (Spinn3r 3.1); http://spinn3r.com/robot) Gecko/20021130
首次出現
2009-07-13 21:33:15
最後出現
2010-07-08 20:52:53
遵循robots.txt
未知
來源
IP地址(11) 伺服器名稱 所屬國家
64.19.78.243 64.19.78.243 US
174.37.205.85 174-37-205-85.robot.spinn3r.com US
173.192.238.40 173-192-238-40.robot.spinn3r.com US
174.36.228.157 9d.e4.24ae.ip4.static.sl-reverse.com US
174.37.205.87 174-37-205-87.robot.spinn3r.com US
173.192.238.41 173-192-238-41.robot.spinn3r.com US
174.36.241.148 174-36-241-148.robot.spinn3r.com US
174.37.205.92 174-37-205-92.robot.spinn3r.com US
173.192.238.43 173-192-238-43.robot.spinn3r.com US
174.36.241.149 174-36-241-149.robot.spinn3r.com US
174.36.241.155 174-36-241-155.robot.spinn3r.com US
173.192.238.58 spinn3r.com US
174.37.205.71 174-37-205-71.robot.spinn3r.com US
174.36.228.156 174-36-228-156.robot.spinn3r.com US
174.36.241.157 174-36-241-157.robot.spinn3r.com US
173.192.238.37 173-192-238-37.robot.spinn3r.com US
173.192.238.48 30.ee.c0ad.ip4.static.sl-reverse.com US
174.37.205.67 174-37-205-67.robot.spinn3r.com US
174.37.205.76 174-37-205-76.robot.spinn3r.com US
174.36.228.154 174-36-228-154.robot.spinn3r.com US
174.36.228.155 174-36-228-155.robot.spinn3r.com US
174.36.241.156 174-36-241-156.robot.spinn3r.com US
173.192.238.45 173-192-238-45.robot.spinn3r.com US
173.192.238.51 173-192-238-51.robot.spinn3r.com US
173.192.238.57 spinn3r.com US
173.192.238.34 22.ee.c0ad.ip4.static.sl-reverse.com US
使用者代理字串
Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.2.1; aggregator:Spinn3r (Spinn3r 3.1); http://spinn3r.com/robot) Gecko/20021130
首次出現
2009-07-13 21:33:15
最後出現
2010-07-08 20:52:53
遵循robots.txt
未知
來源
IP地址(11) 伺服器名稱 所屬國家
174.36.241.148 174-36-241-148.robot.spinn3r.com US
174.36.241.149 174-36-241-149.robot.spinn3r.com US
174.36.241.155 174-36-241-155.robot.spinn3r.com US
174.36.241.156 174-36-241-156.robot.spinn3r.com US
174.36.241.157 174-36-241-157.robot.spinn3r.com US
174.37.205.67 174-37-205-67.robot.spinn3r.com US
174.37.205.71 174-37-205-71.robot.spinn3r.com US
174.37.205.76 174-37-205-76.robot.spinn3r.com US
174.36.228.154 174-36-228-154.robot.spinn3r.com US
174.36.228.155 174-36-228-155.robot.spinn3r.com US

訪問控制

瞭解如何控制Spinn3r訪問許可權,避免Spinn3r抓取行為不當。

是否攔截Spinn3r?

可以考慮攔截。。爬蟲通常會下載公開的網際網路內容,這些內容預設情況下可以免費訪問。不過,如果你不希望你的內容被用於未經授權的目的,你應該攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Spinn3r 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Spinn3r
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Spinn3r Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Spinn3r
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

常見蜘蛛/爬蟲

Common Spiders
newswtbot
newswtbot蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解newswtbot基本資訊,使用者代理和訪問控制等。
ScannerBot
ScannerBot蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解ScannerBot基本資訊,使用者代理和訪問控制等。
centurybot
centurybot蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解centurybot基本資訊,使用者代理和訪問控制等。
web_fetcher
web_fetcher蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解web_fetcher基本資訊,使用者代理和訪問控制等。
Triplechecker
Triplechecker蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解Triplechecker基本資訊,使用者代理和訪問控制等。
ShellBot
ShellBot蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解ShellBot基本資訊,使用者代理和訪問控制等。
JSACrawlerBot
JSACrawlerBot蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解JSACrawlerBot基本資訊,使用者代理和訪問控制等。
LookoutBot
LookoutBot蜘蛛/爬蟲屬於爬蟲型別,由Unknown Author開發執行。您可以繼續閱讀下方資訊,以深入瞭解LookoutBot基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles