BLEXBot

是否攔截BLEXBot？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 BLEXBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: BLEXBot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

BLEXBot是什麼

BLEXBot爬蟲是一個自動機器人，它訪問網頁以檢查和分析內容，在這個意義上，它類似於主要搜尋引擎公司使用的機器人。

BLEXBot爬蟲的識別方法是具有以下形式的使用者代理：

Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)

BLEXBot爬蟲可以通過上述使用者代理來識別。如果你懷疑請求被欺騙，你應該首先檢查請求的IP地址，並通過適當的工具進行反向DNS查詢，檢視其域名–它應該指向*.webmeup.com的一個子域。

我們關心您的網站效能

BLEXbot是一個對網站非常友好的爬蟲程式。我們讓它在抓取網站時儘可能地 “溫柔”：它每3秒只發出一次請求，如果在您的robots.txt檔案中指定了另一個抓取延遲，則會更少。BLEXbot尊重您在robots.txt檔案中指定的規則。

如果出現任何問題，可能是由於您的特定網站的特殊性，或者是連結到您的其他網站的錯誤。因此，我們想請您注意，如果您發現BLEXbot有任何問題，請報告給customercare@webmeup.com，我們會迅速為您的特定網站進行獨特的設定，這樣抓取就不會影響您網站的效能。

為什麼它在抓取我的網站

BLEXBot協助網路營銷人員獲取網站的連結結構及其在網路上的相互連結資訊，以避免任何技術和可能的法律問題，並改善整體線上體驗。要做到這一點，就必須檢查，或者說爬行，以收集和檢查其內容中的所有連結。

如果BLEXBot爬蟲訪問了您的網站，這意味著該頁面上的連結以前從未被收集和測試過，或需要被重新整理。由於這個原因，您不會看到BLEXBot爬蟲對同一頁面的重複請求。

爬蟲系統在設計上儘可能地友好，例如限制對任何特定網站的請求率（BLEXBot每3秒不超過一次點選），如果一個網站宕機或速度慢，則自動退避。

使用robots.txt進行攔截

首先注意，BLEXBot是：

1. 只收集任何隨機訪問者都可以訪問的公開資訊。如果你認為爬蟲收集了一些敏感資訊，請將其從公開訪問中刪除。
2. 不能使您的網站超載並對其造成任何傷害–BLEXBot的設計非常有禮貌，它每3秒最多隻能進行一次點選。此外，您可以很容易地減緩BLEXBot（以及任何其他機器人/爬蟲，它們從您網站上的robots.txt檔案中獲取指示）。
3. 不讀取、解析、收集或儲存您網站上的任何資訊，但從您的頁面上的連結。這指的是你網頁上的任何文字、圖形或視訊材料或任何其他東西。

通過robots.txt檔案，您可以阻止BLEXBot爬蟲進入您網站的部分或全部內容，或減緩其速度，如以下例子所示：

禁止抓取您網站的特定部分：

User-agent: BLEXBot

Disallow: /private/

Disallow: /messages/

整個網站禁止抓取：

User-agent: BLEXBot

Disallow: /

減緩爬蟲的速度：

User-agent: BLEXBot

Crawl-delay: 10

注意：一旦您對robots.txt進行修改，請給爬蟲最多10分鐘的時間來完全停止對您網站的抓取。這是由於一些網頁可能已經在處理佇列中了，所以我們不能保證爬蟲能夠立即停止。但是，它最多應該在10分鐘後完全停止爬行。

關於robots.txt協議的一般介紹，請參見http://www.robotstxt.org。有關 robots.txt 規則的更多細節和例子，也請參見我們此前釋出的文章。

聯絡

綜上所述，webmeup.com/當然會認真對待任何關於停止抓取任何網站或部分網站的請求，或任何其他關於爬蟲操作的反饋意見，並將以迅速和適當的方式採取行動。

如果您是這種情況，請毫不猶豫地與webmeup.com聯絡：customercare@webmeup.com。