DotBot

是否攔截DotBot？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 DotBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: DotBot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

在本頁面中，您將瞭解更多關於我們的爬蟲Dotbot的資訊，它被用來抓取Moz連結索引，為Moz API、連結瀏覽器和您的活動中的連結部分提供動力。

Moz連結索引抓取器

Dotbot是Moz的網路爬蟲，它為Moz連結指數收集網路資料。我們通過Dotbot收集的這些資料可以在您的Moz Pro廣告系列的連結部分、連結瀏覽器和Moz連結API中找到。Dotbot與Rogerbot不同，Rogerbot是我們為Moz Pro廣告系列提供的網站審計爬行器。

為什麼Moz會抓取網路？

我們的一些工具，如Link Explorer，需要我們抓取網站。當這種情況發生時，使用者代理Dotbot被用來識別我們的爬行器。最好記住，你需要一個Moz專業賬戶來訪問收集到的大部分資訊。我們的免費網路營銷社羣成員的訪問許可權有限。要看我們收集的資料型別的一個例子，在連結瀏覽器的搜尋框中輸入一個URL。

如何阻止Dotbot抓取你的網站

如果您不希望Dotbot抓取您的網站，我們總是尊重標準的Robots排除協議（又稱robots.txt）。如果您想阻止Dotbot，您只需將我們的user-agent字串新增到您的robots.txt檔案。

禁止Dotbot進入您網站的某些區域

User-agent: dotbot 
Disallow: /admin/ 
Disallow: /scripts/ Disallow: /images/

完全禁止Dotbot進入您網站

User-agent: dotbot
Disallow: /

減緩Dotbot的速度

User-agent: dotbot
Crawl-delay: 10

Dotbot何時能檢測網站robots.txt檔案的變化？

Dotbot只在新的索引抓取過程中第一次遇到該網站時檢視你的robots.txt檔案。這意味著，如果Dotbot看到它被允許進入該網站一次，對該許可權的任何改變都不會被檢視，直到Dotbot下次定位到你的網站的連結。