如何指定抓取的許可權認證方式？

在 robots.txt 檔案中，可以使用 Auth-directive 指令來指定爬蟲進行許可權認證的方式。例如，”Auth-directive: digest” 將告訴爬蟲使用 Digest 認證方式進行許可權認證。

Auth-directive（也稱為 Auth 指令）是一個用於控制搜尋引擎蜘蛛（爬蟲）在抓取網頁時需要進行身份驗證的指令。然而，目前並沒有公開的HTTP標準支援Auth-directive指令。因此，大多數搜尋引擎蜘蛛不支援 Auth-directive 指令。

雖然沒有具體的搜尋引擎列表，但一般情況下，常見搜尋引擎的爬蟲如 Googlebot、Bingbot、Baiduspider 等也不支援 Auth-directive 指令。這些搜尋引擎一般是通過訪問公開可見的網頁來收集資訊，而不依賴特定的身份驗證指令。

如果你需要對搜尋引擎蜘蛛進行身份驗證或訪問控制，通常的做法是通過其他方法，比如使用 robots.txt 檔案來控制對網頁的抓取和訪問許可權，或使用網站伺服器的訪問控制功能（如.htaccess檔案）進行身份驗證或IP限制。

請注意，搜尋引擎的爬蟲行為可能會隨時間而變化，因此建議查閱各個搜尋引擎的官方文件或相關資源以獲取最新的資訊和支援情況。