很多WordPress站長詢問有關如何優化robots.txt檔案以改善SEO。
Robots.txt檔案用於告訴搜尋引擎如何抓取網站，這使其成為功能強大的SEO工具。
在本教學中，我們將介紹如何基於SEO建立一個完美的robots.txt檔案。
什麼是robots.txt檔案？
Robots.txt是站長可以建立的文字檔案，用於告訴搜尋引擎蜘蛛如何抓取網站頁面並將其編入索引。
它通常儲存在網站的根目錄（也稱為主資料夾）中。robots.txt檔案的基本格式如下所示：
User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]
您可以使用多行說明來允許或禁止使用特定的URL及新增多個站點地圖。如果您不禁止URL，則搜尋引擎蜘蛛會預設認為其支援爬取。
下面是一個robots.txt檔案示例：
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml
在上面的robots.txt示例中，我們允許搜尋引擎對WordPress上傳資料夾中的檔案進行爬取和編制索引。
在那之後，我們不允許搜尋引擎蜘蛛爬取和索引外掛目錄和WordPress管理目錄。
最後，還提供了XML網站地圖的URL。
WordPress網站是否需要Robots.txt檔案？
如果網站沒有robots.txt檔案，則搜尋引擎會抓取您的網站併為其編制索引。但是，您將無法告訴搜尋引擎不應該抓取哪些頁面或資料夾。
當您第一次建立部落格且內容不多時，這不會產生太大影響。
但是，隨著網站的發展和內容越來越豐富，您可能希望更好地控制網站的蜘蛛爬取行為和索引方式。
這就是為什麼。
搜尋引擎蜘蛛對每個網站都有一個爬取配額。
這意味著它們在爬網會話期間對一定數量的頁面進行爬網。如果他們還沒有完成對您網站上所有頁面的爬取，那麼他們將返回並在下一個會話中繼續爬取。
這可能會降低您的網站索引率。
溫馨提示：你可以通過安裝搜尋引擎蜘蛛分析外掛來進一步瞭解各大搜尋引擎蜘蛛是如何爬取你的網站。
您可以通過禁止搜尋引擎阻止其爬網不必要的頁面（如WordPress管理頁面，外掛檔案和主題資料夾）來解決此問題。
通過禁止不必要的頁面，可以節省蜘蛛爬取配額。這有助於搜尋引擎在您的網站上抓取更多頁面，並儘快為其建立索引。
使用robots.txt檔案的另一個很好的理由是，當您需要禁止搜尋引擎將您網站上的文章或頁面編入索引時。
這不是向公眾隱藏內容的最安全方法，但是它將幫助您阻止部分內容出現在搜尋結果中。
什麼是理想的Robots.txt檔案？
許多流行的部落格使用非常簡單的robots.txt檔案。它們的內容可能會有所不同，具體取決於特定站點的需求：
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
該robots.txt檔案允許所有搜尋引擎蜘蛛為所有內容建立索引，併為它們提供網站XML站點地圖的連結。
對於WordPress網站，我們建議在robots.txt檔案中使用以下規則：
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
告訴搜尋引擎將所有WordPress影象和檔案編入索引。同時，不允許搜尋引擎將WordPress外掛檔案，WordPress管理區域，WordPress自述檔案和會員連結編入索引。
通過將站點地圖新增到robots.txt檔案，您可以使搜尋引擎蜘蛛輕鬆找到您網站上的所有頁面。
既然您已經知道理想的robots.txt檔案是什麼樣子，那麼讓我們看一下如何在WordPress中建立robots.txt檔案。
如何建立WordPress網站的Robots.txt？
有兩種方法可以在WordPress中建立robots.txt檔案。您可以選擇最適合您的方法。
方法1：使用Smart SEO Tool來編輯Robots.txt檔案
Smart SEO Tool，是我們自主開發的WordPress SEO外掛，易於使用，並附帶robots.txt檔案編輯支援。
如果您尚未安裝Smart SEO Tool外掛，則需要安裝並啟用外掛。
然後可以直接在WordPress管理後臺進入外掛設定介面來建立和編輯robots.txt檔案。
轉到“設定»Smart SEO Tool”，選擇robots.txt選項標籤。
首先你需要啟用“Robots.txt”，切換為藍色來開啟編輯選項。
啟用此選項後，您可以建立自定義robots.txt檔案。
外掛將會下面顯示預設的robots.txt檔案，此版本為外掛預設的預設規則（當前外掛版本不支援刪除預設規則，只允許新增新規則）
這些預設規則告訴搜尋引擎不要抓取您的核心WordPress檔案，允許蜘蛛為所有內容建立索引，併為它們提供指向網站的XML網站地圖的連結。
現在，您可以新增自己的自定義規則，以改善針對SEO的robots.txt。
要新增規則，可以在預設規則另起行新增，每行一條規則。你可以閱讀“深入瞭解Robots.txt及如何規範地編寫”
溫馨提示：當用外掛生成管理robots.txt，請確保你的伺服器根目錄已經刪除靜態的robots.txt。否則外掛所編寫的robots.txt是無效的。
完成後，請不要忘記單擊“儲存更改”按鈕來儲存您的更改。
方法2.使用FTP手動編輯Robots.txt檔案
對於這種方法，您將需要使用FTP客戶端或者寶塔控制面板來編輯robots.txt檔案。
只需使用FTP客戶端連線到您的WordPress網站託管的伺服器帳戶即可（或者登陸WordPress伺服器的寶塔面板）。
進入伺服器後，您將可以在網站的根資料夾找到robots.txt檔案。
如果沒有，則可能沒有robots.txt檔案。在這種情況下，您需要建立一個。
Robots.txt是純文字檔案，這意味著您可以將其下載到計算機上，並使用任何純文字編輯器（如記事本或TextEdit）進行編輯。
儲存更改後，將其上傳回網站的根資料夾。
如何測試Robots.txt檔案？
建立robots.txt檔案後，最好使用robots.txt測試工具對其進行測試。
有很多robots.txt測試器工具，但我們建議您使用Google Search Console所提供的。
首先，您需要將網站與Google Search Console連結。
然後，使用Google Search Console蜘蛛測試工具。
只需從下拉選單中選擇您的網站。
該工具將自動獲取您網站的robots.txt檔案，並突出顯示錯誤和警告（如果發現）。
最後
優化robots.txt檔案的目的是防止搜尋引擎蜘蛛抓取不公開的頁面。例如，您的wp-plugins資料夾中的頁面或WordPress admin資料夾中的頁面。
部分SEO專家甚至建議，阻止WordPress類別，標籤和存檔頁面將提高爬網率，並導致更快的索引編制和更高的排名。
這不是真的。這也違反了Google網站站長指南。但，如果你的存檔頁面和標籤頁面不太重要時，倒真的可以阻止蜘蛛爬取。
我們建議您遵循上述robots.txt格式為您的網站建立robots.txt檔案。希望本教學能幫助您學習如何基於SEO優化WordPress網站robots.txt檔案。
您可能對WordPress SEO終極指南和最佳WordPress SEO外掛感興趣，以進一步提升您的網站SEO。
評論留言