您可能注意到WordPress後臺存在一個設定，上面寫著“建議搜尋引擎不索引本站點”。
或者，您可能正在尋找一種方法來對不受歡迎的訪問者隱藏您的網站，並想知道這個小覈取方塊是否足以使您的內容安全保密。
這個選項是什麼意思？它到底對您的網站做了什麼？為什麼要避免依賴它——即使你試圖隱藏你的內容？以下是答案和其他一些方法，可以為您的網站取消索引並阻止對某些頁面的訪問。
建議搜尋引擎不索引本站點是什麼意思？
您有沒有想過搜尋引擎如何索引您的網站並衡量您的搜尋引擎優化？他們使用稱為蜘蛛（也稱為機器人或爬蟲）的自動化程式來完成此操作。蜘蛛“爬行”網路，訪問網站並記錄您的所有內容。
Google使用它們來決定如何在搜尋結果中對您的網站進行排名和放置，從您的文章中抓取搜尋結果頁面的簡介，並將您的圖片拉入Google圖片。
當您勾選“建議搜尋引擎不索引本站點”時，WordPress會修改您的robots.txt檔案（該檔案向蜘蛛提供有關如何抓取您的站點的說明）。它還可以在您網站的標題中新增一個元標記，告訴Google和其他搜尋引擎不要將您整個網站上的任何內容編入索引。
這裡的關鍵詞是“勸阻”：搜尋引擎沒有義務滿足這個要求，尤其是那些不使用谷歌使用的標準robots.txt語法的搜尋引擎（你可以通過閃電博提供的蜘蛛爬蟲查詢工具，檢視哪些爬蟲遵守或者不遵守robots協議）。
網路爬蟲仍然能夠找到您的站點，但正確配置的爬蟲會讀取您的robots.txt並離開而不將內容編入索引或顯示在其搜尋結果中。
過去，WordPress中的此選項並沒有阻止Google在搜尋結果中顯示您的網站，只是將其內容編入索引。您仍然可以看到您的網頁出現在搜尋結果中，並顯示錯誤，例如“此網頁沒有可用資訊”或“由於網站的robots.txt，此結果的說明不可用”。
雖然谷歌沒有索引頁面，但他們也沒有完全隱藏頁面。這種異常導致人們能夠訪問他們不應該看到的頁面。感謝WordPress 5.3 ，它現在可以正常工作，阻止網站的索引和列表。
您可以想象如果您不小心啟用了這將如何破壞您的SEO。僅當您真的不希望任何人看到您的內容時才使用此選項至關重要 – 即便如此，它也可能不是您想要採取的唯一措施。
為什麼您可能不想將您的網站編入索引
網站是為了讓人們看到。您希望使用者閱讀您的文章、購買您的產品、消費您的內容——您為什麼要故意阻止搜尋引擎？您可能想要隱藏部分或全部網站的原因有幾個。
- 您的網站正在開發中，尚未準備好讓公眾看到。
- 您使用WordPress作為內容管理系統，但希望將所述內容保密。
- 您正試圖隱藏敏感資訊。
- 您希望只有少數人通過連結或邀請訪問您的網站，而不是通過公共搜尋頁面。
- 您想將某些內容放在付費專區或其他門之後，例如時事通訊獨家文章。
- 您想切斷舊的、過時的文章的流量。
- 您想防止在測試頁面或重複內容上受到SEO處罰。
對於其中一些有更好的解決方案——使用適當的離線開發伺服器，將您的文章設定為private ，或將它們置於密碼後面——但是您可能想要取消部分或全部站點的索引是有正當理由的。
如何檢查您的網站是否開放給搜尋引擎
雖然您可能有正當理由對您的網站取消索引，但得知您無意中開啟了此設定或無意中將其開啟時，可能會感到震驚。如果您的流量為零並懷疑您的網站沒有被編入索引，請按以下方法確認。
一種直接的方法是選中位於管理儀表盤主螢幕上的“概覽”框。只需登入您的後端並選中該框即可。如果您看到“自動建議搜尋引擎不抓取”，那麼您就知道您已啟用該設定。
WordPress儀表盤中的“概覽”。
更可靠的方法是檢查您的robots.txt 。您甚至無需登入您的站點即可在瀏覽器中輕鬆驗證這一點。要檢查robots.txt ，您需要做的就是將/robots.txt新增到站點URL的末尾。例如： https://www.wbolt.com/robots.txt
如果您看到Disallow: /則您的整個站點都被禁止索引。
robots.txt中的“Disallow”
如果您看到Disallow:後跟URL路徑，例如Disallow: /wp-admin/ ，則表示任何帶有/wp-admin/路徑的URL都不允許搜尋引擎索引。這種結構對於某些頁面來說是正常的，但是，例如，如果它攔截了/blog/ ，其中包含您想要索引的頁面，則可能會導致問題！
既然WordPress使用元標記而不是robots.txt來對您的網站取消索引，您還應該檢查您的標題是否有修改。登入到您的後端並轉到外觀>主題編輯器。找到Theme Header (header.php)並查詢以下程式碼：
< meta name = 'robots' content = 'noindex,nofollow' />
在header.php中的noindex, nofollow
您還可以檢查functions.php中的noindex標記，因為可以通過此檔案遠端將程式碼插入到標頭中。如果您在主題檔案中找到此程式碼，則說明您的網站沒有被Google編入索引。但與其手動刪除它，不如先嚐試關閉原始設定。
如何阻止搜尋引擎索引WordPress網站
如果您想跳過額外的步驟並直接進入原始設定，這裡是如何在WordPress中啟用或停用“禁止搜尋引擎”選項。
登入您的WordPress儀表盤並導航至設定 > 閱讀 。查詢帶有標記為“對搜尋引擎的可見性”的“建議搜尋引擎不索引本站點”的覈取方塊。
對搜尋引擎的可見性覈取方塊
如果您發現這已經開啟並希望您的網站被編入索引，請取消選中它。如果您打算阻止您的網站被編入索引，請勾選它（並在某處記下備註，提醒您稍後將其關閉！）。
現在單擊儲存更改，您就可以開始了。重新索引您的網站或將其從搜尋結果中拉出可能需要一些時間。
如果您的網站仍被取消索引，您還可以noindex程式碼，或手動編輯robots.txt以刪除“Disallow”標誌。
所以這很簡單，但是您應該避免使用此選項或至少不完全依賴它的一些原因是什麼？
使用建議搜尋引擎不索引本站點選項的缺點
看起來很簡單——勾選一個覈取方塊，沒有人能夠看到你的網站。這還不夠好嗎？為什麼要避免單獨使用此選項？
當您開啟此設定或任何類似的選項時，它所做的只是在您的標題或robots.txt中新增一個標籤。正如舊版本的WordPress仍然允許您的網站出現在搜尋結果中所示，一個小故障或其他錯誤可能會導致人們看到您所謂的隱藏頁面。
此外，完全取決於搜尋引擎是否接受不抓取您網站的請求。主要的搜尋引擎如Google和Bing通常都會，但並非所有搜尋引擎都使用相同的robots.txt語法，並且並非所有爬行網路的蜘蛛都是由搜尋引擎發出的。
例如，利用網路爬蟲的一項服務是Wayback Machine 。如果您的內容被這樣的服務編入索引，它就會永遠在網路上。
Wayback Machine
您可能會認為僅僅因為您的全新網站沒有指向它的連結，它就可以免受蜘蛛的侵害，但事實並非如此。存在於共享伺服器上，傳送帶有指向您網站連結的電子郵件，甚至在瀏覽器（尤其是 Chrome）中訪問您的網站都可能會開啟您的網站，直到被抓取。
如果您想隱藏內容，那麼新增引數並不是一個好主意，並希望它能成功。
讓我們明確一點，如果您要取消索引的內容具有敏感或個人性質，則絕對不應依賴robots.txt或元標記來隱藏它。
最後但並非最不重要的一點是，此選項會將您的網站完全隱藏在搜尋引擎中，而很多時候您只想對某些頁面取消索引。
那麼你應該做些什麼來代替這種方法或與這種方法一起做呢？
禁止搜尋引擎索引的其他方法
雖然WordPress提供的選項通常會起作用，但在某些情況下，使用其他隱藏內容的方法通常會更好。甚至Google自己也說不要使用robots.txt隱藏頁面。
只要您的網站有域名並且位於面向公眾的伺服器上，就無法保證您的內容不會被爬蟲看到或編入索引，除非您將其刪除或將其隱藏在密碼或登入要求後面。
也就是說，有什麼更好的方法可以隱藏您的網站或其中的某些頁面？
使用.htaccess攔截搜尋引擎
雖然它的實現在功能上與簡單地使用“阻止搜尋引擎”選項相同，但您可能希望手動使用.htaccess來阻止對您網站的索引。
您需要使用FTP/SFTP程式來訪問您的站點並開啟.htaccess檔案，該檔案通常位於根資料夾（您開啟站點時看到的第一個資料夾）或public_html中。將此程式碼新增到檔案中並儲存：
Header set X-Robots-Tag "noindex, nofollow"
注意：此方法僅適用於Apache伺服器。 NGINX伺服器，需要將此程式碼新增到.conf檔案中，該檔案可以在/etc/nginx/中找到（您可以在此處找到元標記實現的示例）：
add_header X-Robots-Tag "noindex, nofollow";
密碼保護敏感頁面
如果您不希望搜尋引擎索引某些文章或頁面，隱藏它們的最佳方法是使用密碼保護您的站點。這樣，只有您和您想要的使用者才能看到該內容。
幸運的是，此功能內建於WordPress中，因此無需安裝任何外掛。只需轉到文章頁面，然後單擊要隱藏的頁面。編輯您的頁面並查詢右側可見性選單。
如果您不使用古騰堡，則過程類似。您可以在“釋出”框中找到相同的選單。將可見性更改為受密碼保護並輸入密碼，然後儲存 – 您的內容現在對公眾隱藏。
將文章設定為密碼保護
如果您想用密碼保護整個網站怎麼辦？每個頁面都需要密碼是不切實際的。
您可以使用內容限制外掛（例如Password Protected ）。請安裝並啟用它，然後前往設定 > Password Protected並啟用Password Protected Status 。這為您提供了更好的控制，甚至允許您將某些IP地址列入白名單。
將文章設定為密碼保護
通過WordPress外掛來實現
當WordPress的預設功能不夠用時，一個好的外掛通常可以解決您的問題。
例如，如果您想對特定頁面而不是整個站點取消索引，Yoast可以使用此選項。
在Yoast SEO中，您可以開啟要隱藏的頁面，然後在“Advanced”選項卡下查詢選項：Allow search engines to show this Post in search results? 將其更改為No，頁面將被隱藏。
Yoast SEO設定
您應該注意，這兩種方法都依賴與WordPress阻止搜尋引擎索引的預設選項相同的方法，並且存在相同的缺陷。某些搜尋引擎可能不會滿足您的要求。如果您真的想完全隱藏此內容，則需要使用其他方法。
另一種解決方案是支付您的內容或將其隱藏在所需的登入名後面。 Simple Membership或Ultimate Member外掛可以幫助您設定免費或付費的會員內容。
Simple Membership外掛
使用臨時站點進行測試
在處理測試專案或進行中的網站時，保持它們隱藏的最佳選擇是使用暫存或開發站點。這些網站是私有的，通常託管在本地機器上，只有您和您允許的其他人才能訪問。
許多Web 主機將為您提供易於部署的臨時站點，並允許您在準備好時將它們推送到您的公共伺服器。
如果您無法訪問建立臨時站點的簡單方法， WP STAGING外掛可以幫助您複製安裝並將其移動到資料夾中以便於訪問。
使用Google Search Console暫時隱藏網站
Google Search Console是一項服務，可讓您宣告對網站的所有權。隨之而來的是能夠暫時阻止Google將某些頁面編入索引。這種方法有幾個問題：它是Google獨有的（所以像 Bing 這樣的網站不會受到影響）並且它只能持續6個月。
但是，如果您想要一種快速簡便的方法來暫時將您的內容從Google搜尋結果中刪除，這就是實現的方法。
如果您還沒有，則需要將您的網站新增到Google Search Console 。完成後，開啟Removals並選擇Temporary Removals > New Request 。然後單擊僅刪除此 URL並連結要隱藏的頁面。
這是一種更可靠的內容攔截方式，但同樣，它僅適用於Google，並且只能持續 6 個月。
小結
您可能想要隱藏站點上的內容的原因有很多，但依靠“建議搜尋引擎不索引本站點”選項並不是確保此類內容不被看到的最佳方法。
除非您想在網路上隱藏您的整個網站，否則永遠不要單擊此選項，因為如果不小心切換，它會對您的SEO造成巨大損害。
即使您確實想隱藏您的站點，此預設選項也是一種不可靠的方法。它應該與密碼保護或其他阻止配對，尤其是在您處理敏感內容時。
評論留言