什麼是抓取預算（Crawl Budget）及如何最大化其利用價值

抓取預算（Crawl Budget），您又可以將之稱為抓取頻率、抓取量。這個量一般是由搜尋引擎蜘蛛根據網站的質量度和權重給域名分配的。

理解抓取預算的定義，重要性及最大化其效率，這有利於網站的索引、排名。

什麼是抓取預算？

抓取預算是Googlebot在給定時間範圍內在網站上抓取和索引的頁面數。

為什麼抓取預算對SEO很重要？

簡而言之：如果谷歌不索引一個頁面，它就不會為任何東西排名。

因此，如果您的網頁數量超出了您網站的抓取預算，那麼您的網站上的網頁就會未被編入索引。

也就是說，絕大多數網站不需要擔心抓取預算。谷歌真的很擅長查詢和索引頁面。

也就是說，在某些情況下您確實需要注意抓取預算：

• 您經營一個大型網站：如果您的網站（如電子商務網站）有10k多個頁面，Google可能很難找到所有頁面。
• 您剛剛新增了一堆頁面：如果您最近在您的網站上新增了一個包含數百個頁面的新部分，您希望確保您有足夠的抓取預算來快速將它們全部編入索引。
• 大量重定向：大量重定向和重定向鏈會耗盡您的抓取預算。

有了這個，這裡有一些簡單的方法可以最大化您網站的抓取預算。

最佳實踐

提高網站速度

提高您網站的頁面速度可以讓Googlebot抓取您網站的更多網址。

事實上，谷歌宣告：

讓網站更快改善了使用者體驗，同時也提高了抓取速度。

換句話說：

頁面載入緩慢會佔用寶貴的Googlebot時間。

但是，如果您的網頁載入速度很快，Googlebot就有時間訪問您的更多網頁並將其編入索引。

使用內部連結

Googlebot會優先考慮具有大量指向它們的外部和內部連結的頁面。

是的，理想情況下，您會獲得指向您網站上每個頁面的反向連結。但這在大多數情況下是不現實的。

這就是為什麼內部連結如此關鍵的原因。

您的內部連結會將Googlebot傳送到您網站上您希望編入索引的所有不同頁面。

扁平化網站結構

根據谷歌：

在網際網路上更受歡迎的 URL 往往被更頻繁地抓取，以使它們在我們的索引中保持新鮮。

而在谷歌的世界裡，popular（流行）=link authority（連結權重）。

這就是為什麼您要在您的網站上使用平面網站結構的原因。

一個扁平的結構設定了一些東西，以便您網站的所有頁面都有一些連結權重流向它們。

避免“孤立頁面”

孤立頁面是沒有指向它們的內部或外部連結的頁面。

谷歌很難找到孤立頁面。因此，如果您想充分利用抓取預算，請確保至少有一個內部或外部連結指向您網站上的每個頁面。

限制重複內容

出於很多原因，避免重複內容是明智的。

事實證明，重複的內容會損害您的抓取預算。

這是因為Google不想通過索引具有相同內容的多個頁面來浪費資源。

因此，請確保您網站的100%頁面由獨特的優質內容組成。

對於擁有10k+頁面的網站來說，這並不容易。但是，如果您想從抓取預算中獲得最大收益，這是必須的。

學習更多

優化您的抓取和索引編制：關於Google如何查詢、抓取和索引頁面的有用指南。

抓取預算優化完整指南：關於優化抓取預算的超級深入視訊（包括現實生活中的示例）。

抓取統計報告（網站）：Google釋出的一篇關於如何在Google Search Console中閱讀和解釋抓取報告的文章。