如何阻止特定搜尋引擎抓取特定頁面？

在 robots.txt 檔案中，可以使用 Disallow 指令來阻止特定搜尋引擎爬蟲訪問指定的頁面。例如，”Disallow: /private”將禁止爬蟲訪問以”/private”開頭的所有URL路徑。