如何阻止所有搜索引擎抓取所有页面？

在robots.txt文件中，可以使用Disallow指令来阻止所有搜索引擎爬虫访问整个网站。例如，”Disallow: /”将禁止爬虫访问整个网站。