搜索引擎蜘蛛

搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。

关于Robots.txt，相信大部分WordPress站长对其都不会感到陌生，一个规范的Robots.txt对于WordPress网站SEO优化来说至关重要。该文件主要用于告诉搜索引擎爬虫，网站哪些页面可以爬取，哪些页面不可以。

Spider Analyser这款搜索引擎蜘蛛分析插件，是目前闪电博安装启用比率最高的插件，广受站长欢迎。该插件的主要目的在于帮助站长深入了解各大搜索引擎蜘蛛爬取网站内容情况，以便于站长对网站内容进行针对性优化。

要知道WordPress robots.txt文件中的“Disallow”命令与页面头部的元描述noindex…