
如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件,分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点,及查看搜索引擎蜘蛛在一段时间内的行为。
IP地址(10) | 服务器名称 | 所属国家 |
---|---|---|
144.76.112.228 | h404.23-4.de | DE |
2a01:4f8:192:62e3::2 | 2a01:4f8:192:62e3::2 | DE |
2a01:4f8:212:2f14::2 | h106.23-4.de | DE |
136.243.81.154 | h104.23-4.de | DE |
144.76.97.177 | h403.23-4.de | DE |
2a01:4f8:192:32b0::2 | 2a01:4f8:192:32b0::2 | DE |
136.243.81.27 | h106.23-4.de | DE |
144.76.13.39 | h301.23-4.de | DE |
5.9.0.81 | h102.23-4.de | DE |
2a01:4f8:160:62c1::2 | 2a01:4f8:160:62c1::2 | DE |
一般不需要拦截,尤其是如果你自己也受益于搜索引擎优化服务。不过,如果你担心服务器资源占用等问题,且您都不使用这些工具,当然也可以选择拦截它们。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 SEOdiver 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: SEOdiver Disallow: /
您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
ABAKUS为SEO DIVER免费提供搜索引擎优化的重要工具。搜索引擎优化人员会发现各种工具用于网站的SEO分析。检查你的反向链接,进行关键词研究,并确定域名细节。
ABAKUS提供的SEO工具:
Domain Details
在这里你可以找到有关信息:移动友好性、Robots.txt、流量、服务器位置、主机、IP和域名年龄网页URL
SearchOnIP
查出哪些项目在一个给定域名的选定IP范围内(C或D)。
Keyword Schnellabfrage
同时对几个关键词进行搜索,并快速获得概览。网页URL
LinkCheck
输入一个域名以获得指向该页面的反向链接。导出一个具有众多属性的文件。网页URL
Hub-Finder
从最多五个域中找到共同的反向链接,从而找到你的竞争对手的链接源/枢纽。网页URL
OnPage-Analysis
分析网站最重要的OnPage因素(加载时间、元标签、内容、收藏夹),并获得具体的SEO提示.Webpage URL
Backlink Trust Points
寻找到第三层链接的反向链接。研究更深层次链接中的重要反向链接。
Keyword Recherche
识别特定主题的关键词,确定季节性趋势和流量。