
如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件,分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点,及查看搜索引擎蜘蛛在一段时间内的行为。
IP地址(39) | 服务器名称 | 所属国家 |
---|---|---|
185.223.249.230 | 185.223.249.230 | GB |
144.76.22.113 | p11n14.trendiction.de | DE |
144.76.22.108 | p11n9.trendiction.de | DE |
144.76.22.119 | p11n20.trendiction.de | DE |
144.76.22.111 | p11n12.trendiction.de | DE |
144.76.22.107 | p11n8.trendiction.de | DE |
144.76.22.104 | p11n5.trendiction.de | DE |
144.76.22.100 | p11n1.trendiction.de | DE |
144.76.22.117 | p11n18 | DE |
144.76.22.116 | p11n17.trendiction.de | DE |
IP地址(63) | 服务器名称 | 所属国家 |
---|---|---|
144.76.22.104 | p11n5.trendiction.de | DE |
144.76.22.108 | p11n9.trendiction.de | DE |
144.76.22.107 | p11n8.trendiction.de | DE |
144.76.22.102 | p11n3 | DE |
144.76.22.111 | p11n12.trendiction.de | DE |
144.76.22.119 | p11n20.trendiction.de | DE |
144.76.22.113 | p11n14.trendiction.de | DE |
144.76.22.116 | p11n17.trendiction.de | DE |
144.76.22.101 | p11n2.trendiction.de | DE |
144.76.22.110 | p11n11 | DE |
144.76.22.117 | p11n18 | DE |
144.76.22.100 | p11n1.trendiction.de | DE |
185.223.249.230 | 185.223.249.230 | GB |
144.76.22.70 | p20n5.trendiction.de | DE |
144.76.14.80 | p10n15.trendiction.de | DE |
144.76.14.46 | p7n13.trendiction.de | DE |
144.76.23.236 | p9n11.trendiction.de | DE |
144.76.14.36 | p7n3.trendiction.de | DE |
144.76.14.45 | p7n12.trendiction.de | DE |
144.76.14.50 | p7n17.trendiction.de | DE |
144.76.14.47 | p7n14.trendiction.de | DE |
144.76.22.114 | p11n15.trendiction.de | DE |
144.76.23.114 | p18n17.trendiction.de | DE |
94.130.202.187 | p203n45 | DE |
144.76.22.115 | p11n16.trendiction.de | DE |
144.76.22.106 | p11n7 | DE |
144.76.22.118 | p11n19 | DE |
144.76.22.112 | p11n13.trendiction.de | DE |
144.76.23.99 | p18n2 | DE |
144.76.23.234 | p9n9 | DE |
144.76.23.110 | p18n13.trendiction.de | DE |
144.76.23.34 | p5n1 | DE |
144.76.23.177 | p16n16 | DE |
144.76.22.167 | p12n4 | DE |
144.76.14.55 | p7n20 | DE |
144.76.23.140 | p3n11 | DE |
144.76.14.49 | p7n16 | DE |
144.76.23.170 | p16n9 | DE |
144.76.23.98 | p18n1 | DE |
144.76.23.131 | p3n2 | DE |
144.76.22.49 | p13n14 | DE |
144.76.23.39 | p5n6 | DE |
144.76.22.243 | p15n16 | DE |
144.76.22.69 | p20n4 | DE |
IP地址(63) | 服务器名称 | 所属国家 |
---|---|---|
144.76.22.70 | p20n5.trendiction.de | DE |
144.76.14.80 | p10n15.trendiction.de | DE |
144.76.14.46 | p7n13.trendiction.de | DE |
144.76.23.236 | p9n11.trendiction.de | DE |
144.76.14.36 | p7n3.trendiction.de | DE |
144.76.14.45 | p7n12.trendiction.de | DE |
144.76.14.50 | p7n17.trendiction.de | DE |
144.76.14.47 | p7n14.trendiction.de | DE |
144.76.22.114 | p11n15.trendiction.de | DE |
144.76.23.114 | p18n17.trendiction.de | DE |
IP地址(4) | 服务器名称 | 所属国家 |
---|---|---|
176.9.10.11 | r14n10.trendiction.de | DE |
46.4.58.156 | r5n7.trendiction.de | DE |
46.4.59.16 | r1n15.trendiction.de | DE |
46.4.59.38 | r2n17.trendiction.de | DE |
IP地址(1) | 服务器名称 | 所属国家 |
---|---|---|
46.4.58.148 | r4n19.trendiction.de | DE |
一般不需要拦截,尤其是如果你自己也受益于搜索引擎优化服务。不过,如果你担心服务器资源占用等问题,且您都不使用这些工具,当然也可以选择拦截它们。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 trendictionbot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: trendictionbot Disallow: /
您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。