
如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件,分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点,及查看搜索引擎蜘蛛在一段时间内的行为。
IP地址(1) | 服务器名称 | 所属国家 |
---|---|---|
94.130.15.147 | static.147.15.130.94.clients.your-server.de | DE |
IP地址(1) | 服务器名称 | 所属国家 |
---|---|---|
116.203.217.7 | 116.203.217.7 | DE |
78.47.24.231 | static.231.24.47.78.clients.your-server.de | DE |
116.203.126.25 | static.25.126.203.116.clients.your-server.de | DE |
144.76.94.114 | static.114.94.76.144.clients.your-server.de | DE |
IP地址(1) | 服务器名称 | 所属国家 |
---|---|---|
144.76.94.114 | static.114.94.76.144.clients.your-server.de | DE |
IP地址(4) | 服务器名称 | 所属国家 |
---|---|---|
88.99.144.159 | ? | DE |
94.130.67.180 | ? | DE |
138.201.31.160 | ? | DE |
213.239.217.85 | static.213-239-217-85.clients.your-server.de | DE |
78.46.46.248 | ? | DE |
88.198.15.244 | static.88-198-15-244.clients.your-server.de | DE |
88.99.148.110 | ? | DE |
148.251.136.181 | ? | DE |
88.198.16.190 | static.88-198-16-190.clients.your-server.de | DE |
144.76.94.111 | ? | DE |
176.9.77.78 | ? | DE |
144.76.95.24 | static.24.95.76.144.clients.your-server.de | DE |
136.243.1.83 | static.83.1.243.136.clients.your-server.de | DE |
144.76.94.110 | ? | DE |
148.251.136.182 | ? | DE |
96.126.102.64 | 96-126-102-64.ip.linodeusercontent.com | US |
IP地址(4) | 服务器名称 | 所属国家 |
---|---|---|
88.99.148.110 | ? | DE |
176.9.77.78 | ? | DE |
144.76.95.24 | static.24.95.76.144.clients.your-server.de | DE |
136.243.1.83 | static.83.1.243.136.clients.your-server.de | DE |
IP地址(1) | 服务器名称 | 所属国家 |
---|---|---|
136.243.1.83 | static.83.1.243.136.clients.your-server.de | DE |
IP地址(44) | 服务器名称 | 所属国家 |
---|---|---|
144.76.95.24 | static.24.95.76.144.clients.your-server.de | DE |
176.9.63.54 | static.54.63.9.176.clients.your-server.de | DE |
144.76.78.196 | static.196.78.76.144.clients.your-server.de | DE |
136.243.1.83 | static.83.1.243.136.clients.your-server.de | DE |
144.76.78.198 | static.198.78.76.144.clients.your-server.de | DE |
88.198.230.150 | static.88-198-230-150.clients.your-server.de | DE |
78.46.87.116 | static.78-46-87-116.clients.your-server.de | DE |
78.46.85.137 | static.137.85.46.78.clients.your-server.de | DE |
88.198.105.82 | static.88-198-105-82.clients.your-server.de | DE |
188.40.60.5 | static.5.60.40.188.clients.your-server.de | DE |
78.46.49.208 | static.208.49.46.78.clients.your-server.de | PH |
78.46.34.151 | static.151.34.46.78.clients.your-server.de | DE |
178.63.83.22 | static.22.83.63.178.clients.your-server.de | DE |
2a01:4f8:192:c3::2 | 2a01:4f8:192:c3::2 | DE |
78.46.85.13 | static.78-46-85-13.clients.your-server.de | DE |
46.4.10.21 | static.21.10.4.46.clients.your-server.de | DE |
188.40.45.150 | static.150.45.40.188.clients.your-server.de | DE |
144.76.78.199 | static.199.78.76.144.clients.your-server.de | DE |
144.76.94.111 | static.111.94.76.144.clients.your-server.de | DE |
46.4.36.66 | a.inadm.com | DE |
176.9.127.53 | static.53.127.9.176.clients.your-server.de | DE |
46.4.94.206 | static.206.94.4.46.clients.your-server.de | DE |
176.9.151.196 | static.196.151.9.176.clients.your-server.de | DE |
46.4.98.112 | static.112.98.4.46.clients.your-server.de | DE |
176.9.28.106 | static.106.28.9.176.clients.your-server.de | DE |
176.9.29.147 | static.147.29.9.176.clients.your-server.de | DE |
148.251.136.183 | static.183.136.251.148.clients.your-server.de | DE |
IP地址(1) | 服务器名称 | 所属国家 |
---|---|---|
144.76.78.197 | static.197.78.76.144.clients.your-server.de | DE |
一般不需要拦截,尤其是如果你自己也受益于搜索引擎优化服务。不过,如果你担心服务器资源占用等问题,且您都不使用这些工具,当然也可以选择拦截它们。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 uMBot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: uMBot Disallow: /
您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
Ubermetrics是营销和公关专家的领先的内容智能平台。Ubermetrics的内容智能平台是一种人工智能驱动的技术,把公共内容转化为有意义的见解,以实现有效的内容驱动的传播战略。通过Ubermetrics,数字传播者可以发现、研究、分析和优化内容和趋势,最大限度地提高传播效果和投资回报率。
Ubermetrics平台每分钟处理超过4.6亿个来源的50,000个内容。我们先进的人工智能、计量学和文本挖掘分析使数字传播专家能够发现相关的主题、趋势、影响者和渠道,推动成功的内容战略真正与利益相关群体产生共鸣。
在Ubermetrics,我们都热爱沟通,并热衷于为我们的客户制造完美的产品,为他们的沟通工作提供动力。我们的团队是我们产品的核心 – 这就是为什么我们重视对彼此的投资。我们通过支持多样性、开放、诚实、包容以及我们的日常工作来做到这一点。
Ubermetrics在德国柏林和美国旧金山设有办事处。Ubermetrics与宝马、Word Health Summit、Fink & Fuchs和RCI Banque等客户在三大洲合作。