LivelapBot

Livelap是一个内容发现应用程序,它对网络内容进行索引。可能你已经在你的服务器日志中看到Livelapbot/0.1或LivelapBot/0.2爬虫。如果一个页面在社交媒体上被分享,Livela

基本信息

LivelapBot的基本信息如下表。但部分不是很规范的蜘蛛和爬虫,可能存在信息不明的情况。
蜘蛛/爬虫名称
LivelapBot
开发商
LiveLap
官网
livelap.com
当前状态
活动

用户代理

关于LivelapBot蜘蛛或者爬虫的用户代理字符串,IP地址和服务器,所在地等信息如下表格所示:
请选择代理
LivelapBot/0.2
用户代理字符串
LivelapBot/0.2 (http://site.livelap.com/crawler)
首次出现
2014-09-11 08:31:55
最后出现
2024-11-29 05:15:58
遵循robots.txt
IP地址
17
来源
IP地址 服务器名称 所属国家
198.27.82.109 ns503966.ip-198-27-82.net CA
192.99.1.145 ns504328.ip-192-99-1.net CA
198.27.82.205 ns502990.ip-198-27-82.net CA
192.99.1.152 ns504339.ip-192-99-1.net CA
94.23.40.23 ns369020.ip-94-23-40.eu FR
198.27.67.31 ns505312.ip-198-27-67.net CA
198.27.82.203 ns502522.ip-198-27-82.net CA
37.187.151.144 ns320162.ip-37-187-151.eu FR
188.165.194.82 ns372429.ip-188-165-194.eu FR
37.187.150.5 ns3183796.ip-37-187-150.eu FR
37.187.151.114 ns3095058.ip-37-187-151.eu FR
37.187.93.168 ns3372013.ip-37-187-93.eu FR
37.187.151.141 ns317909.ip-37-187-151.eu FR
37.187.151.123 ns3095059.ip-37-187-151.eu FR
37.187.142.36 ns3049737.ip-37-187-142.eu FR
37.187.78.82 ns3366707.ip-37-187-78.eu FR
188.165.235.184 ns367083.ip-188-165-235.eu FR

访问控制

了解如何控制LivelapBot访问权限,避免LivelapBot抓取行为不当。

通过Robots.txt拦截

您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 LivelapBot 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。

	# robots.txt
	# 下列代码一般情况可以拦截该代理
	
	User-agent: LivelapBot
	Disallow: /

您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。

更多信息

Livelap爬虫: LivelapBot

Livelap是一个内容发现应用程序,它对网络内容进行索引。可能你已经在你的服务器日志中看到Livelapbot/0.1或LivelapBot/0.2爬虫。如果一个页面在社交媒体上被分享,LivelapBot可以访问该页面,并作为其RSS/页面爬行计划的一部分。

LivelapBot收集什么

Livelap对网页内容进行索引,并在livelap.com和Livelap应用程序中提供元数据和您的内容链接。对于索引,我们只使用您页面中的官方HTML和媒体元标签。我们不会搜刮您的文章内容。以下字段被用于索引。

  • 标题
  • 描述
  • 作者
  • 出版日期
  • 内容类型(文章、照片、视频等)
  • 图片(OG、twitter和其他标准标签)
  • 视频(OG、twitter和其他标准标签)。
  • RSS链接
  • 检测是否允许在iframe中显示页面

我的内容在Livelap中是什么样子的

以下是您的内容在Livelap中显示的一个例子。示例:http://mashable.com/2014/08/27/furries-in-berlin/

livelap文章预览

Livelap按域名聚合内容,并显示您网站的最新内容的视觉概览。mashable.com的展示如下所示。

mashable.com预览

用户可以查看你的内容的元数据,我们提供页面的预览(如果没有被网站所有者禁用)。这将在一个嵌入的iframe中显示内容和内容细节。预览上方显示一个可点击的链接,因此用户可以清楚地知道该内容是来自另一个网站。下面是一个用户体验的例子:

livelap预览

有效的内容

Livelap是一个视觉发现工具,所以我们不能接受每一个链接。在内容被添加到Livelap之前,以下规则适用:

  • 需要一个媒体图片(og:image,twitter:image,或其他标准的图片元标签)
  • 图片的最小分辨率为160×160像素
  • 不允许有成人、露骨、赌博、欺骗、垃圾邮件、诈骗、露骨重复或其他有害内容。

防止Livelap对您的内容进行索引

如果您不希望您的网页被Livelap索引,那也没关系。你可以通过以下方式限制或阻止LivelapBot。

使用 “livelap:index “HTML元标签来阻止Livelap的索引

如果您在您的页面的HEAD部分添加以下HTML元标签,该页面将被Livelap忽略。

<meta name="livelap:index" content="noindex"/>

使用 “robots “HTML元标签来阻止所有机器人的索引

如果你在你的页面的HEAD部分添加以下HTML元标签,该页面将被网络机器人忽略,包括Livelap。

<meta name="robots" content="noindex" />

使用 “X-Robots-Tag””noindex “HTTP头来阻止所有机器人的索引

如果你在你的网页响应中添加以下HTTP头,该页面将被网络机器人忽略,包括Livelap

HTTP/1.1 200OK X-Robots-Tag: noindex

关于使用robots标签的更多信息可以在这里找到:https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

防止Livelap预览你的内容

如果你希望你的网页被Livelap索引,但你不希望你的网站在Livelap内被预览,你可以添加以下代码。

使用 “livelap:preview “HTML元标签来防止Livelap预览您的网站

如果您在您的页面的HEAD部分添加以下HTML元标签,该页面就不能从Livelap内部预览。

<meta name="livelap:preview" content="no">

使用 “X-Frame-Options “HTTP头来防止页面预览

如果你在你的网络响应中添加以下HTTP头,该页面就不能在Livelap内预览。

HTTP/1.1 200OK X-Frame-Options: SAMEORIGINorX-Frame-Options: DENY

Livelap不支持X-Frame-Options的ALLOW-FROM值。关于X-Frame-Options的更多信息可以在这里找到: https://developer.mozilla.org/en-US/docs/Web/HTTP/X-Frame-Options

关于robots.txt

Livelap目前没有检查你的/robots.txt文件来决定一个链接是否可以被索引。我们目前正在开发这个功能。请使用上述的方法之一来限制索引。你也可以通过联系Livelap来要求一个完整的域名选择退出。