LivelapBot

LivelapBot蜘蛛/爬蟲屬於其他型別,由LiveLap開發執行。您可以繼續閱讀下方資訊,以深入瞭解LivelapBot基本資訊,使用者代理和訪問控制等。

基本資訊

LivelapBot的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
LivelapBot
型別
其他
開發商
LiveLap
當前狀態
活動

使用者代理

關於LivelapBot蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
LivelapBot/0.2
使用者代理字串
LivelapBot/0.2 (http://site.livelap.com/crawler)
首次出現
2014-09-11 08:31:55
最後出現
2024-11-29 05:15:58
遵循robots.txt
未知
來源
IP地址(17) 伺服器名稱 所屬國家
198.27.82.109 ns503966.ip-198-27-82.net CA
192.99.1.145 ns504328.ip-192-99-1.net CA
198.27.82.205 ns502990.ip-198-27-82.net CA
192.99.1.152 ns504339.ip-192-99-1.net CA
94.23.40.23 ns369020.ip-94-23-40.eu FR
198.27.67.31 ns505312.ip-198-27-67.net CA
198.27.82.203 ns502522.ip-198-27-82.net CA
37.187.151.144 ns320162.ip-37-187-151.eu FR
188.165.194.82 ns372429.ip-188-165-194.eu FR
37.187.150.5 ns3183796.ip-37-187-150.eu FR
37.187.151.114 ns3095058.ip-37-187-151.eu FR
37.187.93.168 ns3372013.ip-37-187-93.eu FR
37.187.151.141 ns317909.ip-37-187-151.eu FR
37.187.151.123 ns3095059.ip-37-187-151.eu FR
37.187.142.36 ns3049737.ip-37-187-142.eu FR
37.187.78.82 ns3366707.ip-37-187-78.eu FR
188.165.235.184 ns367083.ip-188-165-235.eu FR

訪問控制

瞭解如何控制LivelapBot訪問許可權,避免LivelapBot抓取行為不當。

是否攔截LivelapBot?

對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的,也可能是壞的,這取決於它是什麼。所以說,這需要站長進一步分析判斷這些尚不明確的爬蟲行為,再作最終決定。 但,根據以往的經驗,未宣告行為目的及未命名的蜘蛛爬蟲,通常都有不可告人的祕密,我們理應對其行為進行控制,比如攔截。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 LivelapBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: LivelapBot
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: LivelapBot Disallow: /
	# robots.txt
	# 下列程式碼一般情況可以攔截該代理
	
	User-agent: LivelapBot
	Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

Livelap爬蟲: LivelapBot

Livelap是一個內容發現應用程式,它對網路內容進行索引。可能你已經在你的伺服器日誌中看到Livelapbot/0.1或LivelapBot/0.2爬蟲。如果一個頁面在社交媒體上被分享,LivelapBot可以訪問該頁面,並作為其RSS/頁面爬行計劃的一部分。

LivelapBot收集什麼

Livelap對網頁內容進行索引,並在livelap.com和Livelap應用程式中提供後設資料和您的內容連結。對於索引,我們只使用您頁面中的官方HTML和媒體元標籤。我們不會搜刮您的文章內容。以下欄位被用於索引。

  • 標題
  • 描述
  • 作者
  • 出版日期
  • 內容型別(文章、照片、視訊等)
  • 圖片(OG、twitter和其他標準標籤)
  • 視訊(OG、twitter和其他標準標籤)。
  • RSS連結
  • 檢測是否允許在iframe中顯示頁面

我的內容在Livelap中是什麼樣子的

以下是您的內容在Livelap中顯示的一個例子。示例:http://mashable.com/2014/08/27/furries-in-berlin/

livelap文章預覽

Livelap按域名聚合內容,並顯示您網站的最新內容的視覺概覽。mashable.com的展示如下所示。

mashable.com預覽

使用者可以檢視你的內容的後設資料,我們提供頁面的預覽(如果沒有被網站所有者禁用)。這將在一個嵌入的iframe中顯示內容和內容細節。預覽上方顯示一個可點選的連結,因此使用者可以清楚地知道該內容是來自另一個網站。下面是一個使用者體驗的例子:

livelap預覽

有效的內容

Livelap是一個視覺發現工具,所以我們不能接受每一個連結。在內容被新增到Livelap之前,以下規則適用:

  • 需要一個媒體圖片(og:image,twitter:image,或其他標準的圖片元標籤)
  • 圖片的最小解析度為160×160畫素
  • 不允許有成人、露骨、賭博、欺騙、垃圾郵件、詐騙、露骨重複或其他有害內容。

防止Livelap對您的內容進行索引

如果您不希望您的網頁被Livelap索引,那也沒關係。你可以通過以下方式限制或阻止LivelapBot。

使用 “livelap:index “HTML元標籤來阻止Livelap的索引

如果您在您的頁面的HEAD部分新增以下HTML元標籤,該頁面將被Livelap忽略。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
<meta name="livelap:index" content="noindex"/>
<meta name="livelap:index" content="noindex"/>
<meta name="livelap:index" content="noindex"/>

使用 “robots “HTML元標籤來阻止所有機器人的索引

如果你在你的頁面的HEAD部分新增以下HTML元標籤,該頁面將被網路機器人忽略,包括Livelap。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
<meta name="robots" content="noindex" />
<meta name="robots" content="noindex" />
<meta name="robots" content="noindex" />

使用 “X-Robots-Tag””noindex “HTTP頭來阻止所有機器人的索引

如果你在你的網頁響應中新增以下HTTP頭,該頁面將被網路機器人忽略,包括Livelap

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
HTTP/1.1 200OK X-Robots-Tag: noindex
HTTP/1.1 200OK X-Robots-Tag: noindex
HTTP/1.1 200OK X-Robots-Tag: noindex

關於使用robots標籤的更多資訊可以在這裡找到:https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

防止Livelap預覽你的內容

如果你希望你的網頁被Livelap索引,但你不希望你的網站在Livelap內被預覽,你可以新增以下程式碼。

使用 “livelap:preview “HTML元標籤來防止Livelap預覽您的網站

如果您在您的頁面的HEAD部分新增以下HTML元標籤,該頁面就不能從Livelap內部預覽。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
<meta name="livelap:preview" content="no">
<meta name="livelap:preview" content="no">
<meta name="livelap:preview" content="no">

使用 “X-Frame-Options “HTTP頭來防止頁面預覽

如果你在你的網路響應中新增以下HTTP頭,該頁面就不能在Livelap內預覽。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
HTTP/1.1 200OK X-Frame-Options: SAMEORIGINor<code>X-Frame-Options: DENY</code>
HTTP/1.1 200OK X-Frame-Options: SAMEORIGINor<code>X-Frame-Options: DENY</code>
HTTP/1.1 200OK X-Frame-Options: SAMEORIGINorX-Frame-Options: DENY

Livelap不支援X-Frame-Options的ALLOW-FROM值。關於X-Frame-Options的更多資訊可以在這裡找到: https://developer.mozilla.org/en-US/docs/Web/HTTP/X-Frame-Options

關於robots.txt

Livelap目前沒有檢查你的/robots.txt檔案來決定一個連結是否可以被索引。我們目前正在開發這個功能。請使用上述的方法之一來限制索引。你也可以通過聯絡Livelap來要求一個完整的域名選擇退出。

常見蜘蛛/爬蟲

Common Spiders
companyspotter
companyspotter蜘蛛/爬蟲屬於其他型別,由CompanySpotter BV開發執行。您可以繼續閱讀下方資訊,以深入瞭解companyspotter基本資訊,使用者代理和訪問控制等。
DataForSeo bot
DataForSeo bot蜘蛛/爬蟲屬於其他型別,由DataForSEO OU開發執行。您可以繼續閱讀下方資訊,以深入瞭解DataForSeo bot基本資訊,使用者代理和訪問控制等。
CloudFlare crawler
CloudFlare crawler蜘蛛/爬蟲屬於其他型別,由CloudFlare, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解CloudFlare crawler基本資訊,使用者代理和訪問控制等。
Odin
Odin蜘蛛/爬蟲屬於其他型別,由Cyble, Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Odin基本資訊,使用者代理和訪問控制等。
Chrome Privacy Preserving Prefetch Proxy
Chrome Privacy Preserving Prefetch Proxy蜘蛛/爬蟲屬於其他型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Chrome Privacy Preserving Prefetch Proxy基本資訊,使用者代理和訪問控制等。
EFF crawler
EFF crawler蜘蛛/爬蟲屬於其他型別,由Electronic Frontier Foundation開發執行。您可以繼續閱讀下方資訊,以深入瞭解EFF crawler基本資訊,使用者代理和訪問控制等。
Modat crawler
Modat crawler蜘蛛/爬蟲屬於其他型別,由Modat B.V.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Modat crawler基本資訊,使用者代理和訪問控制等。
FirmoGraph
FirmoGraph蜘蛛/爬蟲屬於其他型別,由firmograph.io開發執行。您可以繼續閱讀下方資訊,以深入瞭解FirmoGraph基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles