註冊
简体
> 工具>蜘蛛查詢工具

deepcrawl

deepcrawl蜘蛛/爬蟲屬於營銷型別，由Written Byte Ltd開發執行。您可以繼續閱讀下方資訊，以深入瞭解deepcrawl基本資訊，使用者代理和訪問控制等。

基本資訊

deepcrawl的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
deepcrawl
型別
營銷
開發商
Written Byte Ltd
當前狀態
活動

使用者代理

關於deepcrawl蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
  • deepcrawl
使用者代理字串
Mozilla/5.0 (compatible; Googlebot/2.1; https://deepcrawl.com/bot)
首次出現
2017-01-17 15:05:59
最後出現
2020-04-13 07:08:54
遵循robots.txt
未知
來源
IP地址(42) 伺服器名稱 所屬國家
52.90.120.170 ec2-52-90-120-170.compute-1.amazonaws.com US
54.211.202.136 ec2-54-211-202-136.compute-1.amazonaws.com US
54.211.203.64 ec2-54-211-203-64.compute-1.amazonaws.com US
52.206.110.111 ec2-52-206-110-111.compute-1.amazonaws.com US
54.82.148.241 ec2-54-82-148-241.compute-1.amazonaws.com US
54.210.187.150 ec2-54-210-187-150.compute-1.amazonaws.com US
54.211.202.10 ec2-54-211-202-10.compute-1.amazonaws.com US
54.84.79.209 ec2-54-84-79-209.compute-1.amazonaws.com US
52.90.207.245 ec2-52-90-207-245.compute-1.amazonaws.com US
54.210.188.139 ec2-54-210-188-139.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (Windows; U; Windows NT 6.1; en-GB; rv:1.9.1.7) Gecko/20091221 Firefox/3.5.7 https://deepcrawl.com/bot
首次出現
2020-02-01 23:56:23
最後出現
2020-02-01 23:56:23
遵循robots.txt
未知
使用者代理字串
deepcrawl wp 1337 https://deepcrawl.com/bot
首次出現
2020-01-29 08:18:23
最後出現
2020-01-29 08:18:23
遵循robots.txt
未知
使用者代理字串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot
首次出現
2018-05-30 18:57:39
最後出現
2020-01-24 14:23:52
遵循robots.txt
未知
來源
IP地址(1) 伺服器名稱 所屬國家
54.91.128.152 ec2-54-91-128-152.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/deepcrawl-dfh-bot.html) https://deepcrawl.com/bot
首次出現
2020-01-21 14:52:35
最後出現
2020-01-21 14:52:35
遵循robots.txt
未知
使用者代理字串
optimized https://deepcrawl.com/bot
首次出現
2020-01-18 02:35:41
最後出現
2020-01-18 02:35:41
遵循robots.txt
未知
使用者代理字串
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) https://deepcrawl.com/bot
首次出現
2018-05-22 20:21:54
最後出現
2019-07-04 13:58:29
遵循robots.txt
未知
來源
IP地址(4) 伺服器名稱 所屬國家
18.207.176.114 ec2-18-207-176-114.compute-1.amazonaws.com US
54.227.40.88 ec2-54-227-40-88.compute-1.amazonaws.com US
35.171.85.48 ec2-35-171-85-48.compute-1.amazonaws.com US
54.175.161.62 ec2-54-175-161-62.compute-1.amazonaws.com US
使用者代理字串
Googlebot deepcrawl
首次出現
2016-01-17 15:54:04
最後出現
2018-10-04 08:07:12
遵循robots.txt
未知
來源
IP地址(5) 伺服器名稱 所屬國家
35.153.210.124 ec2-35-153-210-124.compute-1.amazonaws.com US
204.236.207.68 ec2-204-236-207-68.compute-1.amazonaws.com US
54.211.200.160 ec2-54-211-200-160.compute-1.amazonaws.com US
54.211.201.121 ec2-54-211-201-121.compute-1.amazonaws.com US
54.165.19.169 ec2-54-165-19-169.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (compatible; Googlebot/2.1; https://www.deepcrawl.com/bot)
首次出現
2015-10-20 14:30:00
最後出現
2016-01-26 02:40:34
遵循robots.txt
未知
來源
IP地址(4) 伺服器名稱 所屬國家
54.211.202.136 ec2-54-211-202-136.compute-1.amazonaws.com US
52.90.120.170 ec2-52-90-120-170.compute-1.amazonaws.com US
54.211.203.64 ec2-54-211-203-64.compute-1.amazonaws.com US
52.206.110.111 ec2-52-206-110-111.compute-1.amazonaws.com US
54.209.202.135 ec2-54-209-202-135.compute-1.amazonaws.com US
54.197.6.93 ec2-54-197-6-93.compute-1.amazonaws.com US
54.211.202.10 ec2-54-211-202-10.compute-1.amazonaws.com US
54.91.146.57 ec2-54-91-146-57.compute-1.amazonaws.com US
54.226.240.65 ec2-54-226-240-65.compute-1.amazonaws.com US
54.210.186.16 ec2-54-210-186-16.compute-1.amazonaws.com US
54.91.128.152 ec2-54-91-128-152.compute-1.amazonaws.com US
18.207.176.114 ec2-18-207-176-114.compute-1.amazonaws.com US
54.227.40.88 ec2-54-227-40-88.compute-1.amazonaws.com US
35.171.85.48 ec2-35-171-85-48.compute-1.amazonaws.com US
54.175.161.62 ec2-54-175-161-62.compute-1.amazonaws.com US
35.153.210.124 ec2-35-153-210-124.compute-1.amazonaws.com US
204.236.207.68 ec2-204-236-207-68.compute-1.amazonaws.com US
54.211.200.160 ec2-54-211-200-160.compute-1.amazonaws.com US
54.211.201.121 ec2-54-211-201-121.compute-1.amazonaws.com US
54.165.19.169 ec2-54-165-19-169.compute-1.amazonaws.com US
95.154.229.204 hosted-by.securefastserver.com GB
54.74.131.65 ec2-54-74-131-65.eu-west-1.compute.amazonaws.com IE
54.78.131.124 ec2-54-78-131-124.eu-west-1.compute.amazonaws.com IE
78.157.207.29 hosted-by.securefastserver.com GB
54.210.200.52 ec2-54-210-200-52.compute-1.amazonaws.com US
54.90.171.129 ec2-54-90-171-129.compute-1.amazonaws.com US
54.210.203.244 ec2-54-210-203-244.compute-1.amazonaws.com US
54.211.204.143 ec2-54-211-204-143.compute-1.amazonaws.com US
52.87.170.49 ec2-52-87-170-49.compute-1.amazonaws.com US
54.81.8.59 ec2-54-81-8-59.compute-1.amazonaws.com US
52.87.208.114 ec2-52-87-208-114.compute-1.amazonaws.com US
54.165.85.174 ec2-54-165-85-174.compute-1.amazonaws.com US
54.210.76.166 ec2-54-210-76-166.compute-1.amazonaws.com US
54.227.95.104 ec2-54-227-95-104.compute-1.amazonaws.com US
54.175.73.19 ec2-54-175-73-19.compute-1.amazonaws.com US
54.211.192.22 ec2-54-211-192-22.compute-1.amazonaws.com US
54.237.205.84 ec2-54-237-205-84.compute-1.amazonaws.com US
54.84.79.209 ec2-54-84-79-209.compute-1.amazonaws.com US
52.90.207.245 ec2-52-90-207-245.compute-1.amazonaws.com US
54.210.188.139 ec2-54-210-188-139.compute-1.amazonaws.com US
54.88.157.2 ec2-54-88-157-2.compute-1.amazonaws.com US
52.91.105.66 ec2-52-91-105-66.compute-1.amazonaws.com US
54.82.148.241 ec2-54-82-148-241.compute-1.amazonaws.com US
54.210.187.150 ec2-54-210-187-150.compute-1.amazonaws.com US
54.211.203.154 ec2-54-211-203-154.compute-1.amazonaws.com US
54.157.208.245 ec2-54-157-208-245.compute-1.amazonaws.com US
54.89.4.175 ec2-54-89-4-175.compute-1.amazonaws.com US
54.210.238.1 ec2-54-210-238-1.compute-1.amazonaws.com US
使用者代理字串
Mozilla/5.0 (compatible; Googlebot/2.1; https://www.deepcrawl.com/bot)
首次出現
2015-10-20 14:30:00
最後出現
2016-01-26 02:40:34
遵循robots.txt
未知
來源
IP地址(4) 伺服器名稱 所屬國家
95.154.229.204 hosted-by.securefastserver.com GB
54.74.131.65 ec2-54-74-131-65.eu-west-1.compute.amazonaws.com IE
54.78.131.124 ec2-54-78-131-124.eu-west-1.compute.amazonaws.com IE
78.157.207.29 hosted-by.securefastserver.com GB

訪問控制

瞭解如何控制deepcrawl訪問許可權，避免deepcrawl抓取行為不當。

是否攔截deepcrawl？

一般不需要攔截，尤其是如果你自己也受益於搜尋引擎優化服務。不過，如果你擔心伺服器資源佔用等問題，且您都不使用這些工具，當然也可以選擇攔截它們。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 deepcrawl 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: deepcrawl
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: deepcrawl Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: deepcrawl
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

站長工具

我們為站長量身定做的高效工具集。
關鍵詞查詢工具
WP錯誤查詢
robots.txt測試工具
SEO工具箱
WordPress主題檢測器
SEO優化中心
WP開發寶典
蜘蛛查詢工具
檢視全部工具

常見蜘蛛/爬蟲

Common Spiders
Matchory Bot
Matchory Bot蜘蛛/爬蟲屬於營銷型別，由Matchory GmbH開發執行。您可以繼續閱讀下方資訊，以深入瞭解Matchory Bot基本資訊，使用者代理和訪問控制等。
Googlebot
GoogleBot蜘蛛/爬蟲屬於搜尋引擎型別，由Google Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解GoogleBot基本資訊，使用者代理和訪問控制等。
Online Domain Tools
Online Domain Tools蜘蛛/爬蟲屬於監控型別，由AITIS s.r.o.開發執行。您可以繼續閱讀下方資訊，以深入瞭解Online Domain Tools基本資訊，使用者代理和訪問控制等。
AhrefsBot
AhrefsBot蜘蛛/爬蟲屬於營銷型別，由Ahrefs Pte Ltd開發執行。您可以繼續閱讀下方資訊，以深入瞭解AhrefsBot基本資訊，使用者代理和訪問控制等。
SEMrushBot
SEMrushBot蜘蛛/爬蟲屬於營銷型別，由Semrush Inc開發執行。您可以繼續閱讀下方資訊，以深入瞭解SEMrushBot基本資訊，使用者代理和訪問控制等。
DotBot
DotBot蜘蛛/爬蟲屬於營銷型別，由SEOmoz, Inc.開發執行。您可以繼續閱讀下方資訊，以深入瞭解DotBot基本資訊，使用者代理和訪問控制等。
SentiBot
SentiBot蜘蛛/爬蟲屬於營銷型別，由SentiOne開發執行。您可以繼續閱讀下方資訊，以深入瞭解SentiBot基本資訊，使用者代理和訪問控制等。
Awario crawler
Awario crawler蜘蛛/爬蟲屬於營銷型別，由Link-Assistant.Com開發執行。您可以繼續閱讀下方資訊，以深入瞭解Awario crawler基本資訊，使用者代理和訪問控制等。

相關文章

Related Articles