TextRazor crawler

TextRazor crawler蜘蛛/爬蟲屬於工具型別,由TextRazor Ltd.開發執行。您可以繼續閱讀下方資訊,以深入瞭解TextRazor crawler基本資訊,使用者代理和訪問控制等。

基本資訊

TextRazor crawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲,可能存在資訊不明的情況。
蜘蛛/爬蟲名稱
TextRazor crawler
型別
工具
開發商
TextRazor Ltd.
當前狀態
活動

使用者代理

關於TextRazor crawler蜘蛛或者爬蟲的使用者代理字串,IP地址和伺服器,所在地等資訊如下表格所示:
TextRazor Downloader
使用者代理字串
TextRazor Downloader (https://www.textrazor.com)
首次出現
2019-04-24 07:41:27
最後出現
2025-01-08 17:26:52
遵循robots.txt
來源
IP地址(767) 伺服器名稱 所屬國家
174.138.60.61 nyc3.squid.digitalocean.19 ?
165.227.76.204 nyc3.squid.digitalocean.19 US
159.203.77.41 nyc3.squid.digitalocean.109 US
157.245.15.63 nyc3.squid.digitalocean.89 US
167.172.236.188 nyc3.squid.digitalocean.58 US
142.93.65.162 nyc3.squid.digitalocean.20 US
167.71.190.170 ? US
165.227.184.10 ? US
165.227.126.192 ? US
134.209.35.223 nyc3.squid.digitalocean.58 US
104.36.18.71 host-71-18-36-104.cloudsigma.net US
104.36.18.40 host-40-18-36-104.cloudsigma.net US
162.213.36.95 host-95-36.213.162.cloudsigma.net US
162.213.37.84 host-84-37.213.162.cloudsigma.net US
104.36.18.11 host-11-18-36-104.cloudsigma.net US
162.213.36.43 host-43-36.213.162.cloudsigma.net US
162.213.37.80 host-80-37.213.162.cloudsigma.net US
104.36.18.208 host-208-18-36-104.cloudsigma.net US
162.213.36.189 host-189-36.213.162.cloudsigma.net US
161.35.184.224 ? US
162.213.37.98 host-98-37.213.162.cloudsigma.net US
162.213.36.63 host-63-36.213.162.cloudsigma.net US
162.213.37.102 three.emailserver8.com US
162.213.37.17 www.thegoodkitchen.com US
162.213.37.62 host-62-37.213.162.cloudsigma.net US
104.36.18.99 host-99-18-36-104.cloudsigma.net US
162.213.36.168 host-168-36.213.162.cloudsigma.net US
104.36.18.152 host-152-18-36-104.cloudsigma.net US
162.213.36.76 host-76-36.213.162.cloudsigma.net US
162.213.37.36 host-36-37.213.162.cloudsigma.net US
104.36.18.151 host-151-18-36-104.cloudsigma.net US
162.213.37.180 host-180-37.213.162.cloudsigma.net ?
104.36.18.243 host-243-18-36-104.cloudsigma.net US
162.213.37.168 host-168-37.213.162.cloudsigma.net US
104.36.18.173 host-173-18-36-104.cloudsigma.net US
162.213.36.61 host-61-36.213.162.cloudsigma.net US
162.213.36.72 host-72-36.213.162.cloudsigma.net US
162.213.37.241 host-241-37.213.162.cloudsigma.net US
162.213.36.51 host-51-36.213.162.cloudsigma.net US
162.213.36.77 host-77-36.213.162.cloudsigma.net US
104.36.18.246 host-246-18-36-104.cloudsigma.net US
162.213.37.147 host-147-37.213.162.cloudsigma.net US
162.213.37.137 zmail.kvadro-impex.ru US
162.213.37.208 mail.projmgmntprofcourse.biz US
104.36.18.163 host-163-18-36-104.cloudsigma.net US
162.213.36.84 host-84-36.213.162.cloudsigma.net US
162.213.36.220 host-220-36.213.162.cloudsigma.net US
104.36.18.232 host-232-18-36-104.cloudsigma.net US
162.213.36.137 host-137-36.213.162.cloudsigma.net US
162.213.36.238 host-238-36.213.162.cloudsigma.net US
162.213.36.54 host-54-36.213.162.cloudsigma.net US
162.213.37.31 host-31-37.213.162.cloudsigma.net US
162.213.37.71 host-71-37.213.162.cloudsigma.net US
162.213.37.34 host-34-37.213.162.cloudsigma.net US
162.213.36.136 mail.gadgetamazin.com US
162.213.37.100 mail.deadseamail.com US
162.213.37.165 host-165-37.213.162.cloudsigma.net US
162.213.36.88 host-88-36.213.162.cloudsigma.net US
162.213.36.126 host-126-36.213.162.cloudsigma.net US
104.36.18.137 host-137-18-36-104.cloudsigma.net US
162.213.37.247 mail.cs-247-365.com US
162.213.36.23 host-23-36.213.162.cloudsigma.net US
162.213.37.212 host-212-37.213.162.cloudsigma.net US
162.213.37.73 host-73-37.213.162.cloudsigma.net US
162.213.37.103 host-103-37.213.162.cloudsigma.net US
162.213.37.93 host-93-37.213.162.cloudsigma.net US
162.213.37.60 arundel01.ldvtech.net US
162.213.37.173 host-173-37.213.162.cloudsigma.net US
162.213.36.129 host-129-36.213.162.cloudsigma.net US
162.213.36.159 host-159-36.213.162.cloudsigma.net US
162.213.37.252 three.emailserver8.com US
162.213.37.51 host-51-37.213.162.cloudsigma.net US
162.213.36.230 host-230-36.213.162.cloudsigma.net US
162.213.37.94 smtp.cti-grp.com US
162.213.36.165 mail.collagenta.com US
162.213.36.102 host-102-36.213.162.cloudsigma.net US
162.213.36.208 host-208-36.213.162.cloudsigma.net US
162.213.36.211 host-211-36.213.162.cloudsigma.net US
162.213.36.30 host-30-36.213.162.cloudsigma.net US
162.213.36.92 host-92-36.213.162.cloudsigma.net US
162.213.36.192 host-192-36.213.162.cloudsigma.net US
162.213.36.70 host-70-36.213.162.cloudsigma.net US
104.36.18.157 host-157-18-36-104.cloudsigma.net US
104.36.18.46 host-46-18-36-104.cloudsigma.net US
104.36.18.73 host-73-18-36-104.cloudsigma.net US
104.36.18.221 host-221-18-36-104.cloudsigma.net ?
162.213.37.38 host-38-37.213.162.cloudsigma.net US
162.213.37.175 host-175-37.213.162.cloudsigma.net US
162.213.37.105 uranus.redcell.ca ?
162.213.37.45 mail.revoluxe.com US
162.213.36.96 host-96-36.213.162.cloudsigma.net US
162.213.37.24 host-24-37.213.162.cloudsigma.net US
162.213.36.161 mail.deadseakit.com US
162.213.36.193 host-193-36.213.162.cloudsigma.net US
162.213.36.55 hosted-by.gshost.co US
162.213.36.107 host-107-36.213.162.cloudsigma.net US
162.213.37.154 host-154-37.213.162.cloudsigma.net US
162.213.37.186 host-186-37.213.162.cloudsigma.net US
162.213.37.188 host-188-37.213.162.cloudsigma.net US
162.213.36.46 host-46-36.213.162.cloudsigma.net US
162.213.36.149 mail.promgetprofcourse.biz US
162.213.36.182 host-182-36.213.162.cloudsigma.net US
162.213.37.81 host-81-37.213.162.cloudsigma.net US
162.213.37.107 host-107-37.213.162.cloudsigma.net US
104.36.18.138 host-138-18-36-104.cloudsigma.net US
162.213.37.37 host-37-37.213.162.cloudsigma.net US
162.213.36.113 host-113-36.213.162.cloudsigma.net US
162.213.36.154 host-154-36.213.162.cloudsigma.net US
104.36.18.159 host-159-18-36-104.cloudsigma.net US
104.36.18.204 mail.perlelux.com US
104.36.18.210 host-210-18-36-104.cloudsigma.net US
162.213.37.54 host-54-37.213.162.cloudsigma.net ?
162.213.36.213 ns5.egaima.net US
162.213.36.130 host-130-36.213.162.cloudsigma.net US
162.213.36.152 mail.lefinissage.com US
162.213.36.235 host-235-36.213.162.cloudsigma.net US
162.213.37.32 host-32-37.213.162.cloudsigma.net US
162.213.36.116 host-116-36.213.162.cloudsigma.net US
104.36.18.141 host-141-18-36-104.cloudsigma.net US
162.213.37.75 host-75-37.213.162.cloudsigma.net US
104.36.18.217 panel01.gbs2u.com US
162.213.37.97 host-97-37.213.162.cloudsigma.net US
162.213.37.33 host-33-37.213.162.cloudsigma.net US
162.213.36.19 host-19-36.213.162.cloudsigma.net US
162.213.37.193 host-193-37.213.162.cloudsigma.net US
104.36.18.161 host-161-18-36-104.cloudsigma.net US
162.213.36.123 host-123-36.213.162.cloudsigma.net US
162.213.37.192 host-192-37.213.162.cloudsigma.net US
162.213.37.50 host-50-37.213.162.cloudsigma.net US
162.213.37.115 host-115-37.213.162.cloudsigma.net US
104.36.18.164 host-164-18-36-104.cloudsigma.net US
104.36.18.185 host-185-18-36-104.cloudsigma.net ?
162.213.37.199 host-199-37.213.162.cloudsigma.net US
162.213.37.239 host-239-37.213.162.cloudsigma.net US
162.213.37.101 host-101-37.213.162.cloudsigma.net US
162.213.37.109 host-109-37.213.162.cloudsigma.net US
104.36.18.206 mail.retinolmd.com US
162.213.36.39 host-39-36.213.162.cloudsigma.net US
162.213.36.144 host-144-36.213.162.cloudsigma.net US
162.213.37.114 host-114-37.213.162.cloudsigma.net US
104.36.18.59 host-59-18-36-104.cloudsigma.net US
162.213.36.176 host-176-36.213.162.cloudsigma.net US
104.36.18.202 mail.shopsophea.com US
162.213.37.234 host-234-37.213.162.cloudsigma.net US
162.213.37.30 host-30-37.213.162.cloudsigma.net US
162.213.37.135 web9.carthostcloud.com US
162.213.36.59 host-59-36.213.162.cloudsigma.net US
162.213.37.65 host-65-37.213.162.cloudsigma.net US
162.213.37.178 host-178-37.213.162.cloudsigma.net ?
162.213.36.187 elara.jtan.com US
162.213.37.43 host-43-37.213.162.cloudsigma.net US
162.213.36.245 host-245-36.213.162.cloudsigma.net US
162.213.36.248 host-248-36.213.162.cloudsigma.net US
104.36.18.226 host-226-18-36-104.cloudsigma.net US
162.213.36.157 host-157-36.213.162.cloudsigma.net US
104.36.18.75 host-75-18-36-104.cloudsigma.net US
162.213.37.172 host-172-37.213.162.cloudsigma.net US
162.213.37.88 mail.mint-e.com US
162.213.37.69 ns1.robomir.net US
104.36.18.56 host-56-18-36-104.cloudsigma.net US
162.213.37.20 host-20-37.213.162.cloudsigma.net US
162.213.36.120 host-120-36.213.162.cloudsigma.net US
162.213.37.35 apex1.apexinformationsolutions.com US
162.213.37.149 uniquelyyourshosting.biz US
104.36.18.13 host-13-18-36-104.cloudsigma.net US
162.213.36.146 ptr.myhostgatepanel.com ?
104.36.18.37 host-37-18-36-104.cloudsigma.net US
162.213.36.194 segaaas.swordfish09.com US
162.213.37.104 host-104-37.213.162.cloudsigma.net US
104.36.18.228 host-228-18-36-104.cloudsigma.net US
162.213.37.40 host-40-37.213.162.cloudsigma.net US
162.213.37.46 host-46-37.213.162.cloudsigma.net US
162.213.37.70 host-70-37.213.162.cloudsigma.net US
162.213.36.26 host-26-36.213.162.cloudsigma.net US
162.213.37.140 host-140-37.213.162.cloudsigma.net US
162.213.36.224 host-224-36.213.162.cloudsigma.net US
162.213.37.91 host-91-37.213.162.cloudsigma.net US
162.213.37.128 host-128-37.213.162.cloudsigma.net US
162.213.37.63 host-63-37.213.162.cloudsigma.net US
104.36.18.42 web.qie.com US
104.36.18.162 host-162-18-36-104.cloudsigma.net US
162.213.36.34 host-34-36.213.162.cloudsigma.net US
162.213.36.41 host-41-36.213.162.cloudsigma.net US
104.36.18.227 host-227-18-36-104.cloudsigma.net US
162.213.36.179 host-179-36.213.162.cloudsigma.net US
162.213.37.141 host-141-37.213.162.cloudsigma.net US
104.36.18.220 host-220-18-36-104.cloudsigma.net US
104.36.18.178 host-178-18-36-104.cloudsigma.net US
162.213.36.45 host-45-36.213.162.cloudsigma.net US
104.36.18.236 host-236-18-36-104.cloudsigma.net US
104.36.18.54 healthybirthing.org US

訪問控制

瞭解如何控制TextRazor crawler訪問許可權,避免TextRazor crawler抓取行為不當。

是否攔截TextRazor crawler?

可能不需要。工具型別爬蟲通常為網站所有者使用此類工具對網站進行相關服務請求才會出現。當然,實際情況需站長判斷後再作決定。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 TextRazor crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: TextRazor crawler
Disallow: /
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: TextRazor crawler Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: TextRazor crawler
Disallow: /

您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

更多資訊

TextRazor總部位於英國倫敦,是一家提供軟體的初創公司,幫助開發人員迅速將文字分析納入其應用程式。他們的工具提供最先進的開箱即用的效能,同時提供定製選項,以幫助優化任何用例。

TextRazor的API正在快速增長,目前每天處理來自一系列垂直領域的數百個應用程式的數百萬個請求。主要用例包括社交媒體監測、企業搜尋、推薦系統和廣告定位。

該公司成立於2011年,自2013年以來,在沒有機構投資的情況下,一直在盈利運營。

TextRazor的高效能機器學習堆疊從頭開始設計,在不同的寫作風格中實現了準確性、速度和穩健性。

在幾分鐘內整合

TextRazor的API可以很容易地與任何可以傳送HTTP請求和解析JSON響應的語言整合,只需幾行程式碼就可以進行強大的文字分析。TextRazor允許你在一個請求中提取任何和所有你需要的資訊,將提取的語義後設資料連線起來,使識別複雜模式變得容易。

不折不扣的延遲、吞吐量和大可擴充套件性

只有當你的軟體能夠跟上它的步伐時,大資料才是有用的。TextRazor從一開始就為效能而設計。TextRazor是用高度優化的C++編寫的,每個核心每秒能夠處理數千字。我們的分散式後端每天為數以百計的客戶處理數千萬的檔案。

TextRazor的彈性基礎設施是建立在亞馬遜網路服務雲和物理硬體上。TextRazor是為高可用性和效能一致性而設計的,用於分析每天數千、數百萬或數十億的文件。

每日更新

語言總是在變化–我們的模型每天都有新的實體更新,所以你永遠不會錯過任何重要的東西。我們每個月還會從頭開始完全重建我們的模型,以適應語言使用方面的較大變化。

無限的定製

TextRazor允許你新增產品名稱、人物、公司、自定義分類規則和高階語言學模式。我們的整合Prolog引擎讓你迅速將TextRazor的結果與強大的自定義領域特定邏輯相結合。

你可以在這裡閱讀更多關於TextRazor的規則引擎。

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
% Match two companies in a 'buy' relation.
acquisition_rumor(CompanyA, CompanyB, EntailedWord) :-
entity_type(CompanyA, 'Company'),
entity_type(CompanyB, 'Company'),
relation_overlap(BuyRelation, 'SUBJECT', CompanyA, 'OBJECT', CompanyB),
entailment_overlap(_, BuyRelation, EntailedWord),
member(EntailedWord, ['buy', 'sell', 'acquire']).
% Match two companies in a 'buy' relation. acquisition_rumor(CompanyA, CompanyB, EntailedWord) :- entity_type(CompanyA, 'Company'), entity_type(CompanyB, 'Company'), relation_overlap(BuyRelation, 'SUBJECT', CompanyA, 'OBJECT', CompanyB), entailment_overlap(_, BuyRelation, EntailedWord), member(EntailedWord, ['buy', 'sell', 'acquire']).
% Match two companies in a 'buy' relation.
acquisition_rumor(CompanyA, CompanyB, EntailedWord) :-
    entity_type(CompanyA, 'Company'),
    entity_type(CompanyB, 'Company'),
    relation_overlap(BuyRelation, 'SUBJECT', CompanyA, 'OBJECT', CompanyB),
    entailment_overlap(_, BuyRelation, EntailedWord),
    member(EntailedWord, ['buy', 'sell', 'acquire']).

常見蜘蛛/爬蟲

Common Spiders
Google Firebase
Google Firebase蜘蛛/爬蟲屬於工具型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解Google Firebase基本資訊,使用者代理和訪問控制等。
magereport
magereport蜘蛛/爬蟲屬於工具型別,由Hypernode B.V.開發執行。您可以繼續閱讀下方資訊,以深入瞭解magereport基本資訊,使用者代理和訪問控制等。
7Siters
7Siters蜘蛛/爬蟲屬於工具型別,由Re-Re Web Studio開發執行。您可以繼續閱讀下方資訊,以深入瞭解7Siters基本資訊,使用者代理和訪問控制等。
GoodBarber
GoodBarber蜘蛛/爬蟲屬於工具型別,由GoodBarber SAS開發執行。您可以繼續閱讀下方資訊,以深入瞭解GoodBarber基本資訊,使用者代理和訪問控制等。
PWABuilder
PWABuilder蜘蛛/爬蟲屬於工具型別,由Microsoft Corporation.開發執行。您可以繼續閱讀下方資訊,以深入瞭解PWABuilder基本資訊,使用者代理和訪問控制等。
webzio
webzio蜘蛛/爬蟲屬於工具型別,由Webz.io Ltd.開發執行。您可以繼續閱讀下方資訊,以深入瞭解webzio基本資訊,使用者代理和訪問控制等。
globalping bot
globalping bot蜘蛛/爬蟲屬於工具型別,由globalping.io開發執行。您可以繼續閱讀下方資訊,以深入瞭解globalping bot基本資訊,使用者代理和訪問控制等。
Googlebot
GoogleBot蜘蛛/爬蟲屬於搜尋引擎型別,由Google Inc.開發執行。您可以繼續閱讀下方資訊,以深入瞭解GoogleBot基本資訊,使用者代理和訪問控制等。

相關文章

Related Articles