是否攔截CorpusCrawler？

對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的，也可能是壞的，這取決於它是什麼。所以說，這需要站長進一步分析判斷這些尚不明確的爬蟲行為，再作最終決定。 但，根據以往的經驗，未宣告行為目的及未命名的蜘蛛爬蟲，通常都有不可告人的祕密，我們理應對其行為進行控制，比如攔截。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 CorpusCrawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: CorpusCrawler
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

NLP中心的體例

• ske.fi.muni.cz 提供:
  • 訪問Masaryk大學NLP中心的所有語料庫。
    訪問英語Clueweb集合–一個超過820億個符號的文字語料庫。
• 為馬薩里克大學的員工和學生提供Sketch引擎
• NLP中心（正在）開發的語料庫:
  

  語料庫（lang）	數以百萬計的tokens
  NEW: English (ClueWeb09)1	82,581
  Russian	20,162
  English	12,968
  French	12,369
  Japanese	11,113
  Polish	9,567
  Spanish (American)	8,719
  Arabic	6,637
  Czech	5,818
  Turkish	4,125
  Hungarian	3,184
  Italian	3,077
  German	2,844
  Spanish (European)	2,459
  Chinese	2,107
  Portuguese (European)	948
  Slovak	876
  Bulgarian	849
  Norwegian	770
  Korean	561
  czes (Czech)	465
  Estonian	324
  Kazakh	139
  Azerbaijani	115
  Tajik	52
  Uzbek	25
  Kyrgyz	24
  Turkmen	2
  DESAM (Czech)	1

• 與Lexical Computing Ltd.合作開發的軟體:
  • Sketch Engine，一個強大的文字語料庫和語言分析軟體的語料庫管理系統
  • NoSketch Engine – 沒有Word Sketches的免費版Sketch Engine
  • 用於html/text處理的語料庫工具，如編碼檢測、去除模板、去重、標記化等
  • 網路爬蟲SpiderLing
• NLP中心的語料庫相關專案：
  • 語料庫模式分析
    TIL語料庫–透明擴充套件邏輯公式的語料庫
  • Kapradí

如有必要，請聯絡 corpadm@aurora.fi.muni.cz