什麼是自然語言理解（NLU）

理解語音或語境是一個需要解決的問題，以獲得更有能力的對話式人工智慧解決方案。自然語言理解（NLU）是一個專注於理解文字或語音的含義以做出更好反應的領域。它搜尋的是該語音的含義和目的是什麼。

NLU是意圖識別背後的技術，使企業能夠建立高效的聊天機器人。為了幫助大家提高其聊天機器人投資成功的可能性，我們在本文中討論了與NLU相關的問題。

什麼是自然語言理解？

NLU是自然語言處理（NLP）和對話式人工智慧的一個子集，幫助對話式人工智慧應用確定使用者的目的，並將他們引導到相關的解決方案。

NLU是一個由人工智慧驅動的解決方案，用於識別人類語言中的模式。它使對話式人工智慧解決方案能夠準確識別使用者的意圖，並對其作出迴應。當涉及到對話式人工智慧時，關鍵點在於理解使用者在語音和書面語言中所說或想說的話。

NLU通過分別理解、分析和解釋基本語音部分，幫助計算機理解人類語言。

Source: Stanford

今天，在不同領域有許多NLU的應用。一些例子是：

• 聊天機器人
• 語音助手
• 自然語言的搜尋： 這是一種使用日常口語進行的資訊搜尋。
• 網路規模的資訊提取： 這是一個挑戰，要在網路上的巨大資料中找到最合適的資訊。
• 法律發現： 在自然語言中搜尋政策和法律。
• 內容總結

選擇NLU解決方案時應注意的5個問題

1. 語言支援：

NLU平臺應該支援輸入資料的語言。目前，由於一些非英語語言的商業潛力較小，因此這些語言的NLU的質量較低。然而，隨著研究興趣的增加，這種情況正在改變。

2. 結果質量：

一個好的NLU解決方案應該能夠識別語言實體，提取它們之間的關係，並使用語義軟體來理解內容，無論它是如何表達的。一般來說，理解語音的上下文與以下幾點有關：

計算能力：

NLU模型的能力越大，它們在預測語音語境方面就越好。事實上，推動具有較大模型訓練規模的ai晶片裝置發展的因素之一就是NLU模型的計算能力提高和有效性之間的關係（如GPT-3）。

訓練資料集：

一般來說，ML模型通過經驗學習。因此，他們的預測能力會隨著接觸更多的資料而提高。同樣的推理也用於NLU。

資料質量：

原始資料在經過清理、組織和標記後，對NLU模型是有價值的。

3. 速度：

在對話式人工智慧應用中，理解語言是過程的一部分。其他部分包括根據查詢生成響應或採取行動。因此，感知和解釋語言的過程應該快速完成。然而，在結果的質量與計算的速度之間可能會有一個權衡。應根據應用領域做出選擇。

4. 靈活性：

對不同解決方案領域的適應性是很重要的。這可以通過NLU解決方案的訓練和持續學習能力來實現。

5. 可用性：

該解決方案應該便於非技術員工和技術員工使用。一個具有不同介面的解決方案可以考慮讓非技術員工（例如客服人員）通過反饋來積極開發這個系統。

為什麼它現在很重要？

自然語言處理在今天很重要的主要原因可以通過以下幾點來解釋：

NLU可以作為一種工具，支援對非結構化文字的分析。

人們有各種不同的表達方式，有時這可能因人而異。特別是對於個人助理的成功，重要的一點是對使用者的正確理解。NLU將語言的複雜結構轉化為機器可讀的結構。這使得文字分析成為可能，並使機器能夠對人類的查詢作出迴應。

需要分析的非結構化文字的數量正在增加

計算機可以以一致和無偏見的方式為24/7進行基於語言的分析。考慮到每天產生的原始資料量，NLU以及NLP對於有效分析這些資料至關重要。一個開發良好的基於NLU的應用程式可以閱讀、聆聽和分析這些資料。

行業分析師也看到了NLU和NLP的巨大增長潛力

分析師估計2020-2025年期間的年複合增長率>20%。根據Markets Insider在2019年的研究，預計到2025年，全球自然語言處理（NLP）市場價值將達到350億美元，2020-2025年期間的年複合增長率將達到創紀錄的22%。增長的主要根本原因是從以產品為中心轉向以客戶為中心的體驗。對智慧裝置和物聯網的需求不斷增加，也促進了NLU的廣泛使用。

例如，Gartner最近的一份報告指出了NLU在醫療保健方面的重要性。NLU通過改善決策支援系統和對病人結果的測量，有助於提高臨床護理的質量。

如何評估NLU解決方案的準確性？

NLU模型可以在單一和特定的任務上表現完美。然而，不同的任務會降低準確性和精確度。最好是通過使用客觀指標來比較不同解決方案的效能。

例如，可以通過使用客戶服務資料建立一個有大量例項（例如>100）的測試集，以比較不同的服務，從而建立一個基準。由於大多數服務都是以易於註冊的API的形式提供的，所以對照API響應來檢查應該是很容易的。

這裡有一篇由人工智慧語音平臺SnipsAI撰寫的基準文章，比較了不同對話式人工智慧供應商的F1分數，這是衡量準確性的標準。

SnipsAI通過使用他們在Github上的開源資料集，將他們的系統與谷歌的API.ai、Facebook的Wit.ai、微軟的Luis.ai和亞馬遜的Alexa進行比較。該資料集包括他們測試的7種使用者意圖中的每一種的2400次查詢。

GLUE及其優越的SuperGLUE是最廣泛使用的基準，用於評估模型在一系列任務上的表現，而不是單一的任務，以保持對NLU效能的總體看法。它們由九個句子或句子對的語言理解任務、相似性和轉述任務以及推理任務組成。GLUE還提供了一個基準的排行榜。

有哪些領先的NLU公司？

和許多新興領域一樣，技術巨頭也在NLU中佔據了重要地位。一些初創公司以及開源API也是生態系統的一部分。

• Haptik：知識庫、AI推薦和智慧變體
• Microsoft ：知識探索服務、語言理解智慧服務（LUIS）和Azure翻譯器API
• Google：對話流、翻譯API和雲自然語言API
• IBM：Watson對話服務和Watson Tone Analyzer
• Amazon：Comprehend和Lex

開放原始碼的替代方案包括：

• Facebook’s Wit.ai
• Rasa NLU
• FuzzyWuzzy
• PyNLPl
• Stanford CoreNLP