什么是自然语言理解（NLU）

理解语音或语境是一个需要解决的问题，以获得更有能力的对话式人工智能解决方案。自然语言理解（NLU）是一个专注于理解文本或语音的含义以做出更好反应的领域。它搜索的是该语音的含义和目的是什么。

NLU是意图识别背后的技术，使企业能够建立高效的聊天机器人。为了帮助大家提高其聊天机器人投资成功的可能性，我们在本文中讨论了与NLU相关的问题。

什么是自然语言理解？

NLU是自然语言处理（NLP）和对话式人工智能的一个子集，帮助对话式人工智能应用确定用户的目的，并将他们引导到相关的解决方案。

NLU是一个由人工智能驱动的解决方案，用于识别人类语言中的模式。它使对话式人工智能解决方案能够准确识别用户的意图，并对其作出回应。当涉及到对话式人工智能时，关键点在于理解用户在语音和书面语言中所说或想说的话。

NLU通过分别理解、分析和解释基本语音部分，帮助计算机理解人类语言。

Source: Stanford

今天，在不同领域有许多NLU的应用。一些例子是：

• 聊天机器人
• 语音助手
• 自然语言的搜索： 这是一种使用日常口语进行的信息搜索。
• 网络规模的信息提取： 这是一个挑战，要在网络上的巨大数据中找到最合适的信息。
• 法律发现： 在自然语言中搜索政策和法律。
• 内容总结

选择NLU解决方案时应注意的5个问题

1. 语言支持：

NLU平台应该支持输入数据的语言。目前，由于一些非英语语言的商业潜力较小，因此这些语言的NLU的质量较低。然而，随着研究兴趣的增加，这种情况正在改变。

2. 结果质量：

一个好的NLU解决方案应该能够识别语言实体，提取它们之间的关系，并使用语义软件来理解内容，无论它是如何表达的。一般来说，理解语音的上下文与以下几点有关：

计算能力：

NLU模型的能力越大，它们在预测语音语境方面就越好。事实上，推动具有较大模型训练规模的ai芯片设备发展的因素之一就是NLU模型的计算能力提高和有效性之间的关系（如GPT-3）。

训练数据集：

一般来说，ML模型通过经验学习。因此，他们的预测能力会随着接触更多的数据而提高。同样的推理也用于NLU。

数据质量：

原始数据在经过清理、组织和标记后，对NLU模型是有价值的。

3. 速度：

在对话式人工智能应用中，理解语言是过程的一部分。其他部分包括根据查询生成响应或采取行动。因此，感知和解释语言的过程应该快速完成。然而，在结果的质量与计算的速度之间可能会有一个权衡。应根据应用领域做出选择。

4. 灵活性：

对不同解决方案领域的适应性是很重要的。这可以通过NLU解决方案的训练和持续学习能力来实现。

5. 可用性：

该解决方案应该便于非技术员工和技术员工使用。一个具有不同界面的解决方案可以考虑让非技术员工（例如客服人员）通过反馈来积极开发这个系统。

为什么它现在很重要？

自然语言处理在今天很重要的主要原因可以通过以下几点来解释：

NLU可以作为一种工具，支持对非结构化文本的分析。

人们有各种不同的表达方式，有时这可能因人而异。特别是对于个人助理的成功，重要的一点是对用户的正确理解。NLU将语言的复杂结构转化为机器可读的结构。这使得文本分析成为可能，并使机器能够对人类的查询作出回应。

需要分析的非结构化文本的数量正在增加

计算机可以以一致和无偏见的方式为24/7进行基于语言的分析。考虑到每天产生的原始数据量，NLU以及NLP对于有效分析这些数据至关重要。一个开发良好的基于NLU的应用程序可以阅读、聆听和分析这些数据。

行业分析师也看到了NLU和NLP的巨大增长潜力

分析师估计2020-2025年期间的年复合增长率>20%。根据Markets Insider在2019年的研究，预计到2025年，全球自然语言处理（NLP）市场价值将达到350亿美元，2020-2025年期间的年复合增长率将达到创纪录的22%。增长的主要根本原因是从以产品为中心转向以客户为中心的体验。对智能设备和物联网的需求不断增加，也促进了NLU的广泛使用。

例如，Gartner最近的一份报告指出了NLU在医疗保健方面的重要性。NLU通过改善决策支持系统和对病人结果的测量，有助于提高临床护理的质量。

如何评估NLU解决方案的准确性？

NLU模型可以在单一和特定的任务上表现完美。然而，不同的任务会降低准确性和精确度。最好是通过使用客观指标来比较不同解决方案的性能。

例如，可以通过使用客户服务数据建立一个有大量实例（例如>100）的测试集，以比较不同的服务，从而建立一个基准。由于大多数服务都是以易于注册的API的形式提供的，所以对照API响应来检查应该是很容易的。

这里有一篇由人工智能语音平台SnipsAI撰写的基准文章，比较了不同对话式人工智能供应商的F1分数，这是衡量准确性的标准。

SnipsAI通过使用他们在Github上的开源数据集，将他们的系统与谷歌的API.ai、Facebook的Wit.ai、微软的Luis.ai和亚马逊的Alexa进行比较。该数据集包括他们测试的7种用户意图中的每一种的2400次查询。

GLUE及其优越的SuperGLUE是最广泛使用的基准，用于评估模型在一系列任务上的表现，而不是单一的任务，以保持对NLU性能的总体看法。它们由九个句子或句子对的语言理解任务、相似性和转述任务以及推理任务组成。GLUE还提供了一个基准的排行榜。

有哪些领先的NLU公司？

和许多新兴领域一样，技术巨头也在NLU中占据了重要地位。一些初创公司以及开源API也是生态系统的一部分。

• Haptik：知识库、AI推荐和智能变体
• Microsoft ：知识探索服务、语言理解智能服务（LUIS）和Azure翻译器API
• Google：对话流、翻译API和云自然语言API
• IBM：Watson对话服务和Watson Tone Analyzer
• Amazon：Comprehend和Lex

开放源码的替代方案包括：

• Facebook’s Wit.ai
• Rasa NLU
• FuzzyWuzzy
• PyNLPl
• Stanford CoreNLP