顶级人工智能专家眼中的深度学习未来发展

深度学习是目前众多应用中最有效的人工智能技术。然而，对于深度学习能够变得多么有能力，仍然存在不同的意见。虽然像杰弗里-辛顿这样的深度学习研究者认为，所有的问题都可以用深度学习来解决，但也有许多科学家指出了深度学习中补救措施不明确的缺陷。

随着公众以及开发者和研究团体对深度学习的兴趣越来越大，该领域可能会出现突破性进展。最近的图灵奖得主等专家期望这种突破来自于胶囊网络、深度强化学习和其他补充深度学习目前局限性的方法等领域。对于详细的答案：

对深度学习的兴趣程度如何？

普通公众

对深度学习的兴趣正在持续增加。产生这种兴趣的原因包括深度学习的能力

• 提高预测的准确性，实现改进的数据驱动决策
• 从非结构化和无标签的数据集中学习，实现对非结构化数据的分析

由于这些，深度学习解决方案为公司提供了运营和财务利益。2012年，后来的图灵奖获得者乔治-辛顿的团队证明，深度学习可以在图像识别等常见的人工智能任务中提供显著的准确性优势。在这之后，公司开始投资于深度学习，对该领域的兴趣也呈爆炸式增长。自2017年以来，对深度学习的兴趣似乎很稳定。

一个短语在搜索引擎上被搜索的次数是其受欢迎程度的代表。你可以看到下面 “deep learning” 在谷歌上被搜索的频率。

图1：2015年以来，谷歌搜索对深度学习的兴趣一直在增加。（Source: Google Trends）

研究社区

ArXiv上的深度学习出版物的数量在过去五年中增加了近6倍，根据AI Index，它为开发AI应用提供了全球来源的数据，ArXiv是一个物理学、数学、计算机科学等科学文章的开放获取平台。它包括同行评议的和非同行评议的文章。

图2：关于深度学习的出版物急剧增加。（Source: AI Index）

开发者社区

TensorFlow和Keras是最受欢迎的深度学习开源库。其他流行的库有PyTorch、Sckit-learn、BVL/caffe、MXNet和微软认知工具包（CNTK）。这些开源平台帮助开发者轻松构建深度学习模型。从下面可以看出，Facebook在2016年发布的PyTorch也在迅速流行起来。

图3：2014年以来Github最受欢迎的开源库（Source: AI Index）

用于深度学习的开源库一般用JavaScript、Python、C++和Scala编写。

能够塑造深度学习的技术有哪些？

深度学习是人工智能中一个快速增长的领域。由于其关于数据规模和多样性的挑战，像杰弗里-辛顿（Geoffrey Hinton）、约书亚-本吉奥（Yoshua Bengio）、因其在深度学习方面的工作而获得5个图灵奖的扬-勒昆（Yann LeCun）和加里-马库斯（Gary Marcus）等人工智能专家提出新方法来改进深度学习解决方案。这些方法包括将推理或先验知识引入深度学习、自我监督学习、胶囊网络等。

为深度学习引入基于非学习的AI方法

Gary Marcus，深度学习的先驱之一，强调深度学习技术是数据饥渴的、浅薄的、脆性的，并且其概括能力有限。

Gary Marcus指出，深度学习的未来有四种可能性：

• 无监督的学习：如果系统能够确定自己的目标，在更抽象的层面上进行推理和解决问题，就可以实现巨大的改进。
• 符号操作和混合模型的需要：将深度学习与擅长推理和抽象的符号系统相结合，可以提供更好的结果。
• 认知和发展心理学的更多洞察力：更好地理解人类头脑中的先天机制，获得常识性知识和人类对叙述的理解，对开发学习模型很有价值。
• 更大胆的挑战：广义的人工智能可以像自然智能一样是多维的，以处理世界的复杂性。

他提出了一个四步方案：

• 混合神经-符号架构：Gary称，我们应该接受其他的人工智能方法，如先验知识、推理和丰富的认知模型以及深度学习，以实现变革性变化
• 构建丰富的、部分先验的认知框架和大规模知识数据库
• 用于有效概括的抽象推理的工具
• 表示和归纳认知模型的机制

图4：系统的供应商图（Source:ArXiv）

关于Gary Marcus的更多想法，请随时阅读他的文章：《深度学习： 从2018年开始的批判性评价》和《人工智能的下一个十年：从2020年开始迈向强大的人工智能的四个步骤》。

胶囊网络

胶囊网络（CapsNets）是Geoffrey Hinton和他的团队在2017年推出的一种新的深度神经网络架构。囊式网络利用向量工作，并对输入进行计算。他们将其结果封装成一个矢量。因此，当图像的方向改变时，矢量就会被移动。杰弗里-辛顿认为，CNNs识别物体的方法与人类的感知非常不同。CNNs需要改进，以处理一些问题，如旋转和缩放，而胶囊网络可以帮助深度学习架构中更好地泛化。

深度强化学习算法

深度强化学习是强化学习和深度学习的结合。强化学习通常在结构化数据上工作。另一方面，深度强化学习在非结构化数据的基础上做出优化目标的决策。

深度强化学习模型可以学习最大化累积奖励。它适合于目标优化行动，如复杂的控制问题。Yann LeCun认为强化学习有利于模拟，但它需要大量的试验，并提供弱反馈。然而，与其他监督模型相比，强化学习模型不需要大量的数据集。

小样本学习（FLS）

小样本学习（FSL）是机器学习的一个子领域，它的优势在于能够使用少量的训练数据。小样本学习算法对于处理数据短缺和计算成本很有用。特别是，小样本学习模型可以在医疗卫生领域有益于检测训练数据中图像不足的罕见疾病。随着新的研究和发展，小样本学习模型有可能加强深度学习模型。

基于GAN的数据增强

生成对抗网络（GANs）在数据增强应用中很受欢迎，它们可以通过使用无标签的原始数据创造有意义的新数据。它们在这些步骤中工作：

• 深度学习模型使用基于GANs的数据增强来生成合成数据
• 这个合成数据被用作训练数据

一项关于昆虫害虫分类的研究表明，基于GAN的增强方法可以帮助CNNs

• 与传统的增强方法相比表现更好
• 减少数据收集的需要。

自我监督的学习

Yann LeCun认为，自我监督学习模型将是深度学习模型的一个关键组成部分。了解人们是如何快速学习的，可以充分利用自我监督学习的潜力，减少深度学习对大型、有注释的训练数据集的依赖。自监督学习模型可以在没有标记数据的情况下工作，如果他们有高质量的数据和可能场景的输入，就可以做出预测。

其他方法

模仿学习：如果强化学习模型中的奖励很少，模仿学习被用作一种替代方法。代理人可以通过模仿监督者的示范，包括观察和行动来学习执行任务。它也被称为从示范中学习或学徒学习。

物理学指导的/知情的机器学习：物理规律被整合到训练过程中，以诱导深度学习模型的可解释性并提高预测的准确性。

迁移学习，用于帮助机器将知识从一个领域迁移到另一个领域。

其他： 运动学习和大脑区域，如皮质和皮质下神经回路，可能是机器学习模型的新灵感领域。

如果你想阅读更多关于深度学习的内容，请查看我们关于深度学习用例的文章。