頂級人工智慧專家眼中的深度學習未來發展

深度學習是目前眾多應用中最有效的人工智慧技術。然而，對於深度學習能夠變得多麼有能力，仍然存在不同的意見。雖然像傑弗裡-辛頓這樣的深度學習研究者認為，所有的問題都可以用深度學習來解決，但也有許多科學家指出了深度學習中補救措施不明確的缺陷。

隨著公眾以及開發者和研究團體對深度學習的興趣越來越大，該領域可能會出現突破性進展。最近的圖靈獎得主等專家期望這種突破來自於膠囊網路、深度強化學習和其他補充深度學習目前侷限性的方法等領域。對於詳細的答案：

對深度學習的興趣程度如何？

普通公眾

對深度學習的興趣正在持續增加。產生這種興趣的原因包括深度學習的能力

• 提高預測的準確性，實現改進的資料驅動決策
• 從非結構化和無標籤的資料集中學習，實現對非結構化資料的分析

由於這些，深度學習解決方案為公司提供了運營和財務利益。2012年，後來的圖靈獎獲得者喬治-辛頓的團隊證明，深度學習可以在影象識別等常見的人工智慧任務中提供顯著的準確性優勢。在這之後，公司開始投資於深度學習，對該領域的興趣也呈爆炸式增長。自2017年以來，對深度學習的興趣似乎很穩定。

一個短語在搜尋引擎上被搜尋的次數是其受歡迎程度的代表。你可以看到下面 “deep learning” 在谷歌上被搜尋的頻率。

圖1：2015年以來，谷歌搜尋對深度學習的興趣一直在增加。（Source: Google Trends）

研究社羣

ArXiv上的深度學習出版物的數量在過去五年中增加了近6倍，根據AI Index，它為開發AI應用提供了全球來源的資料，ArXiv是一個物理學、數學、電腦科學等科學文章的開放獲取平臺。它包括同行評議的和非同行評議的文章。

圖2：關於深度學習的出版物急劇增加。（Source: AI Index）

開發者社羣

TensorFlow和Keras是最受歡迎的深度學習開源庫。其他流行的庫有PyTorch、Sckit-learn、BVL/caffe、MXNet和微軟認知工具包（CNTK）。這些開源平臺幫助開發者輕鬆構建深度學習模型。從下面可以看出，Facebook在2016年釋出的PyTorch也在迅速流行起來。

圖3：2014年以來Github最受歡迎的開源庫（Source: AI Index）

用於深度學習的開源庫一般用JavaScript、Python、C++和Scala編寫。

能夠塑造深度學習的技術有哪些？

深度學習是人工智慧中一個快速增長的領域。由於其關於資料規模和多樣性的挑戰，像傑弗裡-辛頓（Geoffrey Hinton）、約書亞-本吉奧（Yoshua Bengio）、因其在深度學習方面的工作而獲得5個圖靈獎的揚-勒昆（Yann LeCun）和加里-馬庫斯（Gary Marcus）等人工智慧專家提出新方法來改進深度學習解決方案。這些方法包括將推理或先驗知識引入深度學習、自我監督學習、膠囊網路等。

為深度學習引入基於非學習的AI方法

Gary Marcus，深度學習的先驅之一，強調深度學習技術是資料飢渴的、淺薄的、脆性的，並且其概括能力有限。

Gary Marcus指出，深度學習的未來有四種可能性：

• 無監督的學習：如果系統能夠確定自己的目標，在更抽象的層面上進行推理和解決問題，就可以實現巨大的改進。
• 符號操作和混合模型的需要：將深度學習與擅長推理和抽象的符號系統相結合，可以提供更好的結果。
• 認知和發展心理學的更多洞察力：更好地理解人類頭腦中的先天機制，獲得常識性知識和人類對敘述的理解，對開發學習模型很有價值。
• 更大膽的挑戰：廣義的人工智慧可以像自然智慧一樣是多維的，以處理世界的複雜性。

他提出了一個四步方案：

• 混合神經-符號架構：Gary稱，我們應該接受其他的人工智慧方法，如先驗知識、推理和豐富的認知模型以及深度學習，以實現變革性變化
• 構建豐富的、部分先驗的認知框架和大規模知識資料庫
• 用於有效概括的抽象推理的工具
• 表示和歸納認知模型的機制

圖4：系統的供應商圖（Source:ArXiv）

關於Gary Marcus的更多想法，請隨時閱讀他的文章：《深度學習： 從2018年開始的批判性評價》和《人工智慧的下一個十年：從2020年開始邁向強大的人工智慧的四個步驟》。

膠囊網路

膠囊網路（CapsNets）是Geoffrey Hinton和他的團隊在2017年推出的一種新的深度神經網路架構。囊式網路利用向量工作，並對輸入進行計算。他們將其結果封裝成一個向量。因此，當影象的方向改變時，向量就會被移動。傑弗裡-辛頓認為，CNNs識別物體的方法與人類的感知非常不同。CNNs需要改進，以處理一些問題，如旋轉和縮放，而膠囊網路可以幫助深度學習架構中更好地泛化。

深度強化學習演算法

深度強化學習是強化學習和深度學習的結合。強化學習通常在結構化資料上工作。另一方面，深度強化學習在非結構化資料的基礎上做出優化目標的決策。

深度強化學習模型可以學習最大化累積獎勵。它適合於目標優化行動，如複雜的控制問題。Yann LeCun認為強化學習有利於模擬，但它需要大量的試驗，並提供弱反饋。然而，與其他監督模型相比，強化學習模型不需要大量的資料集。

小樣本學習（FLS）

小樣本學習（FSL）是機器學習的一個子領域，它的優勢在於能夠使用少量的訓練資料。小樣本學習演算法對於處理資料短缺和計算成本很有用。特別是，小樣本學習模型可以在醫療衛生領域有益於檢測訓練資料中影象不足的罕見疾病。隨著新的研究和發展，小樣本學習模型有可能加強深度學習模型。

基於GAN的資料增強

生成對抗網路（GANs）在資料增強應用中很受歡迎，它們可以通過使用無標籤的原始資料創造有意義的新資料。它們在這些步驟中工作：

• 深度學習模型使用基於GANs的資料增強來生成合成資料
• 這個合成資料被用作訓練資料

一項關於昆蟲害蟲分類的研究表明，基於GAN的增強方法可以幫助CNNs

• 與傳統的增強方法相比表現更好
• 減少資料收集的需要。

自我監督的學習

Yann LeCun認為，自我監督學習模型將是深度學習模型的一個關鍵組成部分。瞭解人們是如何快速學習的，可以充分利用自我監督學習的潛力，減少深度學習對大型、有註釋的訓練資料集的依賴。自監督學習模型可以在沒有標記資料的情況下工作，如果他們有高質量的資料和可能場景的輸入，就可以做出預測。

其他方法

模仿學習：如果強化學習模型中的獎勵很少，模仿學習被用作一種替代方法。代理人可以通過模仿監督者的示範，包括觀察和行動來學習執行任務。它也被稱為從示範中學習或學徒學習。

物理學指導的/知情的機器學習：物理規律被整合到訓練過程中，以誘導深度學習模型的可解釋性並提高預測的準確性。

遷移學習，用於幫助機器將知識從一個領域遷移到另一個領域。

其他： 運動學習和大腦區域，如皮質和皮質下神經迴路，可能是機器學習模型的新靈感領域。

如果你想閱讀更多關於深度學習的內容，請檢視我們關於深度學習用例的文章。