自然語言處理（NLP）是應用程式自動糾正我們的查詢或完成我們的一些句子的原因，它是對話式人工智慧應用程式的核心，如聊天機器人、虛擬助手和谷歌的新LaMDA。
2018年，全球自然語言處理（NLP）市場估計約為50億美元，預計2025年將達到約430億美元，收入增長近8.5倍。這種增長是由深度學習的持續發展，以及當今幾乎每個行業的眾多應用和用例所引領的。
在這篇文章中，我們為商業專業人士提供了一份完整的NLP指南，幫助他們瞭解技術，並通過強調使用案例指出一些可能的投資機會。
什麼是自然語言處理？
自然語言處理（NLP）是一種人工智慧技術，它使機器能夠理解文字或語音形式的人類語音，以便與人類交流我們自己的自然語言。
NLP的第一塊基石是由阿蘭-圖靈在20世紀50年代確定的，他提出，如果一臺機器能夠成為與人類對話的一部分，它將被認為是一臺 “有思想 “的機器。
不久之後，不同的應用出現了，如1966年的ELIZA，它是第一個使用模式匹配和反應選擇模仿心理治療師的醫療聊天機器人。
後來在1971年，美國國防部高階研究計劃局（DARPA）將NLP用於Robust Automatic Transcription of Speech（RATS），以執行與通過極其嘈雜和/或高度扭曲的通訊渠道收到的含語音訊號有關的任務。
像這樣的應用激發了語言學和電腦科學領域的合作，創造了我們今天所知的人工智慧中的自然語言處理子領域。
NLP如何工作？
一般來說，NLP技術包括4個主要步驟：
- 詞彙分析： 將一個句子分割成被稱為 “標記” 的詞或小單元的過程，以確定它的含義和它與整個句子的關係。
- 句法分析： 識別一個句子中不同的詞和短語之間的關係，規範它們的結構，並以層次結構來表達這些關係的過程。
- 語義分析： 將句法結構，從短語、分句、句子和段落的層次到整個寫作的層次，與它們的語言無關的含義聯絡起來的過程。
- 輸出轉換： 在對文字或語音進行語義分析的基礎上，生成符合應用目標的輸出的過程。
根據NLP的應用，輸出將是一個翻譯或完成一個句子，一個語法糾正，或基於規則或訓練資料生成的反應。
在現代NLP應用中，深度學習在過去幾年中得到了廣泛的應用。例如，谷歌翻譯在2016年採用了著名的深度學習，導致其結果的準確性有了很大進步。
NLP的五大使用案例是什麼？
NLP使計算機能夠理解和生成人類的語音，因此它有許多應用。以下是自然語言處理的一些頂級用例：
1. 語法/拼寫檢查
最早的語法檢查工具（如Writer’s Workbench）旨在檢測標點符號錯誤和風格錯誤。NLP和機器學習的發展使人們能夠更準確地檢測語法錯誤，如句子結構、拼寫、句法、標點符號和語義錯誤。
語法檢查是通過3種方法完成的：
- 基於規則： 這種方法依靠語言學專家設計準確的規則來拆分文字，分配語篇（PoS）標籤，並根據 “匹配” 規則進行檢查，以識別錯誤。
- 基於機器學習： 這種方法依賴於在大型資料集上訓練的有監督的機器學習演算法，使其能夠對一個句子進行統計分析，並根據以前的例子來檢測錯誤。
- 混合：這種方法是規則和機器學習技術的結合，以提高系統的效能。它通常利用規則來處理標準的語法錯誤（如 “a” 或 “an” 的用法）和ML來對句子進行語義分析。
2. 翻譯
現代翻譯應用可以利用基於規則和ML技術。基於規則的技術使字與字之間的翻譯很像字典。
另一方面，ML通過理解輸入句子的整體含義，增強句子或段落的整體翻譯，生成字對字的翻譯，並根據訓練資料調整輸出以產生準確的翻譯。
3. 聊天機器人
聊天機器人是一種軟體，它使人類能夠與機器互動，提出問題，並以自然對話的方式獲得迴應。
聊天機器人依靠NLP和意圖識別來理解使用者的查詢。根據聊天機器人的型別（如基於規則的、基於人工智慧的、混合型的），它們會根據理解的查詢來制定答案。
在5年的時間裡，人們對聊天機器人的興趣幾乎增加了5倍，由於其眾多的好處和在幾乎所有行業的多樣化應用，如酒店、銀行、房地產和零售業，它們的受歡迎程度一直在上升。
聊天機器人還可以整合其他人工智慧技術，如分析和觀察使用者講話的模式，以及影象或地圖等非對話功能，以提高使用者體驗。
4. 句子補全
在谷歌搜尋引擎中句子補全
我們日常使用的最流行的NLP應用之一是句子完成。這種應用將NLP與一些機器學習演算法結合起來，如：：
- 遞迴神經網路（RNN）： RNN演算法通常用於深度學習應用中。他們模擬人腦神經元連線的活動，這些神經元從複發性事件中學習。遞迴神經網路識別資料的順序和時間特徵，並使用模式和反饋迴路，以預測一個詞或句子的下一個可能情況。
- 潛在語義分析（LSA）： LSA演算法依賴於分析語音令牌之間的關係。該演算法將把一個句子或段落分成若干標記，在它們之間建立一個關係矩陣，以瞭解標記相互之間的出現模式，並根據分佈假設預測下一個句子，該假設指出： “意義相近的詞會出現在類似的文字中”。
更簡單的句子完成方法將依賴於有監督的機器學習演算法和大量的訓練資料集。然而，這些演算法將完全基於訓練資料來預測完成詞，而這些資料可能是有偏見的、不完整的或特定主題的。
最近的一個例子是OpenAI建立的GPT模型，它能夠創造出類似人類的文字完成，儘管沒有使用人類語音中的典型邏輯。
5. 資料分析
分析是指從結構化和非結構化資料中提取洞察力的過程，以便在商業或科學中做出資料驅動的決策。在其他人工智慧應用中，NLP正在使分析的能力成倍增長。NLP在資料分析中特別有用，因為它可以對使用者的文字或語音進行提取、分類和理解。
NLP的挑戰有哪些？
自然語言是困難的。即使作為人類，有時我們在解釋對方的句子或糾正我們的文字錯誤時也會發現困難。NLP面臨著不同的挑戰，使其應用容易出錯和失敗。
NLP的一些主要挑戰包括：
- 諷刺
- 句子的模糊性
- 俚語或街頭語言
- 特定領域的語言
- 訓練資料中的偏見
然而，隨著NLU、深度學習和社羣訓練資料的進步，這些挑戰如今正在得到解決，這些資料為演算法觀察現實生活中的文字和語音並從中學習創造了機會。
關於NLP的更多資訊
NLP是對話式人工智慧的基石。要了解更多關於對話式人工智慧的資訊，請隨時閱讀我們的深度文章：
評論留言