大型語言模型（LLMs）是什麼及應用、優勢和挑戰

近幾個月來，大型語言模型（LLMs）引起了很多人的熱議（見圖1）。這種需求導致了利用語言模型的網站和解決方案的不斷髮展。ChatGPT在2023年1月創下了使用者群增長最快的記錄，證明了語言模型將繼續存在。谷歌對ChatGPT的回答Bard是在2023年2月推出的，這也說明了這一點。

圖1：”大型語言模型 “的搜尋量

語言模型也為企業帶來了新的可能性，因為它們可以：

• 實現流程自動化
• 節省時間和金錢
• 推動個性化
• 提高任務的準確性

然而，大型語言模型是電腦科學的一個新發展。正因為如此，許多人可能不瞭解這種模型的最新情況。我們寫這篇文章是為了讓好奇的人們瞭解大型語言模型：

• 定義
• 例項
• 使用案例
• 訓練
• 效益
• 挑戰

什麼是大型語言模型？

圖2：基礎模型（來源: ArXiv）

大型語言模型（LLMs）是在自然語言處理（NLP）和自然語言生成（NLG）任務中利用深度學習的基礎模型。為了幫助它們學習語言的複雜性和聯絡，大型語言模型在大量的資料上進行了預訓練。使用的技術，如：

• 微調
• 語境中學習
• 零/一/few-shot學習

這些模型可以適用於下游（特定）任務（見圖2）。

LLM本質上是一個基於Transformer的神經網路，由谷歌工程師在2017年一篇題為 “Attention is All You Need “的文章中介紹。一個模型的先進性和效能可以通過它有多少個引數來判斷。一個模型的引數是它在生成輸出時考慮的因素數量。

大型語言模型例項

有許多開源的語言模型可以在內部或私有云中部署，這意味著快速的業務採用和強大的網路安全。這類的一些大型語言模型有：

• BLOOM
• NeMO LLM
• XLM-RoBERTa
• XLNet
• Cohere
• GLM-130B

大多數領先的語言模型開發者都是美國人，但中國和歐洲也有成功的例子，因為他們正在努力追趕生成式人工智慧。

你可以檢視我們關於大型語言模型例項的文章，瞭解更多資訊。

語言模型的用例有哪些？

大型語言模型可以應用於各種用例和行業，包括醫療、零售、科技等等。以下是所有行業都存在的用例：

• 文字總結
• 文字生成
• 情感分析
• 內容創作
• 聊天機器人、虛擬助手和對話式人工智慧
• 命名實體識別
• 語音識別和合成
• 影象註解
• 文字到語音的合成
• 拼寫糾正
• 機器翻譯
• 推薦系統
• 欺詐行為檢測
• 程式碼生成

大型語言模型是如何訓練的

大型語言模型是深度學習神經網路，是人工智慧和機器學習的一個子集。大型語言模型首先被預訓練，以便它們學習基本的語言任務和功能。預訓練是需要大量計算能力和尖端硬體的步驟。

圖2：預訓練與微調

圖3：預訓練與微調（來源: medium.com）

一旦模型經過預訓練，就可以用特定任務的新資料對其進行訓練，為特定的使用案例進行微調。微調方法具有很高的計算效率，因為它需要更少的資料和功率，使其成為一種更便宜的方法（見圖3）。

更多資訊，請檢視我們的 “大型語言模型訓練 “文章。

大型語言模型的4個優勢

1- 減少人工勞動和成本

語言模型可用於實現許多過程的自動化，例如：

• 情感分析
• 顧客服務
• 內容創作
• 欺詐檢測
• 預測和分類

這類任務的自動化導致了人工勞動和相關成本的減少。

2- 提高可用性、個性化和客戶滿意度

許多客戶希望企業能夠全天候提供服務，這可以通過利用語言模型的聊天機器人和虛擬助理來實現。通過自動化的內容建立，語言模型可以通過處理大量的資料來了解客戶的行為和偏好，從而推動個性化的發展。客戶滿意度和積極的品牌關係將隨著可用性和個性化的服務而增加。

3- 節省時間

語言模型系統可以使營銷、銷售、人力資源和客戶服務的許多過程自動化。例如，語言模型可以幫助進行資料輸入、客戶服務和檔案建立，使員工騰出時間從事需要人類專業知識的更重要的工作。

語言模型可以為企業節省時間的另一個領域是對大量資料的分析。有了處理大量資訊的能力，企業可以迅速從複雜的資料集中提取洞察力，並做出明智的決定。這可以提高運營效率，更快地解決問題，並做出更明智的商業決策。

提高任務的準確性

大型語言模型能夠處理大量的資料，這導致預測和分類任務的準確性提高。這些模型利用這些資訊來學習模式和關係，這有助於它們做出更好的預測和分組。

例如，在情感分析中，大型語言模型可以分析數以千計的客戶評論，以瞭解每條評論背後的情感，從而提高確定客戶評論是正面的、負面的還是中性的準確性。這種準確性的提高在許多商業應用中是至關重要的，因為小的錯誤會產生重大影響。

語言模型的挑戰和限制

1- 可靠性和偏見

語言模型的能力受限於它們所訓練的文字訓練資料，這意味著它們對世界的認識是有限的。模型學習訓練資料中的關係，而這些關係可能包括：

• 虛假資訊
• 種族、性別和性的偏見
• 有毒的語言

當訓練資料沒有被檢查和標記時，語言模型已經被證明會做出種族主義或性別歧視的評論。

也有一些情況下，模型會呈現虛假資訊。

2- 語境視窗

每個大型語言模型只有一定的記憶體，所以它只能接受一定數量的令牌作為輸入。例如，ChatGPT的限制是2048個令牌（大約1500個詞），這意味著ChatGPT無法對輸入進行理解，也無法為超過2048個令牌限制的輸入生成輸出。

3- 系統成本

開發大型語言模型需要大量投資，包括計算機系統、人力資本（工程師、研究人員、科學家等）和電力。由於是資源密集型，使得大型語言模型的開發只適用於擁有巨大資源的巨大企業。據估計，英偉達和微軟的Megatron-Turing，專案總成本接近1億美元。

4- 環境影響

Megatron-Turing是用數百臺NVIDIA DGX A100多GPU伺服器開發的，每臺伺服器的耗電量高達6.5千瓦。伴隨著大量的電力來冷卻這個巨大的框架，這些模型需要大量的電力，並留下了大量的碳足跡。

根據一項研究，在GPU上訓練BERT（谷歌的LLM）大致相當於一次跨美國的飛行。

1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017, December 6). “Attention is All You Need“. arXiv.org. Retrieved February 10, 2023, from https://arxiv.org/abs/1706.03762
2. Simon, J. (October 26, 2021). “Large Language Models: A New Moore’s Law?“. Hugging Face – The AI community building the future. Retrieved February 10, 2023, from https://huggingface.co/blog/large-language-models
3. Strubell, E., Ganesh, A., & McCallum, A. (2019, June 5). “Energy and Policy Considerations for Deep Learning in NLP“. arXiv.org. Retrieved February 10, 2023, from https://arxiv.org/abs/1906.02243