深入瞭解ChatGPT： 定義、主要用例和侷限性

OpenAI在2022年11月30日推出了ChatGPT。自其首次釋出以來，該語言模型就在網際網路上掀起了風暴（見圖1）。

儘管不同行業和背景的網民都在過度探索ChatGPT，但很少有人瞭解這個工具背後的技術、機制和潛力。在這篇文章中，我們將從各個維度介紹ChatGPT，比如它的：

• 訓練方法
• 功能方法
• 使用案例
• 侷限性

圖1. 與其他科技產品相比，ChatGPT的成功指標比較（Source: Chartr）

什麼是ChatGPT？

ChatGPT是一個由OpenAI開發的大型語言模型（LLM）。它基於GPT-3（生成性預訓練轉換器）架構，經過訓練可以生成類似人類的文字。LLM是一個專注於自然語言處理（NLP）的機器學習模型。

該模型在大量的文字資料集上進行預訓練，然後在特定的任務上進行微調，如：

• 語言翻譯
• 文字總結
• 程式碼除錯
• 問題回答，等等。

因為它是經過預訓練的，所以它可以生成比那些只在特定任務上進行微調的模型更自然、更流暢的文字。

語言模型有很高的準確度，允許它從一端看向另一端的對話，並得出看起來像人類的答案。這意味著它可以理解和迴應自然語言查詢，並像人類一樣有效地遵循它們。

ChatGPT定價

那麼，考慮到它的成功，ChatGPT是免費的嗎？

OpenAI表示，在研究審查期間，它是並且將繼續是免費的。你可以在chat.openai.com上試用它。

然而，OpenAI的聯合創始人Greg Brockman在他的twitter上宣佈，他們正在為專業人士開發ChatGPT的付費和高階版本。

ChatGPT是如何訓練的？

GPT 3.5是GPT-3的一個版本，也是ChatGPT背後的語言模型，在Azure AI超級計算基礎設施上進行訓練。

在人類培訓師的協助下，ChatGPT使用監督和強化學習方法進行了修改和改進。該學習包括3個步驟（見圖2）：

• 監督學習： 首先，給模型提供對話的例子，在這些對話中，人類同時扮演使用者和人工智慧助手的角色。
• 強化學習： 後來，人類培訓師評估了模型在以前的對話中產生的反應，並使用這種反饋來建立獎勵模型。
• 近端政策優化（PPO）： 最後，使用一種叫做PPO的技術在多次迭代中對模型進行進一步微調。

圖2. ChatGPT的學習過程（Source: OpenAI）

此外，語言模型GPT-3有近1700億個引數，並在570GB的文字上進行了訓練，超過了其他LLM（見圖3）。如此大的語言模型之所以能夠實現，要歸功於AI晶片允許更高的高效計算技能的能力。

圖3. 不同LLM使用的引數（Source: Towards Data Science）

ChatGPT是如何工作的？

ChatGPT的工作原理是使用一個預先訓練好的轉化器神經網路架構來生成文字。該模型是在一個大型的文字資料集上訓練的，該資料集被稱為普通爬行資料集，這使得它能夠學習人類書寫的文字的模式和結構。它的建立是為了預測一個句子中的下一個詞，因為有了前面的詞。

該模型包括一個編碼器和一個解碼器，前者負責接收輸入文字，後者負責生成輸出文字：

• 編碼器： 將輸入文字轉換為固定長度的向量表示，從而捕捉到輸入文字的含義。
• 解碼器： 使用這個向量表示來生成輸出文字，一次一個字。

在生成過程中，該模型使用一種注意力機制，使其在進行預測時能夠權衡輸入的不同部分。這有助於它生成更連貫、更符合語境的文字。

當模型為一個特定的任務進行微調時，它將在一個較小的資料集上進一步訓練，這個資料集是針對該任務的。例如，如果任務是語言翻譯，該模型將在一種語言的文字和另一種語言的翻譯的資料集上進行微調。這種微調過程允許模型學習特定任務的模式和結構，從而提高其在特定任務上的表現。

然而，重要的是要注意，模型理解和響應使用者輸入的能力受限於它所訓練的資料和它從這些資料中歸納的能力。如果使用者的輸入與模型看到的資料有太大的不同，它可能無法產生相關或準確的反應。

ChatGPT的6大用例

聊天機器人和虛擬助手

ChatGPT用於在對話背景下產生類似人類的反應，使其非常適合於建立客戶服務的聊天機器人和虛擬助理。

據《福布斯》報道，一些公司，如Meta、Canva和Shopify，已經在其客戶服務聊天機器人系統中使用了支援ChatGPT的技術。

語言翻譯

ChatGPT可以在特定的任務上進行微調，如語言翻譯，它可以被用來將一種語言翻譯成另一種語言。

文字總結

ChatGPT可以提供文字總結，它可以用來自動總結長的檔案或文章。在圖4中，你可以看到ChatGPT對名著《愛麗絲夢遊仙境》中一個章節進行總結的例子。

圖4. ChatGPT對《愛麗絲夢遊仙境》一書節選的總結（Source: ChatGPT by OpenAI）

內容生成

ChatGPT可以用來根據它從訓練過的資料中學習到的模式和關係來生成新的文字。這在以下應用中是很有用的：

• 內容創作，如新文章或部落格文章
• 創意寫作，如故事或詩歌
• 菜譜的形成
• 作業準備，等等。

程式碼除錯

ChatGPT可以用幾種不同的方式來進行程式碼除錯：

• 產生程式碼建議或通過提供有關錯誤和預期結果的背景來修復程式碼錯誤
• 給予程式碼的自然語言解釋，這可以幫助開發人員理解程式碼的工作原理並識別錯誤
• 建立測試用例，這可以幫助識別那些可能不是很明顯的bug

搜尋引擎

谷歌在搜尋引擎市場上擁有強大的、幾乎無可匹敵的優勢（見圖5）。儘管處於主導地位，但谷歌還是很擔心。根據《紐約時報》最近的一次採訪，據說由於ChatGPT有可能挑戰其作為搜尋引擎的主導地位和市場份額，谷歌的管理團隊處於高度警惕之中。

圖5. 2015年1月至2022年12月領先搜尋引擎的全球桌面市場份額（Source: Statista）

作為一個搜尋引擎，一種方法是將ChatGPT作為一個對話式搜尋介面，使用者可以通過自然語言輸入與模型互動，模型將以最相關的資訊進行迴應。該模型還可以通過從使用者互動中學習，隨著時間的推移改進其反應，使其更加準確和個性化。

ChatGPT的侷限性

有偏見的反應和有害的指示

ChatGPT是在一個大型文字資料集上訓練的，其中可能包含偏見，正如人工智慧的偏見一樣。這可能導致模型產生有偏見的反應，特別是在敏感話題方面，如性別、種族和性行為。

儘管採取了措施，防止模型對不適當的請求作出反應，但它有時仍可能產生有害的反應。OpenAI表示，他們正在利用Moderation API來標記和防止某些型別的不安全內容。為此，他們正依靠人類的反饋來改進模型。為了收集使用者反饋，它允許使用者對反應進行評估。

然而，儘管對模型進行了修改，以拒絕不適當的請求，但仍有可能通過簡單的技巧從ChatGPT獲得目標答案。

過時的知識資料庫

由於模型是在一個特定的資料集上訓練的，而這個資料集只到2021年，所以它只能根據它從這個資料集學到的東西來提供資訊和迴應查詢。如果資料集已經過期，模型的反應可能不準確，也不符合當前的時間。

此外，模型可能無法理解或迴應在資料集建立後出現的新概念、技術或資訊。

網路和容量錯誤

當人工智慧生成長文字時，ChatGPT的網路錯誤通常會遇到，即聊天機器人需要超過60秒才能返回答案。另外，由於需求量大，偶爾會出現一些使用者的容量不足的情況（見圖6）。

圖6. ChatGPT的容量錯誤（Source: ChatGPT by OpenAI）

某些短語的過度使用

眾所周知，ChatGPT模型會產生過度和重複的反應，包括反覆說明它是由OpenAI訓練的語言模型。這是由訓練資料中的偏見造成的，正如OpenAI所宣告的。

偶爾的不正確答案

ChatGPT偶爾會產生聽起來合理但不正確或無意義的答案。例如，對於使用者提出的關於英國政府電子請願書的問題，ChatGPT的回答是錯誤的（見圖7）。

圖7. 一個ChatGPT提供錯誤答案的例子（Source: New Tech Observations from the UK, WordPress）

ChatGPT不會訪問網際網路來尋找答案。它通過選擇最可能的 “標記” 來逐字建立一個句子，這些標記應基於其訓練。這意味著，ChatGPT通過一系列的假設來生成答案，這些假設可能會導致提供錯誤的答案，但卻有十足的把握。

Stack Overflow，一個程式設計師和開發者經常使用的網站，由於這個問題，暫時禁止其使用者分享ChatGPT生成的回答。

OpenAI認識到ChatGPT在正確回答方面的這種侷限性，並表示由於聊天機器人的訓練方法，要解決這個問題並不容易。

1. “What Is ChatGPT, the AI Chatbot That Everyone Is Talking About? – Tech News Briefing – WSJ Podcasts.” The Wall Street Journal, 7 December 2022, https://www.wsj.com/podcasts/tech-news-briefing/what-is-chatgpt-the-ai-chatbot-that-everyone-is-talking-about/52dc7d29-13cd-4be2-85ae-ac958004239f. Accessed 20 January 2023.
2. “ChatGPT: Optimizing Language Models for Dialogue.” OpenAI, 30 November 2022, https://openai.com/blog/chatgpt/. Accessed 20 January 2023.
3. “How Large Language Models Will Transform Science, Society, and AI.” Stanford HAI, 5 February 2021, https://hai.stanford.edu/news/how-large-language-models-will-transform-science-society-and-ai. Accessed 20 January 2023.
4. “ChatGPT Is Coming To A Customer Service Chatbot Near You.” Forbes, https://www.forbes.com/sites/rashishrivastava/2023/01/09/chatgpt-is-coming-to-a-customer-service-chatbot-near-you/?sh=1af3b08e7eca. Accessed 20 January 2023.
5. “ChatGPT and Other Chat Bots Are a ‘Code Red’ for Google Search.” The New York Times, 21 December 2022, https://www.nytimes.com/2022/12/21/technology/ai-chatgpt-google-search.html. Accessed 20 January 2023.
6. Fishenden, Jerry. “ChatGPT—inaccurate and derivative – new tech observations from the UK (ntouk).” new tech observations from the UK (ntouk), WordPress, 2022, https://ntouk.wordpress.com/2022/12/04/chatgpt-inaccurate-and-derivative/. Accessed 20 January 2023.
7. “Temporary policy: ChatGPT is banned.” Meta Stack Overflow, 5 December 2022, https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned. Accessed 20 January 2023.