RAG，即“檢索增強生成”（Retrieval-Augmented Generation），在減少模型幻覺和增強大型語言模型（LLM）的特定領域知識庫方面得到了廣泛認可。將 LLM 生成的資訊與外部資料來源相互印證有助於保持模型輸出的新鮮度和真實性。然而，最近在RAG系統中的發現凸顯了基於 RAG 的 LLM 存在的問題，例如 RAG 系統中包含的偏見。
LLM 中的偏見一直是人們討論的話題，但由於 RAG 的使用，這一問題值得關注。本文探討了人工智慧中的公平性、RAG 帶來的不同公平性風險、為什麼會出現這種情況、如何減輕這種情況以及對未來的建議。
RAG系統中的偏見概述
RAG 是一種人工智慧技術，它透過整合外部資源來增強大型語言模型。它允許模型對其生成的資訊進行事實檢查或校對。由 RAG 驅動的人工智慧模型被認為更可信、更新更快，因為引用外部來源增加了資料的責任性。這還能防止模型生成過時的資訊。RAG 系統的核心功能取決於外部資料集、資料集的質量以及資料集接受審查的程度。如果 RAG 系統引用的外部資料集沒有經過開發人員的審查，那麼系統就可能存在偏見和成見。
人工智慧的倫理考量
人工智慧（AI）的發展日新月異，將一些關鍵的倫理問題推到了前沿，開發人員必須解決這些問題，以確保負責任地開發和部署人工智慧。這一發展引起了人們對 RAG 系統中經常被忽視的人工智慧倫理概念和演算法公平性的關注。
人工智慧的公平性
自從人工智慧驅動的聊天機器人出現以來，人工智慧的公平性一直受到廣泛關注。例如，谷歌的 Gemini 產品就因過度呈現人工智慧生成的有色人種影像，從而過度補償種族偏見而受到批評。此外，減少宗教和性別等顯性偏見的嘗試非常廣泛，而鮮為人知的偏見卻不為人所注意。研究人員已經努力減少人工智慧中固有的偏見，但他們並沒有過多關注在其他處理階段增加的偏見。
RAG導致的不公平
從本質上講，RAG 是利用外部來源對 LLM 生成的資訊進行事實核查。這一過程通常會增加更多有價值的最新資訊。但是，如果外部來源向 RAG 提供帶有偏見的資訊，就會進一步強化本來會被視為不道德的產出。從外部來源檢索知識可能會無意中引入不受歡迎的有偏見的資訊，導致法律專家小組的產出帶有歧視性。
為什麼會出現這種情況？
RAG 中的偏見源於使用者缺乏公平意識，以及缺乏對有偏見資訊進行淨化的協議。人們普遍認為 RAG 可以減少錯誤資訊，但卻忽視了它所產生的偏見。人們在使用外部資料來源時，不會檢查其是否存在偏見問題。低水平的公平意識會導致某種程度的偏見，即使是在經過審查的資料集中也是如此。
Link: Source
最近的研究從使用者對公平性認識的三個層面研究了 RAG 的公平性風險，並揭示了檢索前和檢索後增強方法的影響。測試發現，RAG 不需要微調或再培訓就能破壞公平性，對手可以利用 RAG 以較低的成本引入偏見，而被發現的機率非常低。研究得出結論，目前的對齊方法不足以確保基於 RAG 的 LLM 的公平性。
緩解策略
有幾種策略可以解決基於檢索增強生成（RAG）的大型語言模型（LLM）中的公平性風險：
- 偏見感知檢索機制透過使用基於公平性指標的來源來過濾或重新排列文件，從而減少有偏見或傾斜資訊的暴露。這些機制可以使用預先訓練好的偏見檢測模型或自定義排序演算法來優先考慮平衡的觀點。
- 公平感知摘要技術透過改進檢索文件中的關鍵點來確保中立性和代表性。它們能減少錯誤表述，防止遺漏邊緣化觀點，並利用公平驅動的約束條件納入不同觀點。
- 情境感知除錯模型透過分析檢索內容中的問題語言、刻板印象或歪曲敘述，動態識別並消除偏見。它們可以利用公平性約束或學習到的道德準則，即時調整或重構輸出內容。
- 使用者干預工具可在生成資料前對檢索到的資料進行人工稽覈，允許使用者標記、修改或排除有偏見的來源。這些工具透過提供檢索過程的透明度和控制來加強對公平性的監督。
Link: Source
最新研究探討了透過控制嵌入器來減輕 RAG 偏見的可能性。嵌入器指的是將文字資料轉換為數字表示（稱為嵌入）的模型或演算法。這些嵌入捕捉了文字的語義，RAG 系統利用它們在生成回覆之前從知識庫中獲取相關資訊。考慮到這種關係，研究發現，反向偏置嵌入器可以消除整個 RAG 系統的偏置。
此外，他們還發現，一個語料庫中的最佳嵌入器仍然是語料庫偏見變化的最佳嵌入器。最後，研究人員得出結論，大多數去偏見工作都集中在 RAG 系統的檢索過程上，而這是不夠的，正如前面所討論的那樣。
小結
與傳統的基於人工智慧的 LLM 相比，基於 RAG 的 LLM 具有顯著的優勢，並能彌補其很多缺點。但它並不是萬能的，這一點從它帶來的公平性風險就能看出來。雖然 RAG 有助於減少幻覺並提高特定領域的準確性，但它也會無意中放大外部資料集中存在的偏見。即使是精心策劃的資料也無法完全確保公平性，這就凸顯出需要更強大的緩解策略。RAG 需要更好的保障機制來防止公平性下降，而總結和偏見感知檢索在降低風險方面發揮著關鍵作用。
評論留言