識別過度自信大語言模型的更優方法

大語言模型能夠生成看似可信但實際不準確的回應，因此研究人員開發了不確定性量化方法來檢驗預測的可靠性。一種流行的方法是多次提交相同的提示，觀察模型是否生成相同答案。

但這種方法測量的是自信度，即使最先進的大語言模型也可能自信地犯錯。過度自信會誤導用戶對預測準確性的判斷，在醫療或金融等高風險領域可能導致嚴重后果。

為解決這一不足，麻省理工學院研究人員引入了一種新方法，用于測量不同類型的不確定性，能更可靠地識別自信但錯誤的大語言模型回應。

他們的方法涉及將目標模型的回應與一組相似大語言模型的回應進行比較。研究發現，測量跨模型分歧比傳統方法更準確地捕獲了這種類型的不確定性。

研究團隊將他們的方法與大語言模型自一致性測量相結合，創建了總不確定性指標，并在10項實際任務中進行評估，包括問答和數學推理。這一總不確定性指標持續優于其他測量方法，更擅長識別不可靠的預測。

麻省理工學院電氣工程與計算機科學研究生、論文第一作者Kimia Hamidieh表示："自一致性被廣泛應用于不確定性量化的不同方法中，但如果你的不確定性估計僅依賴單一模型的結果，就不一定可信。我們回到起點理解當前方法的局限性，并以此為出發點設計了一種補充方法，能夠在實證上改善結果。"

理解過度自信現象

許多流行的不確定性量化方法涉及要求模型提供置信度分數或測試其對相同提示回應的一致性。這些方法估計的是偶然不確定性，即模型對自身預測的內部信心程度。

然而，大語言模型在完全錯誤時也可能表現自信。研究表明，當模型過度自信時，認知不確定性（即是否使用正確模型的不確定性）可能是評估真實不確定性的更好方式。

麻省理工學院研究人員通過測量一組相似大語言模型間的分歧來估計認知不確定性。

Hamidieh解釋道："如果我多次向ChatGPT問同一個問題，它反復給出相同答案，這并不意味著答案必然正確。如果我轉向Claude或Gemini問同樣問題并得到不同答案，這會讓我感受到認知不確定性。"

認知不確定性試圖捕獲目標模型與該任務理想模型的偏離程度。但由于無法構建理想模型，研究人員使用的替代品或近似方法往往依賴有缺陷的假設。

為改進不確定性量化，麻省理工學院研究人員需要更準確的認知不確定性估計方法。

集成方法

他們開發的方法涉及測量目標模型與具有相似規模和架構的小型模型集成間的分歧。研究發現，比較語義相似性（即回應含義的匹配程度）能提供更好的認知不確定性估計。

為獲得最準確的估計，研究人員需要一組覆蓋多樣化回應、與目標模型不過于相似、且基于可信度加權的大語言模型。

Hamidieh說："我們發現滿足所有這些特性的最簡單方法是選擇不同公司訓練的模型。我們嘗試了許多更復雜的方法，但這種非常簡單的方法最終效果最好。"

開發出估計認知不確定性的方法后，他們將其與測量偶然不確定性的標準方法結合。這一總不確定性指標提供了對模型置信水平是否可信的最準確反映。

Hamidieh表示："不確定性既取決于給定提示的不確定性，也取決于我們的模型與最優模型的接近程度。這就是為什么將這兩種不確定性指標相加能給我們最佳估計的原因。"

總不確定性指標能更有效地識別大語言模型出現幻覺的情況，因為認知不確定性可以標記偶然不確定性可能遺漏的自信錯誤輸出。它還能讓研究人員在訓練期間強化大語言模型的自信正確答案，這可能提升性能。

研究團隊使用多個大語言模型在10項常見任務上測試了總不確定性指標，包括問答、摘要、翻譯和數學推理。他們的方法比單獨使用任一測量方法更有效地識別了不可靠預測。

測量總不確定性通常比計算偶然不確定性需要更少查詢，這能降低計算成本并節約能源。

實驗還揭示，認知不確定性在具有唯一正確答案的任務（如事實性問答）上最有效，但在更開放性任務上可能表現不佳。

未來，研究人員可以調整技術以改善在開放性查詢上的表現。他們也可能在此基礎上探索其他形式的偶然不確定性。

這項工作部分由麻省理工學院-IBM沃森人工智能實驗室資助。

Q&A

Q1：什么是大語言模型的過度自信問題？

A：大語言模型的過度自信是指模型在生成錯誤答案時仍表現出很高的置信度。即使是最先進的大語言模型也可能自信地犯錯，這會誤導用戶對預測準確性的判斷，在醫療或金融等高風險領域可能導致嚴重后果。

Q2：麻省理工學院的新方法如何識別不可靠的模型回應？

A：新方法通過測量跨模型分歧來估計認知不確定性，即將目標模型的回應與不同公司訓練的相似大語言模型進行比較。然后將這種方法與傳統的自一致性測量結合，形成總不確定性指標，能更準確地識別自信但錯誤的預測。

Q3：總不確定性指標在哪些任務上效果最好？

A：總不確定性指標在具有唯一正確答案的任務上最有效，如事實性問答、數學推理等。但在更開放性的任務上可能表現不佳。研究人員正在改進技術以提升在開放性查詢上的表現。