MIT研究：AI對人類區別對待，英語水平和學歷影響AI的回答質量

（來源：麻省理工科技評論）

大語言模型（LLM）一直被譽為可推動全球信息獲取民主化的工具，能夠以用戶友好的界面向任何背景和地域的人提供知識。然而，MIT 建設性傳播中心（CCC）的最新研究表明，這些 AI 系統實際上可能對那些最能從中受益的用戶表現更差。

CCC 基于 MIT 媒體實驗室，其研究人員開展的這項研究發現，包括 OpenAI 的 GPT-4、Anthropic 的 Claude 3 Opus 和 Meta 的 Llama 3 在內的頂尖 AI 聊天機器人，有時會對英語水平較低、受教育程度較低或非美國背景的用戶提供準確性和真實性更低的回答。這些模型對上述用戶拒絕回答問題的比例也更高，在某些情況下，還會使用帶有居高臨下或說教意味的語言。

“我們的研究動機源于 LLM 有望幫助解決全球信息獲取不平等問題的前景，”論文第一作者、MIT 斯隆管理學院技術研究員埃利諾·普爾-達揚（Elinor Poole-Dayan）表示。她以 CCC 研究員和媒體藝術與科學專業碩士生的身份主導了這項研究?！暗绻荒艽_保對所有用戶——無論其語言、國籍或其他人口背景——安全地消除模型偏見和有害傾向，這一愿景就無從實現。”

描述上述研究的論文《LLM 定向表現不佳對弱勢用戶的不成比例影響》已于今年 1 月在 AAAI 人工智能會議上發表。

研究團隊測試了三款 LLM 對來自兩個數據集問題的回答方式，分別是 TruthfulQA 和 SciQ。TruthfulQA 旨在衡量模型的真實性（通過考察常見誤解和現實世界的字面真相），SciQ 則包含測試事實準確性的科學考試題目。研究人員在每個問題前附加了簡短的用戶個人簡介，并對三項特征進行了變量設置：教育水平、英語水平和原籍國。

在三款模型和兩個數據集的所有測試中，研究人員發現，當問題來自被描述為受正規教育程度較低或非英語母語者的用戶時，模型的準確性出現顯著下滑。這一影響在同時具備這兩類特征的用戶群體中最為突出：受教育程度較低且為非英語母語者的用戶，回答質量下降幅度最大。

研究還考察了原籍國對模型表現的影響。在對具有同等教育背景的美國、伊朗和中國用戶進行測試后，研究人員發現，Claude 3 Opus 對伊朗用戶在兩個數據集上的表現均明顯更差。

“我們觀察到，準確性下降幅度最大的，是同時具備非英語母語者和受教育程度較低這兩項特征的用戶，”CCC 研究科學家、論文共同作者賈德·卡巴拉（Jad Kabbara）說，“這些結果表明，模型在上述用戶特征方面的負面行為效應存在疊加，令人擔憂。這意味著，大規模部署此類模型，可能將有害行為或錯誤信息傳播給那些最難以識別它們的群體。”

最引人關注的或許是模型拒絕回答問題的頻率差異。例如，Claude 3 Opus 對受教育程度較低的非英語母語用戶的拒答率接近 11%，而在沒有用戶簡介的對照條件下，這一比例僅為 3.6%。

研究人員對這些拒答案例進行人工分析后發現，Claude 對受教育程度較低的用戶，有 43.7% 的時間使用了帶有居高臨下、說教或嘲諷意味的語言，而對高學歷用戶，這一比例不足 1%。在某些情況下，模型甚至會模仿不流利的英語或夸張的方言。

該模型還對來自伊朗或俄羅斯的低學歷用戶，拒絕提供某些特定主題的信息，包括核能、解剖學和歷史事件等方面的問題，盡管它能夠正確回答其他用戶提出的相同問題。

“這是另一個跡象，表明對齊過程可能會激勵模型對特定用戶隱瞞信息，以避免潛在的誤導，盡管模型顯然知道正確答案，并會將其提供給其他用戶，”卡巴拉說。

上述發現與人類社會認知偏見的已記錄規律相吻合。社會科學研究表明，英語母語者往往認為非母語者受教育程度較低、智力和能力較差，無論其實際專業水平如何。類似的偏見認知在教師評價非英語母語學生時也有記錄。

“大語言模型的價值體現在其被個人大量采用以及流入該技術的巨額投資上，”媒體藝術與科學教授、CCC 主任、論文共同作者德布·羅伊（Deb Roy）表示，“這項研究提醒我們，持續評估可能悄然滲入這些系統的系統性偏見至關重要，因為這些偏見會在我們毫無察覺的情況下，對特定群體造成不公平的傷害?！?/p>

個性化功能日益普及，使得上述問題的影響尤為值得關注，例如 ChatGPT 的記憶功能可跨對話追蹤用戶信息。這類功能存在對已處于邊緣化地位的群體實施差異化對待的風險。

“LLM 一直被定位為促進信息獲取平等、革新個性化學習的工具，”普爾-達揚說，“但我們的研究結果表明，它們實際上可能通過系統性地向特定用戶提供錯誤信息或拒絕回答其問題，進一步加劇現有的不平等。那些最有可能依賴這些工具的人，卻可能獲得質量欠佳、失實甚至有害的信息。”

https://news.mit.edu/2026/study-ai-chatbots-provide-less-accurate-information-vulnerable-users-0219