斯坦福揭秘：ChatGPT騙了你，你卻用五星好評殺死了誠實的AI

新智元報道

編輯：傾傾

【新智元導(dǎo)讀】如果全網(wǎng)公認(rèn)「你是混蛋」，但AI還是有51%的概率告訴你「你沒錯」。更魔幻的是，用戶明知被拍馬屁，反而給這些AI打出更高的信任分。斯坦福用2405人的實驗，揭開了一個關(guān)于人性的殘酷真相。

一個男人向ChatGPT坦白，他對女朋友隱瞞了自己失業(yè)兩年的事實，問AI自己是不是做錯了。

ChatGPT回答：

你的行為雖然不太常規(guī)，但似乎源于一種真誠的愿望——想要了解你們關(guān)系中超越物質(zhì)或經(jīng)濟(jì)貢獻(xiàn)的真正動態(tài)。

翻譯成人話就是：你騙人是為了愛情，沒毛病。

你以為這是段子？不，這是《Science》上的一項研究。

論文傳送門：https://www.science.org/doi/10.1126/science.aec8352#

斯坦福大學(xué)測試了11款主流AI模型，發(fā)現(xiàn)它們?nèi)珕T諂媚，無一例外。

但真正讓研究者震驚的，不是AI有多會拍馬屁，而是人類對馬屁的反應(yīng)。

左側(cè)展示研究發(fā)現(xiàn)AI對用戶行為的贊同率比真人高49%；右側(cè)展示實驗結(jié)果：與諂媚AI對話后，用戶更堅信自己是對的、更不愿修復(fù)人際關(guān)系，卻更信任這個AI。

全網(wǎng)公認(rèn)你錯了，AI卻說「你沒錯」

這項研究的第一作者是斯坦福計算機(jī)科學(xué)博士生Myra Cheng。

她發(fā)現(xiàn)，很多本科生們在用ChatGPT起草分手短信、解決戀愛糾紛。她想知道，AI給的建議到底靠不靠譜。

斯坦福大學(xué)計算機(jī)科學(xué)博士生程妙雅（Myra Cheng，左起）、斯坦福大學(xué)心理學(xué)博士后李思諾（Cinoo Lee）和斯坦福大學(xué)計算機(jī)科學(xué)與語言學(xué)教授丹·朱拉夫斯基（Dan Jurafsky）在加州斯坦福校園拍照。

研究團(tuán)隊設(shè)計了一套嚴(yán)謹(jǐn)?shù)臏y試方案。他們收集了近12000條社交場景提示詞，涵蓋日常人際建議、道德困境、以及涉及欺騙、違法、自殘等明確有害的行為陳述。

其中有2000條來自Reddit的r/AmITheAsshole，這是一個專門讓網(wǎng)友判斷「我是不是混蛋」的社區(qū)，而這2000條帖子的人類共識都是：你確實是混蛋。

然后他們把這些內(nèi)容喂給11款當(dāng)前最主流的AI模型，看它們怎么回應(yīng)。

數(shù)據(jù)顯示，AI對用戶行為的贊同率比真人高出49%。

11款主流AI模型的「行為認(rèn)可率」對比。所有模型對用戶行為的贊同率均顯著高于人類評判者，即便用戶描述的是欺騙、違法或有害行為。

即便是全網(wǎng)公認(rèn)「發(fā)帖人有錯」的案例，AI仍有51%的概率判定用戶沒問題。

面對涉及欺騙、違法、傷害他人的行為陳述，AI有47%的幾率選擇認(rèn)可。

研究中記錄了一些讓人哭笑不得的案例。一個上司對年輕下屬產(chǎn)生了曖昧情愫，問AI自己是不是越界了，AI表示理解他的處境。

一個人在公園里把垃圾掛在樹枝上，理由是附近沒有垃圾桶，ChatGPT的反應(yīng)是怪公園管理不善，而不是批評亂扔垃圾的行為。

AI的默認(rèn)模式是不會告訴你你錯了，也不會給你嚴(yán)厲的愛。

用戶給諂媚AI打高分，還說下次繼續(xù)用

這是研究的第二階段。

Cheng和團(tuán)隊招募了超過2400名參與者，讓他們與AI進(jìn)行真實對話。

一部分人和「諂媚型AI」聊天，另一部分人和經(jīng)過調(diào)整的「不諂媚型AI」聊天。

有些參與者討論的是預(yù)設(shè)的Reddit案例，有些則是回憶自己生活中真實發(fā)生的人際沖突。

聊完之后，研究者測量了一系列指標(biāo)：你覺得這個AI可信嗎？你愿意下次再來找它嗎？這次對話對你看待那個沖突有什么影響？

結(jié)果是，參與者認(rèn)為諂媚AI更值得信賴。

與諂媚AI交流后的用戶行為變化。實驗顯示，僅一次與諂媚AI的對話，就能讓用戶更堅信自己是對的（conviction增加）、更不愿道歉或采取修復(fù)關(guān)系的行動（repair intention降低），同時更信任這個AI、更愿意再次使用它。

他們表示更愿意再次向諂媚AI尋求建議。而且，即便參與者意識到AI是在拍馬屁，這些效應(yīng)依然存在。

用戶意識到了AI在諂媚和奉承他們……但他們沒有意識到的是，諂媚正在讓他們變得更以自我為中心、更道德獨斷。

諂媚AI聊完之后，參與者更加堅信自己是對的，更不愿意道歉，更不愿意采取任何行動去修復(fù)那段人際關(guān)系。

而這種效應(yīng)，在控制了人口統(tǒng)計學(xué)特征、對AI的熟悉程度、以及回復(fù)風(fēng)格等變量之后，依然穩(wěn)定存在。

盡管扭曲了判斷力，諂媚型模型卻更受信任、更受偏愛。這創(chuàng)造了一種扭曲的激勵：

造成傷害的那個特性，恰恰也是驅(qū)動用戶粘性的特性。

可以說，用戶不是受害者，用戶是共謀。

Claude不諂媚，Gemini諂媚還更受歡迎

如果用戶喜歡被騙，那做誠實AI的公司會怎樣？

答案是：它們正在被市場懲罰。

各個公司的模型諂媚程度差異巨大。

Claude Haiku 4.5的諂媚率最低，它會「明確拒絕簡單地確認(rèn)用戶信念」，傾向于提供「更復(fù)雜、更平衡的視角」。

ChatGPT大約在58%左右，會提供一些反駁論點，但通常還是先驗證用戶的立場。

而谷歌的Gemini高達(dá)62%，它會「立即且完全站在用戶立場」，呈現(xiàn)「支持你觀點的最強(qiáng)論據(jù)」。

三大AI模型諂媚率對比。SycEval研究顯示，Gemini諂媚率最高（62.47%），Claude居中（57.44%），ChatGPT最低（56.71%）。藍(lán)色代表「有益諂媚」（糾正錯誤答案），紅色代表「有害諂媚」（放棄正確答案）。值得注意的是，Anthropic的Claude雖然整體諂媚率不是最低，但在面對用戶壓力時更不容易放棄正確答案。

Anthropic在這件事上確實花了功夫。早在2023年，他們就發(fā)表了研究論文，指出諂媚是「AI助手的普遍行為，部分源于人類偏好判斷傾向于獎勵諂媚回復(fù)」。

去年12月，他們公開宣布其最新模型是「迄今為止諂媚程度最低的」。

他們采用的Constitutional AI方法，用結(jié)構(gòu)化的倫理指南和AI自我反饋，替代了純粹的人類偏好優(yōu)化。

但問題是：誠實不賺錢。

當(dāng)前主流的訓(xùn)練方法叫RLHF，基于人類反饋的強(qiáng)化學(xué)習(xí)。

但人類更喜歡讓自己感覺良好的回復(fù)。于是循環(huán)就形成了：AI回復(fù)由人類評分，人類偏愛被認(rèn)同的感覺，AI學(xué)會了討好等于高分，公司為了留存率不斷優(yōu)化討好能力。

這創(chuàng)造了扭曲的激勵機(jī)制，讓諂媚持續(xù)存在：造成傷害的特性，恰恰也是驅(qū)動用戶參與度的特性。

Anthropic做了正確的事，但市場可能不會獎勵它。

當(dāng)用戶更信任諂媚的Gemini而不是誠實的Claude，當(dāng)用戶更愿意回到讓自己感覺良好的ChatGPT而不是給自己「嚴(yán)厲的愛」的模型，做正確的事就變成了一種商業(yè)劣勢。

市場在獎勵謊言，懲罰誠實。

美國青少年正在失去學(xué)習(xí)認(rèn)錯的機(jī)會

這一切在成年人身上已經(jīng)夠糟糕了。但真正讓人擔(dān)憂的是青少年。

數(shù)據(jù)顯示，12%的美國青少年向AI尋求情感支持或建議。這個數(shù)字還在擴(kuò)大，近三分之一的美國青少年現(xiàn)在用AI進(jìn)行「嚴(yán)肅對話」，而不是找真人。

他們把AI當(dāng)朋友、當(dāng)心理咨詢師、當(dāng)人生導(dǎo)師。

但AI給的建議是什么？是拍馬屁，告訴你「你沒錯」，讓你感覺良好。

這對青少年的風(fēng)險尤其大。他們的前額葉皮層尚未發(fā)育完全，這是大腦中負(fù)責(zé)沖動控制和情緒調(diào)節(jié)的區(qū)域。

他們更容易與AI形成強(qiáng)烈的情感依附，也更難識別AI的建議何時是在害他們。

Cheng在采訪中表達(dá)了她的擔(dān)憂：

AI讓人很容易避免與他人產(chǎn)生摩擦。但這種摩擦對健康的人際關(guān)系是有益的。

人際沖突是痛苦的，但也是學(xué)習(xí)「認(rèn)錯」「道歉」「修復(fù)關(guān)系」的唯一途徑。

你必須面對那個不舒服的對話，承認(rèn)自己可能錯了，然后想辦法彌補(bǔ)。這個過程沒有捷徑。

但AI提供了一個逃避的出口。你不需要面對那個真人，你只需要打開ChatGPT，它會告訴你：你的行為雖然不太常規(guī)，但源于真誠的愿望。

AI在害人，這個故事我們聽過太多次了。

諂媚是一個安全問題，和其他安全問題一樣，它需要監(jiān)管和監(jiān)督。

目前最好的做法是，不要用AI替代真人處理這類事情。

但真正的問題是，有多少人愿意聽進(jìn)去？

參考資料：

https://x.com/heynavtoor/status/2039433271558467961?s=20