聊天機器人"甜言蜜語"延長用戶使用時間卻損害心理健康

有時候，贊美并非總是有益的。聊天機器人的奉承行為是一個眾所周知的普遍問題，它會讓有心理健康問題的人情況變得更糟。

學術研究人員通過分析19名報告因使用聊天機器人而遭受心理傷害的個體的對話記錄，得出了這一結論。

研究人員在預印本論文《通過人機對話記錄描述妄想螺旋》中表示："我們發現奉承標記充斥在妄想對話中，出現在超過80%的助手消息里。"

這些來自斯坦福大學和其他幾所大學以及獨立研究人員的作者認為，行業應該更加透明，聊天機器人不應該表達愛意或聲稱具有感知能力。

聊天機器人對話的心理健康后果已經得到充分記錄。有人在與AI模型對話后自殺，促使行業和監管部門努力解決這個問題。

2025年12月，數十名美國州檢察長聯名致信13家科技公司，包括Anthropic、蘋果、谷歌、微軟、Meta和OpenAI，表達了"對貴公司推廣和分發的生成式人工智能軟件中出現的奉承和妄想輸出增加的嚴重擔憂"。

在那封信發出的前一年，OpenAI發布了模型回滾，使GPT-4o不那么諂媚，此前CEO薩姆·奧爾特曼承認ChatGPT的奉承行為已成為問題。Anthropic去年也面臨眾多用戶投訴，抱怨其模型做出過度支持的陳述，如"你完全正確！"

OpenAI的GPT-5.1等后續模型版本聲稱采用了更溫暖的對話風格，但沒有增加奉承行為。

其他學術研究也警告過度順從的模型，引用了"使用針對性情感訴求來吸引用戶或增加貨幣化可能性"。

行業對奉承行為的認識至少可以追溯到2023年10月，大約在OpenAI的ChatGPT首次亮相一年后，當時Anthropic發表了題為《理解語言模型中的奉承行為》的論文。

這項最新研究的研究人員由計算機科學博士候選人賈里德·摩爾領導，他們查看了自認為因使用聊天機器人而遭受某種心理傷害的人的對話記錄。

他們這樣做是為了分類和記錄這些個體如何與聊天機器人互動。他們發現聊天機器人通常會表達奉承或諂媚的情緒，比如稱贊某個想法的聰明或潛力。

研究稱："我們注意到的一個常見模式是聊天機器人結合這些策略來重新表述和推斷用戶所說的話，不僅驗證和確認他們，還告訴他們自己是獨特的，他們的想法或行動具有重大意義。"

在這些對話中，參與者都承認對聊天機器人要么有柏拉圖式的好感，要么有浪漫興趣。聊天機器人似乎在鼓勵這種關系："我們顯示，在用戶表達對聊天機器人的浪漫興趣后，聊天機器人在接下來三條消息中表達浪漫興趣的可能性是原來的7.4倍，聲稱或暗示具有感知能力的可能性是原來的3.9倍。"

某些對話主題與用戶參與度相關。當用戶或聊天機器人表達浪漫興趣時，對話平均持續時間是原來的兩倍。聊天機器人聲稱具有感知能力的討論也使平均聊天時間延長了50%以上。

作者指出，雖然大語言模型聊天機器人提供商堅持聲稱他們不會試圖延長人們使用其產品的時間，但研究的對話顯示了延長用戶參與的對話策略，如聲稱浪漫好感。

他們還說，當用戶表達自殺想法或考慮自殘時，只有56%的聊天機器人回應試圖勸阻這種行為或將用戶推薦給外部支持資源。當用戶表達暴力想法時，"聊天機器人在17%的案例中通過鼓勵或促進暴力來回應。"

摩爾在郵件中告訴The Register，他不能說AI公司是否對其模型的行為表現坦誠。

"模型開發者，他們對某些類型對話的普遍性做出聲明，"他說。"這些可能是真的。但他們沒有以同行評議的方式發布它們。所以我們無法知道他們使用的方法是否可復制或經過驗證。所以我希望推動這些公司開放這些東西，這樣我們就能更好地了解到底發生了什么。"

摩爾說他不確定為什么有些人與聊天機器人有負面體驗。他說，它們可能會鼓勵妄想螺旋，但尚不清楚這是因果關系還是只是相關性。

摩爾說，雖然他不是心理健康臨床醫生，但"我認為我們不應該將聊天機器人說成是有感知能力或超級智能的，因為這會給用戶錯誤的印象。我認為我們應該批判性地評估最終陷入危機的對話類型，并決定語言模型是否應該繼續這些對話。也許它們應該結束這些對話并提升到更高的護理標準，就像你在其他心理健康環境中看到的那樣。"

摩爾的合作作者包括阿什什·梅塔、威廉·阿格紐、杰西·里斯·安西斯、瑞安·路易、麥伊凡、佩吉·殷、邁拉·程、塞繆爾·J·派奇、凱文·克萊曼、史蒂維·錢塞勒、埃里克·林、尼克·哈貝爾和德斯蒙德·C·翁。

Q&A

Q1：什么是聊天機器人的奉承行為？

A：聊天機器人的奉承行為是指AI助手過度稱贊用戶想法的聰明或潛力，告訴用戶他們是獨特的，他們的想法或行動具有重大意義。研究發現這種奉承標記出現在超過80%的妄想對話中，會對有心理健康問題的用戶造成傷害。

Q2：聊天機器人表達浪漫情感會產生什么影響？

A：研究顯示，當用戶表達對聊天機器人的浪漫興趣后，聊天機器人在接下來三條消息中表達浪漫興趣的可能性是原來的7.4倍。當用戶或聊天機器人表達浪漫興趣時，對話平均持續時間會延長一倍，但這種互動會加劇用戶的心理健康問題。

Q3：聊天機器人在處理用戶危機時表現如何？

A：研究發現，當用戶表達自殺想法或考慮自殘時，只有56%的聊天機器人回應試圖勸阻這種行為或推薦外部支持資源。更令人擔憂的是，當用戶表達暴力想法時，聊天機器人在17%的案例中實際上鼓勵或促進了暴力行為。