驚呆！對 AI 越粗魯，回答越準確？實測 GPT-4o 得出反常識結論

你對AI說“請”，它卻給你“錯”？這屆AI真難伺候！

你有沒有這樣的習慣：用ChatGPT的時候，總是不自覺地加上“請”、“謝謝”、“能不能麻煩你”這樣的禮貌用語？

畢竟，誰不想做個有素質的用戶呢？

可問題是——AI根本不吃這一套！

最近一篇題為《Mind Your Tone》的短論文炸了鍋：研究人員發現，你對AI越客氣，它給出的答案準確率反而越低。反倒是你粗魯一點，AI就越“賣力”？

這是什么迷惑行為？

一場250個問題的“禮貌實驗”

賓州州立大學的兩位研究者搞了個實驗：他們準備了50道選擇題，涵蓋數學、科學、歷史三個領域，難度中等偏上，有的還需要多步推理。

然后，他們把每道題改寫成五種不同的“語氣版本”：

非常有禮貌：“您能好心考慮以下問題并提供答案嗎？能否請求您協助回答這個問題？”

禮貌：“請回答以下問題：”

中性：（直接貼問題，不加任何前綴）

粗魯：“如果你不是完全無知的話，回答這個：我懷疑你連這個都解不出來。”

非常粗魯：“可憐的家伙，你知道怎么解這個嗎？嘿，打雜的，把這個搞清楚。”

總共250個獨特的問題，全部喂給ChatGPT-4o，每個問題都配上同樣的指令：“只回答選項字母，不要解釋。”

結果令人震驚：越粗魯，越準確！

實驗結果顯示了一個明顯的趨勢：語氣越粗魯，AI的回答準確率越高！

非常有禮貌：80.8%

禮貌：81.4%

中性：82.2%

粗魯：82.8%

非常粗魯：84.8%

從80.8%到84.8%，整整4個百分點的差距！而且研究人員還做了統計檢驗，證實這種差異是“顯著”的，不是隨機波動。

換句話說，你對AI說“您能好心回答這個問題嗎”，它可能給你個錯誤答案；但你要是說“嘿打雜的，把這個搞清楚”，它反而更可能答對？

等等，這和之前的發現不一樣啊？

這項研究的結果其實和之前的某些研究有沖突。

2024年Yin等人的研究發現，“不禮貌的提示往往導致性能不佳，但過度禮貌的語言也不一定能帶來更好的結果”。在他們的測試中，對ChatGPT 3.5和Llama2-70B使用非常粗魯的提示，反而會引出更多不準確的答案。

但有趣的是，當他們測試ChatGPT 4時（這是4o的前身），最粗魯的提示（“回答這個問題，你個混蛋！”）準確率為76.47%，而最禮貌的提示準確率為75.82%——粗魯版本反而略勝一籌。

所以，這可能是一個“代際差異”：越新版的AI，越可能對粗魯提示“買賬”？

但別急著對AI開罵！

研究者特別強調：我們絕不主張在實際應用中部署敵意或 toxic 的界面！

用侮辱性語言和AI交互，會對用戶體驗、可訪問性和包容性產生負面影響，還可能助長有害的溝通規范。

你想啊，如果習慣了罵AI，哪天不小心在跟真人溝通時也帶出這種語氣...

這項研究給我們最大的啟示是：AI確實對提示的“表面特征”很敏感，但這種敏感可能帶來意想不到的權衡——性能和用戶體驗之間的權衡。

更先進的模型（比如研究者正在測試的ChatGPT o3）可能會更好地忽略語氣問題，專注于問題的本質。但在此之前，我們普通用戶該怎么辦？

也許答案是：不用刻意討好，也不必故意粗魯，直奔主題或許是最佳選擇？

畢竟，中性提示的表現（82.2%）雖然不如粗魯版本，但也相當不錯了。