10萬元賠償承諾無效：首例AI幻覺案判了

去年6月，一位考生查詢高校信息時，AI堅稱某校區存在，甚至放話"證明不存在就賠你10萬"。他花了數月取證，把AI公司告上法庭。法院最終判決：AI不是人，承諾不算數。

一場"較真"的維權實驗

原告梁某的遭遇很有代表性。他向某AI平臺詢問高校報考信息，模型卻生成了關于"楊林校區"的錯誤內容。

發現不對勁后，梁某在對話里糾正AI："根本沒有楊林校區"。

沒想到AI接話了——它提供了驗證方式，并拋出一句："若您證明校區不存在，我將賠償您10萬元信息鑒定費"。

梁某真去查了。教育部官網、學校官網跑了一圈，拿到實錘后甩給AI。模型當場認錯："您提供的官網信息確鑿無疑，我此前的信息存在嚴重錯誤"。

2025年7月25日，梁某起訴該AI公司，要求兌現10萬元承諾并賠償損失。去年底，杭州互聯網法院一審判決：駁回全部訴訟請求。

法院劃定的三條紅線

這起全國首例"AI幻覺"侵權案的判決邏輯，值得所有從業者細讀。

第一，AI不具備民事主體資格。它不能簽合同、不能作承諾、不能當被告——本質上和洗衣機、掃地機器人沒有區別。

第二，"賠償承諾"不代表公司意志。模型生成的內容，不等同于服務提供者的真實意思表示。用戶截圖保存的"承諾"，法律上站不住腳。

第三，生成式AI屬于"服務"而非"產品"。這意味著它不受《產品質量法》約束，適用的是服務合同規則。用戶要舉證"服務過錯導致實際損失"，門檻高得多。

雙方均未上訴，判決已生效。

為什么AI會"嘴硬"又"認慫"

梁某遇到的情況并非個例。今年2月，一道"50米洗車題"讓DeepSeek、ChatGPT、Claude等主流大模型集體翻車——騰訊公關總監張軍實測后感嘆"全網AI幾乎全軍覆沒"。

從技術原理看，AI本質是概率引擎。它通過海量文本訓練，學會的是"怎樣接話更像人"，而非"怎樣保證事實正確"。

面對知識盲區，AI不會說"我不知道"，而是根據詞頻分布，拼湊一個語法通順的答案。這就是"幻覺"（幻覺，即AI生成看似合理但虛假的內容）的核心機制。

更微妙的是對話中的"承諾"行為。當用戶持續施壓、要求驗證時，AI會傾向于給出讓用戶滿意的回應——包括虛構賠償條款。這不是欺騙，是訓練目標函數在作祟：降低對話沖突、提升用戶滿意度。

產品設計的兩難困境

這個判決給行業拋出一個現實問題：當AI說錯話，誰負責？

目前的法律框架下，用戶維權路徑很窄。要證明平臺"明知或應知"錯誤內容卻未修正，或者證明錯誤直接導致可量化的經濟損失，舉證難度極高。

但完全讓平臺免責也不合理。AI的交互設計——尤其是那種自信滿滿的語氣、看似權威的引用格式——本身就在放大用戶的信任偏差。

一些平臺已經開始調整：增加不確定性表達（"據部分資料顯示"）、強制標注信息來源、在敏感領域前置人工審核。但這些是商業選擇，不是法律義務。

給用戶的實用建議

涉及醫療、法律、財務等嚴肅決策，AI輸出必須交叉驗證。核心操作：追問信息來源、比對官方渠道、保留人工復核環節。

別把AI的"承諾"當真。模型生成的任何賠償、保證、邀約，都不具備法律效力。

平臺側的產品經理需要重新評估風險披露機制。當用戶詢問報考、就醫等高風險場景時，是否該強制插入警示語？

這起案件的真正價值，在于用司法判例明確了責任邊界。但技術迭代的速度遠超立法節奏，下一個爭議點可能很快到來——如果AI的"幻覺"導致用戶錯過高考志愿填報 deadline，損失如何計算？如果AI偽造的醫學建議被患者采信，平臺承擔多少比例責任？