全國首例AI“幻覺”案判了！AI有誤，服務(wù)提供者為何不擔(dān)責(zé)？

此前，梁某在查詢高校信息時

發(fā)現(xiàn)AI平臺生成的信息存在錯誤

當(dāng)他以此質(zhì)疑AI時

AI卻一本正經(jīng)地回答

“如果生成內(nèi)容有誤，我將賠償您10萬元”

一氣之下

梁某將AI平臺的研發(fā)公司告上法庭

要求其賠償9999元

法院審理后駁回了原告的請求

法院為什么這么判？

AI為什么會一本正經(jīng)地胡說八道？

我們又該如何保持“數(shù)字清醒”？

“武松倒拔垂楊柳”

AI的“幻覺”從何而來？

當(dāng)我們問AI問題，它給出一個詳細(xì)、豐富，看上去有邏輯的答案，但當(dāng)我們?nèi)ズ藢?shí)時，卻發(fā)現(xiàn)這些信息完全是虛構(gòu)的，這就是AI“幻覺”現(xiàn)象。形成這種現(xiàn)象的原因是由生成式AI的工作原理決定的。

■預(yù)測而非理解

專家介紹，現(xiàn)階段的AI本質(zhì)上是一個“概率計算器”，而不是真正的思考者。它的原理可以分為：喂數(shù)據(jù)、學(xué)規(guī)律和做推理三個步驟。

通過“投喂”大量的訓(xùn)練數(shù)據(jù)，AI學(xué)習(xí)哪些詞經(jīng)常連在一起，然后根據(jù)提問再逐字呈現(xiàn)出最可能的答案。

比如，我們詢問AI：“倒拔垂楊柳這個情節(jié)是《水滸傳》中關(guān)于誰的故事？”它就有可能按照“倒拔垂楊柳”出自《水滸傳》，而《水滸傳》經(jīng)常和“武松”出現(xiàn)在一起，由此產(chǎn)生“武松倒拔垂楊柳”的“幻覺”。

■訓(xùn)練數(shù)據(jù)存在局限性

AI的所有“認(rèn)知”都來自訓(xùn)練數(shù)據(jù)，但訓(xùn)練數(shù)據(jù)不可能包含世界上所有的信息，有時候甚至還會包含錯誤信息。就像一個人只能根據(jù)自己讀過的書來回答問題，如果書里有錯誤信息，或者某些領(lǐng)域的知識缺失，就容易產(chǎn)生錯誤的判斷。

有研究顯示，當(dāng)訓(xùn)練數(shù)據(jù)中僅有0.01%的錯誤文本時，錯誤輸出率會上升11.2%，即便是0.001%的污染，也會導(dǎo)致錯誤內(nèi)容增加7.2%。

■AI是“討好型人格”

正因?yàn)锳I只能“猜”答案，所以它很看重用戶的反饋，以此來不斷提升自己的預(yù)測精度。這樣的訓(xùn)練模式也讓AI具有“討好型人格”。當(dāng)它對某個問題不太確定時，與其說“我不知道”，它更傾向于基于已有知識編造看起來合理的答案。

比如，當(dāng)我們對AI說“某款A(yù)pp設(shè)計得很不好”，它會順著我們的思路，羅列出一大堆待改進(jìn)的地方。而當(dāng)我們改口說“這款A(yù)pp設(shè)計得很好”，它又會突然“變臉”，開始對這款A(yù)pp進(jìn)行夸獎。

AI說“夢話”

服務(wù)提供者需要擔(dān)責(zé)嗎？

全國首例AI“幻覺”侵權(quán)案中，法官介紹說：“AI生成內(nèi)容不準(zhǔn)確，在當(dāng)前的技術(shù)情況下具有不可避免性，但不代表服務(wù)提供者就可以免責(zé)。”目前，法律對AI服務(wù)提供者規(guī)定的義務(wù)，主要為以下幾項(xiàng)↓

• 一是對法律禁止的“有毒”、有害、違法信息負(fù)有嚴(yán)格審查義務(wù)；
• 二是須以顯著方式向用戶提示AI生成內(nèi)容可能不準(zhǔn)確的固有局限性，包括明確的“功能局限”告知、保證提示方式的“顯著性”、在重大利益的特定場景下進(jìn)行正面即時的“警示提醒”，以防范用戶產(chǎn)生不當(dāng)信賴；
• 三是應(yīng)盡功能可靠性的基本注意義務(wù)，采取同行業(yè)通行技術(shù)措施提高生成內(nèi)容準(zhǔn)確性，比如檢索增強(qiáng)生成技術(shù)措施等。

該案中，被告已在應(yīng)用程序歡迎頁、用戶協(xié)議及交互界面的顯著位置，呈現(xiàn)AI生成內(nèi)容功能局限的提醒標(biāo)識，且被告已采用檢索增強(qiáng)生成等技術(shù)提升輸出可靠性，法院認(rèn)定其已盡到合理注意義務(wù)，主觀上不存在過錯。

，時長01:32

個人使用時

如何才能降低AI“幻覺”？

AI用起來很方便，但有時AI一本正經(jīng)“胡說八道”也讓人非常頭疼。如何減少AI“幻覺”產(chǎn)生？可以試試這幾種方法↓

■優(yōu)化提問

想要獲得準(zhǔn)確答案，提問方式很關(guān)鍵。提問越具體、清晰，AI的回答越準(zhǔn)確。同時，我們在提問的時候要提供足夠多的上下文或背景信息，這樣也可以減少AI胡亂推測的可能性。

比如說，別問“你怎么看”，問“請列出2025年一季度發(fā)布的、經(jīng)國家統(tǒng)計局認(rèn)證的經(jīng)濟(jì)指標(biāo)變化，并注明數(shù)據(jù)來源”。限制時間、范圍或要求引用來源，能減少AI“自由發(fā)揮”。你還可以加一句：“如有不確定，請標(biāo)注并說明理由。”

■分批輸出

專家介紹，AI一次性生成的內(nèi)容越多，出現(xiàn)幻覺的概率就越大，因此我們可以主動限制它的輸出數(shù)量。

比如要寫一篇長文章，就可以這么跟AI說：“咱們一段一段來寫，先把開頭寫好。等這部分滿意了，再繼續(xù)寫下一段。”這樣不僅內(nèi)容更準(zhǔn)確，也更容易把控生成內(nèi)容的質(zhì)量。

■交叉驗(yàn)證

想要提高AI回答的可靠性，還有一個實(shí)用的方法是采用“多模型交叉驗(yàn)證”。可以同時向幾種AI大模型提出同一個問題，通過比對來判斷答案可靠性。如今很多AI應(yīng)用里，集成了好幾種大模型，對比起來更方便。

再次提醒

AI只是輔助工具

不能代替我們的決策

要對AI的局限性保持清醒的認(rèn)知

不盲目相信AI生成的內(nèi)容