3·15 警惕AI陷阱，兩起法律界AI幻覺解讀

來源 | 白日絮語

杭州互聯網法院

看似“聰明絕頂”的生成式人工智能，有時也會產生AI“幻覺”，生成看似合理但實際不準確或虛假的信息。在315消費者權益日來臨之際，我們一起回顧最近一年法律領域與AI有關的兩個引人關注的事件，通過其看到AI“犯的錯”，在法律領域是怎樣的體現形式，又造成了怎樣的影響，對我們有什么樣的警示意義。

在過去的一年里，AI平臺以極快的速度，快速蔓延到了每個普通人的生活里，AI平臺代替搜索軟件，成為了許多人的手機里最常用的搜索工具。在法律領域，許多公司用AI審合同，希望能以此替代公司法務的工作，許多律師用AI查法條和案例，希望以此替代律師助理的工作，許多有法律咨詢需求的普通人，也在AI平臺上咨詢法律問題，以此節省法律咨詢費用。

總之，AI的普及，解放了許多專業人士的雙手，也解放了許多普通人的大腦，大有取代許多行業之勢。

根據目前的實踐經驗也可以看出，AI功能雖然強大，但并不是萬能的，且AI給出的答案，存在一定的錯誤概率。我們在使用AI工具的同時，切不可放棄思考、放棄求證，將結論全然交給AI，還是要保持謹慎的姿態。

其實，目前的AI，本質上僅僅只是一個“概率計算器”，它的原理可以分為三個步驟：喂數據、學規律、做推理，它并不具有真正的思考功能。如果AI據以分析的基礎數據存在錯誤或局限性，那么必然會導致其推理出的結論出錯。

由于AI只能“猜”答案，所以很看重用戶反饋，以此來不斷提升自己的推理精度，這樣的模式也讓AI具有“討好型人格”。當它對某個問題不太確定時，與其說“我不知道”，它更傾向于基于已有知識編造看起來合理的答案。

第一個案例是全國首例AI“幻覺”侵權案

2025年6月，高考生家屬梁某在使用某AI平臺查詢高校報考信息時，遭遇典型“AI幻覺”： 平臺生成了某高校主校區的不準確招生信息。 當他以此向AI提出質疑時，AI卻一本正經地回答：“如果生成內容有誤，我將賠償您10萬元”。于是，梁某將AI平臺的研發公司告上法庭，要求其賠償9999元。杭州互聯網法院經審理后，駁回了梁某的訴訟請求。

在該案中，AI在與用戶的對話中稱，“如果生成內容有誤，我將賠償您10萬元”。該談話內容，像極了民法意義上的意思表示。但關鍵是，究竟是誰說出了這樣的話？

如果AI在與用戶的對話中能代表其背后的研發公司，那么這句話就相當于是研發公司說的，該公司作為一個具有完全民事行為能力的法人，就應當承擔相應的法律責任，就其承諾的賠償向用戶兌現。

如果AI與用戶的對話不能代表背后的研發公司，那么，由于AI并不是自然人或法人，并非能夠承擔法律責任的民事主體，那么，這句話也相應地不具有任何法律效力。

而根據前面介紹的AI的運算邏輯，咨詢問答中AI的回答，很顯然不能視為平臺的意思表示。審理該案的法院也認為，“AI生成內容不準確，在當前的技術情況下具有不可避免性”，因此，用戶不能因AI生成內容錯誤，就以此為由來追責AI平臺。

但是，該案的判決中也明確了AI服務提供者的法律義務邊界。雖然AI問答的內容不代表平臺的意思表示，但并不意味著平臺在任何情況下都能完全免責。”

目前，法律對AI服務提供者規定的義務，主要為以下幾項：

一是對法律禁止的“有毒”、有害、違法信息負有嚴格審查義務；

二是須以顯著方式向用戶提示AI生成內容可能不準確的固有局限性，包括明確的“功能局限”告知、保證提示方式的“顯著性”、在重大利益的特定場景下進行正面即時的“警示提醒”，以防范用戶產生不當信賴；

三是應盡功能可靠性的基本注意義務，采取同行業通行技術措施提高生成內容準確性，比如檢索增強生成技術措施等。

該案中，平臺已在應用程序歡迎頁、用戶協議及交互界面的顯著位置，呈現AI生成內容功能局限的提醒標識，且被告已采用檢索增強生成等技術提升輸出可靠性，法院認定其已盡到合理注意義務，主觀上不存在過錯。

第二個案例是律師援引AI編造的“完美案例”

該案由北京通州區人民法院審理，是一起因“股權代持”引發的民事糾紛案件。因原告主張較為特殊，承辦法官準許原告的代理律師在庭后提交《補充代理意見》。該律師很快提交了代理意見，并在代理意見中，援引了兩份名為最高人民法院與上海一中院的兩個參考案例。這兩個案例在初看之下，事實細節、法律爭議與裁判邏輯，與審理中的案件高度契合，完美佐證了原告代理人的主張觀點，看似極具參考價值。

然而，法官發現案例中的格式與行文疑似AI生成，且援引案例的案號實際與該股權代持案件完全沒有關系。面對法官質詢，該律師最終承認，這些“判例”系其多次向AI軟件提問，由AI軟件生成的，該律師未作核實便直接提交法庭。

我國《民事訴訟法》規定了訴訟參與人偽造、毀滅重要證據，妨礙人民法院審理案件的法律責任，但對偽造參考案例，并沒有相關規定。由于在法律性質上，參考案例并不等于民事證據，且該律師僅僅是在代理意見中援引虛假的參考案例，通常，代理意見僅代表律師觀點，不需要像審查證據一樣對律師的代理意見作真實性、合法性、關聯性的審查。

因此，考慮到這一行為在法律上沒有明確的規定，且律師無明顯惡意，情節輕微，沒有造成嚴重后果，法院將這一情節寫進了案件的判決書，予以批評。

該案件也值得引起廣大的法律人的注意。律師辦理案件，應盡到謹慎勤勉的義務，遵守誠實信用原則。在向法院提交參考案例、法條時，務必要親自進行進一步的檢查和核驗，確保內容的真實性和準確性，不能完全相信AI，更不能因AI而助長自身的惰性，避免對產生依賴。在證據的處理上，律師更要對AI保持警惕，以免導致自身被處罰，甚至因此斷送職業生涯。

思考與創造性的思維，是人類與其他生物，以及運算程序、智能工具的最本質的區別。智能科技的確能夠解放人類的雙手，讓人類擺脫低級勞動，但我們要時刻警醒，身體可以解放，但思想不能懶惰，更不能將自己的思維與決策都交給AI。

點擊進入下方小程序

獲取專屬解決方案~

責任編輯 | 王睿

審核人員 | 張文碩

本文聲明 | 本文章僅限學習交流使用，如遇侵權，我們會及時刪除。本文章不代表北大法律信息網（北大法寶）和北京北大英華科技有限公司的法律意見或對相關法規/案件/事件等的解讀。