Google AI“致命錯誤”事件曝光：一條錯誤建議如何讓癌癥患者加速死亡?

2026年開年第一個月，科技圈就被一起“AI誤導致死風險”事件炸開了鍋。

這次翻車的主角不是別人，正是全球搜索巨頭Google。它引以為傲的AI Overviews功能，在回答醫療健康問題時，給出了足以致命的錯誤建議——建議胰腺癌患者“多吃高脂肪食物”。

這不是什么AI“幻覺”那么簡單。對于網絡安全從業者來說，這起事件暴露的問題遠比表面看起來更深刻：當我們談論AI安全時，防御外部攻擊只是一方面，如何防止AI系統自身成為風險源，正在成為一個更緊迫的命題。

一條“致命錯誤”建議是怎么誕生的?

據《衛報》及多家獨立機構調查，Google AI Overviews在處理醫療查詢時犯下了多個致命錯誤：

致命建議一：讓胰腺癌患者吃高脂食物。在醫學常識里，胰腺癌患者普遍存在胰腺外分泌功能障礙，根本無法正常分泌脂肪酶消化脂肪。高脂飲食會直接導致脂肪瀉、營養不良，甚至誘發急性胰腺炎，加速患者死亡進程。

致命建議二：提供毫無意義的肝功能“正常值”。當用戶查詢肝功能指標時，AI給出了一組看似專業的數值。但問題在于，肝功能指標的參考范圍高度依賴性別、年齡、種族和實驗室標準。更要命的是，對于肝硬化等重癥患者，由于肝細胞大量壞死，某些肝酶指標反而會呈現"假性正常"。這種脫離上下文的數據，可能讓真正的重癥患者誤以為自己健康，錯失最后的救治窗口。

致命建議三：混淆癌癥篩查手段。在陰道癌相關查詢中，AI錯誤地將用于宮頸癌篩查的巴氏涂片當作診斷工具推薦，極易造成漏診。

這些錯誤已經不是“不夠準確”的問題，而是方向性的南轅北轍。

技術解剖：RAG架構的三大系統性缺陷

作為安全從業者，我們需要理解：這不是簡單的訓練數據污染，而是檢索增強生成(RAG)架構在邏輯推理和信源加權機制上的系統性失敗。

缺陷一：概率生成與確定性知識的根本沖突。大語言模型本質上是基于概率的“下一個詞預測器”。但醫療知識是確定性的、排他性的——要么能吃，要么不能吃，沒有中間地帶。互聯網上充斥著大量非專業論壇討論、另類療法甚至反諷內容。如果模型無法正確識別信源權威性，或者在生成時丟失了關鍵的否定邏輯(比如把“必須避免”理解成了“可以嘗試")，就會產生聽起來通順、實則致命的"縫合怪"答案。

缺陷二：長上下文中的注意力漂移。處理復雜醫療文獻時，Transformer的注意力機制可能在長文本中發生漂移，未能將限制條件(如“健康人群參考值”)與具體數值正確綁定。結果就是，信息被剝離了關鍵的上下文約束，變成了一個危險的“孤島數據”。

缺陷三：缺乏領域專用的安全對齊。通用的人類反饋強化學習(RLHF)訓練，更關注對話流暢性和“有用性”，而非事實的絕對準確性。在沒有醫療專家深度參與的情況下，模型學會的是“迎合用戶提問”(給出一個看起來確定的答案)，而不是在不確定時選擇“拒絕回答”。

這三個缺陷，放在醫療、金融、關鍵基礎設施等高風險領域，每一個都可能是災難性的。

給網安從業者的三點啟示

Google事后緊急下線了相關功能，但傷害已經造成。對于我們這些網絡安全從業者來說，這起事件帶來了幾個清晰的信號：

啟示一：AI安全不只是防御攻擊，更要防止AI自身成為威脅。我們習慣了思考如何防范AI被投毒、被對抗樣本攻擊，但同樣需要建立機制，防止AI在正常運行時產生高風險輸出。這需要在架構設計階段就引入“安全護欄”——比如針對高風險領域的專家回環(Human-in-the-loop)機制、強制性的信源可信度評估、以及在不確定時主動拒答的能力。

啟示二：通用大模型直接上生產，在高風險領域就是在玩火。RAG架構在通用場景下可能表現不錯，但在醫療、法律、金融等垂直領域，必須經過領域專家的深度對齊訓練和嚴格的安全測試。這不僅是技術問題，更是合規和法律責任問題。

啟示三：監管風暴即將到來，提前布局合規能力。這起事件正在加速各國將“生成式AI作為醫療設備(SaMD)”納入強監管的進程。對于企業來說，盡早建立AI輸出的審計、追溯和責任認定機制，將成為競爭力的一部分。

AI時代的安全，是一場更復雜的戰爭。它不僅要防御外部的惡意攻擊，更要馴服AI內部的“隨機性惡魔”。

Google這次翻車，給所有人上了一課：在技術的狂飆突進中，安全的底線必須守住，否則代價可能是生命。

作為網絡安全從業者，我們有責任成為這條底線的守護者——不僅要懂攻防技術，更要懂AI系統的風險邊界在哪里，如何在創新與安全之間找到平衡點。

畢竟，技術是用來服務人的，而不是傷害人的。

合作電話：18610811242

合作微信：aqniu001

聯系郵箱：bd@aqniu.com