43%醫療AI設備1年內被召回，FDA監管跟不上了

2025年3月，美國醫療安全監測機構ECRI把"AI治理缺失"列為年度第二大患者安全隱患。這個排名不是拍腦袋定的——它僅次于醫療領域的"煤氣燈效應"，基于真實事故數據、文獻和專家分析綜合評估。ECRI明確警告：AI生成的誤診和不當治療決策，正在造成患者受傷甚至死亡，而醫護人員甚至難以判斷錯誤是否源自AI。

8個月后，JAMA Health Forum的一項研究給出了更具體的數字。研究人員追蹤了FDA批準的AI醫療設備召回記錄，發現43.4%的召回發生在獲批后第一年內。這個數字是普通510(k)設備召回率的兩倍。更扎心的是，絕大多數被召回設備根本沒做過臨床試驗；那些缺乏臨床驗證報告的設備，召回規模更大、次數更頻繁。上市公司制造了53.2%的AI醫療設備，卻貢獻了91.8%的召回案例。

當算法否決醫生：90%申訴被推翻，工具仍在運行

UnitedHealth的nH Predict算法訴訟仍在發酵。這款被保險公司用于預測患者康復周期的AI工具，被指控系統性推翻醫生的護理建議，拒絕為老年醫保優勢計劃成員提供急性后期護理。2025年9月，聯邦法官駁回了UnitedHealth限制證據開示的請求，訴訟繼續推進。

原告方披露了一個關鍵數據：超過90%的拒保申訴最終被推翻。這意味著算法最初的否決決定，在人工復核后幾乎全部被糾正。但工具沒有被停用，而是繼續處理著成千上萬份申請。一位參與訴訟的律師向彭博社表示，這相當于"用Excel表格決定誰該獲得臨終關懷"。

算法的黑箱特性在這里成了雙刃劍。醫護人員收到拒保通知時，看不到AI的具體推理過程，只能看到結論。當申訴成功率高達九成，問題顯然不在醫生的判斷，而在算法的訓練數據或目標函數——但使用者無從得知。

華沙交易所的75分鐘：18%交易量引發的系統停擺

2025年4月7日，華沙證券交易所因算法交易訂單洪峰暫停交易約75分鐘。當天全球市場劇烈波動，WIG20指數日內暴跌7%，觸發熔斷前交易所被迫技術性停牌。彭博社后續報道顯示，算法交易和高頻策略在前一年占華沙股票交易量的18.4%，交易所已開始審查相關監管規則。

這不是Flash Crash（閃崩）的重演，而是另一種模式：當市場波動率飆升，大量自動化策略同時調整倉位，形成正反饋循環。人類交易員還在消化新聞，算法已經完成了數千筆訂單。交易所的撮合引擎沒崩，但流動性已經蒸發——買單和賣單在極端價格區間錯配，市場失去了發現價格的功能。

波蘭金融監管局事后承認，現有的"斷路器"機制設計于人工主導交易的時代，對算法集群行為的響應速度不足。一個細節值得玩味：停牌期間，部分場外衍生品交易仍在繼續，導致期貨與現貨價格出現罕見背離。當交易所恢復交易，套利算法立即涌入，又在幾分鐘內抹平了價差。

為什么這兩個行業特別脆弱

醫療和金融共享一個特征：決策鏈條長，但糾錯窗口短。醫生從懷疑AI診斷到確認錯誤，可能錯過最佳治療時機；風控團隊從發現模型異常到切斷交易，可能已有數千萬美元頭寸暴露。更麻煩的是，這兩個行業的專業人士都面臨"算法權威"的心理壓力——系統給出的數字往往比人的直覺更具說服力，即使前者明顯荒謬。

ECRI在報告中提到一個被忽視的環節：醫療機構的IT部門通常負責AI系統的部署和維護，但臨床安全責任歸屬模糊。當放射科的AI輔助診斷工具漏診，是放射科醫生擔責，還是采購該系統的管理層擔責，抑或是提供算法的供應商擔責？2025年的多起訴訟顯示，原告傾向于起訴所有相關方，而被告則互相推諉。

金融領域的責任劃分相對清晰，但技術復雜性制造了新的盲區。華沙交易所事件中，涉事的算法交易策略來自多家不同的做市商和資管機構，沒有單一主體觸發停擺。監管者面臨一個經典困境：限制算法交易比例可能損害市場流動性，放任自流則可能重演系統性風險。

監管正在補課，但速度差了一拍

FDA在2025年更新了AI/ML（機器學習）醫療器械的審批指南，要求廠商提交"預定變更控制計劃"，即提前說明算法將如何持續學習和更新。但這不溯及既往，已上市設備的監管真空仍然存在。JAMA研究的作者建議，FDA應考慮將AI設備納入更嚴格的上市前審批（PMA）通道，而非現行的510(k)簡化程序——后者允許通過與已上市設備"實質等同"獲批，無需全新臨床驗證。

歐盟的《人工智能法案》于2025年全面生效，將醫療診斷AI列為"高風險"類別，要求全生命周期審計追蹤。但法案的執行細則仍在制定中，廠商的合規成本尚未明朗。一位醫療器械法規顧問向MedTech Dive透露，部分美國廠商正考慮退出歐洲市場，因為合規投入可能吞噬利潤。

金融領域的監管響應更快，但技術迭代更快。美國證券交易委員會（SEC）在2025年初提出了針對券商算法交易的" kill switch"（緊急切斷）強制要求，但規則制定流程預計持續18個月。與此同時，生成式AI開始被用于撰寫研究報告和生成交易策略，現有的監管框架完全沒有覆蓋這一場景。

華沙交易所的75分鐘停擺，最終沒有演變成系統性危機。但交易所技術負責人在事后復盤會上承認，如果當天的波動幅度再擴大2個百分點，熔斷機制可能無法阻止訂單簿徹底清空——那將是一個沒有價格的市場，算法仍在運行，但已無人可交易。

當90%的AI拒保決定被人工推翻，這個比例本身是否該成為停用算法的觸發條件？還是說，只要成本核算下來AI仍比全人工審核省錢，它就會繼續運轉——畢竟申訴流程本身也是成本的一部分？