![]()
(來源:麻省理工科技評論)
AI 健康發(fā)展正盛。近日,微軟在旗下產(chǎn)品 Copilot 中推出了子模塊 Copilot Health,用戶可以在這個新板塊中接入自己的醫(yī)療記錄,并就健康問題進(jìn)行提問;幾天前,亞馬遜宣布此前僅限 One Medical 會員使用的 Health AI 將向公眾全面開放;同時,這些產(chǎn)品加入了 OpenAI 今年 1 月發(fā)布的 ChatGPT Health 以及 Anthropic 的 Claude 的行列。
面向大眾的健康 AI 已經(jīng)正式成為一股趨勢,市場對提供健康建議的聊天機(jī)器人有明確的需求,因為很多人難以通過現(xiàn)有醫(yī)療體系獲得幫助;一些研究也表明,當(dāng)前的大語言模型能夠給出安全且有用的建議。但研究人員表示,這些工具應(yīng)當(dāng)在大范圍發(fā)布之前接受獨立專家更嚴(yán)格的評估。
在健康這樣的高風(fēng)險領(lǐng)域,信任公司自行評估自家產(chǎn)品可能并不明智,尤其是當(dāng)這些評估結(jié)果沒有公開供外部專家審查時。即使公司確實在做高質(zhì)量、嚴(yán)謹(jǐn)?shù)难芯浚鼈內(nèi)匀豢赡艽嬖诿^(qū),需要更廣泛的研究界來補(bǔ)充。
“在你始終需要更多醫(yī)療服務(wù)的前提下,我認(rèn)為我們確實應(yīng)該追求每一條可行的路徑,”牛津互聯(lián)網(wǎng)研究所的博士生安德魯·比恩(Andrew Bean)說,“在我看來,這些模型完全有可能已經(jīng)到了值得推廣的水平。”
“但是,”他補(bǔ)充道,“評估必須非常嚴(yán)格。”
![]()
龐大的市場需求
在開發(fā)者看來,這些健康產(chǎn)品之所以現(xiàn)在推出,是因為大語言模型確實已經(jīng)達(dá)到了能有效提供醫(yī)療建議的水平。微軟 AI 健康業(yè)務(wù)副總裁、前外科醫(yī)生多米尼克·金(Dominic King)將 AI 能力的進(jìn)步列為公司組建健康團(tuán)隊以及 Copilot Health 問世的核心原因。“我們看到生成式 AI 在回答健康問題、給出優(yōu)質(zhì)回復(fù)方面取得了巨大進(jìn)步,”他說。
另一個關(guān)鍵因素是需求。在 Copilot Health 推出前不久,微軟發(fā)布了一份報告和配套博文,詳細(xì)說明了人們?nèi)绾问褂?Copilot 獲取健康建議。微軟表示,每天收到 5000 萬個健康相關(guān)問題,健康是 Copilot 移動端應(yīng)用上最熱門的討論話題
其他 AI 公司也注意到了這一趨勢并做出了回應(yīng)。“甚至在我們推出健康產(chǎn)品之前,就已經(jīng)看到人們使用 ChatGPT 咨詢健康問題的速度在飛快增長,”O(jiān)penAI 健康 AI 團(tuán)隊負(fù)責(zé)人卡蘭·辛格爾(Karan Singhal)說。(OpenAI 和微軟有長期合作關(guān)系,Copilot 由 OpenAI 的模型驅(qū)動。)
人們可能只是更喜歡向一個 24 小時在線、不帶評判的機(jī)器人傾訴自己的健康問題。但很多專家從當(dāng)前醫(yī)療體系的現(xiàn)狀來解讀這一現(xiàn)象。“這些工具的存在和它們在整個格局中的定位是有原因的,”西奈山醫(yī)療系統(tǒng)的首席 AI 官吉里什·納德卡尼(Girish Nadkarni)說,“因為獲取醫(yī)療服務(wù)很難,對某些人群來說尤其難。”
面向消費者的健康聊天機(jī)器人的理想愿景在于,它們可以在改善用戶健康的同時,減輕醫(yī)療系統(tǒng)的壓力。這可能包括幫助用戶判斷自己是否需要就醫(yī),這項任務(wù)被稱為分診。如果聊天機(jī)器人的分診功能有效,那些需要急救的患者可能比原本更早地尋求治療,而癥狀較輕的患者則可能安心地在家根據(jù)聊天機(jī)器人的建議管理癥狀,而不是給急診室和診所增加不必要的負(fù)擔(dān)。
但納德卡尼和西奈山其他研究人員最近發(fā)表的一項廣受討論的研究發(fā)現(xiàn),ChatGPT Health 有時會對輕癥建議過度治療,同時未能識別緊急情況。雖然辛格爾和其他一些專家認(rèn)為該研究的方法論可能無法全面反映 ChatGPT Health 的能力,但這項研究引發(fā)了人們對這些工具在面向公眾發(fā)布前缺乏外部評估的擔(dān)憂。
為本文接受采訪的大多數(shù)學(xué)術(shù)專家都認(rèn)為,考慮到一些人獲取醫(yī)療服務(wù)的渠道多么有限,健康聊天機(jī)器人確實可能帶來實際好處。但六位專家全部表達(dá)了擔(dān)憂:這些工具在沒有經(jīng)過獨立研究者安全評估的情況下就上線了。這些工具的一些用途相對無害,比如推薦鍛煉計劃或建議用戶向醫(yī)生提什么問題,但另一些用途有明顯風(fēng)險。分診是其中之一,讓聊天機(jī)器人提供診斷或治療方案是另一個。
ChatGPT Health 的界面上有醒目的免責(zé)聲明,表示該工具不用于診斷或治療;Copilot Health 和亞馬遜 Health AI 的發(fā)布公告中也包含類似警告。但這些警告很容易被忽略。“我們都知道人們會拿它來做診斷和管理病情,”貝斯以色列女執(zhí)事醫(yī)療中心的內(nèi)科醫(yī)生和研究員、Google 訪問研究員亞當(dāng)·羅德曼(Adam Rodman)說。
![]()
嚴(yán)謹(jǐn)?shù)尼t(yī)學(xué)測試
這些公司表示,他們在測試聊天機(jī)器人以確保它們在絕大多數(shù)情況下提供安全回復(fù)。OpenAI 設(shè)計并發(fā)布了 HealthBench,這是一個基準(zhǔn)測試,評估大語言模型在模擬真實健康對話中的表現(xiàn)。去年 GPT-5 發(fā)布時(GPT-5 同時驅(qū)動 ChatGPT Health 和 Copilot Health),OpenAI 公布了該模型的 HealthBench 得分:它大幅優(yōu)于此前的 OpenAI 模型,但整體表現(xiàn)遠(yuǎn)非完美。
但 HealthBench 這類評估存在局限性。比恩和同事上月發(fā)表的一項研究發(fā)現(xiàn),即使大語言模型能獨立從虛構(gòu)的書面場景中準(zhǔn)確識別出一種疾病,一個沒有醫(yī)學(xué)背景的用戶拿到同樣的場景后借助 LLM 輔助判斷,可能只有三分之一的時間能得出正確結(jié)論。如果用戶缺乏醫(yī)學(xué)知識,他們可能不知道場景中哪些信息(或自身真實經(jīng)歷中哪些信息)對提問來說是重要的,也可能誤讀大語言模型給出的信息。
比恩說,這個表現(xiàn)差距對 OpenAI 的模型來說可能意義重大。在最初的 HealthBench 研究中,OpenAI 報告其模型在需要向用戶追問更多信息的對話中表現(xiàn)相對較差。如果情況確實如此,那些缺乏足夠醫(yī)學(xué)知識、無法一開始就為健康聊天機(jī)器人提供所需信息的用戶,可能會收到無用甚至不準(zhǔn)確的建議。
OpenAI 的辛格爾指出,公司當(dāng)前的 GPT-5 系列模型在最初的 HealthBench 研究進(jìn)行時尚未發(fā)布,這一代模型在主動追問信息方面比前代有很大改進(jìn)。不過 OpenAI 也報告稱,當(dāng)前的旗艦?zāi)P?GPT-5.4 在主動獲取上下文方面實際上不如早期版本 GPT-5.2。
比恩認(rèn)為,理想情況下,健康聊天機(jī)器人應(yīng)該像他的研究那樣,在發(fā)布前先經(jīng)過有真人用戶參與的對照測試。這可能是一項艱巨的任務(wù),尤其考慮到 AI 領(lǐng)域的發(fā)展速度和人類研究所需的時間。比恩自己的研究用的還是將近一年前發(fā)布的 GPT-4o,現(xiàn)在已經(jīng)過時了。
本月早些時候,Google 發(fā)布了一項符合比恩標(biāo)準(zhǔn)的研究。在這項研究中,患者先與 Google 的 AMIE(Articulate Medical Intelligence Explorer,一款尚未公開發(fā)布的醫(yī)療大語言模型聊天機(jī)器人)討論醫(yī)療問題,然后再去見真人醫(yī)生。總體來看,AMIE 的診斷準(zhǔn)確率與醫(yī)生持平,研究人員也未在任何對話中發(fā)現(xiàn)重大安全隱患。
盡管結(jié)果令人鼓舞,Google 并不打算近期發(fā)布 AMIE。“雖然研究取得了進(jìn)展,但在系統(tǒng)真正應(yīng)用于診斷和治療之前,還有重大局限性需要解決,包括在公平性、公正性和安全性測試方面的進(jìn)一步研究,”Google DeepMind 的研究科學(xué)家艾倫·卡蒂克薩林加姆(Alan Karthikesalingam)在郵件中寫道。Google 最近透露,它與 CVS 合作搭建的健康平臺 Health100 將包含一個由旗艦 Gemini 模型驅(qū)動的 AI 助手,不過這個工具大概不會用于診斷或治療。
羅德曼與卡蒂克薩林加姆共同主導(dǎo)了 AMIE 研究,他并不認(rèn)為這種耗時數(shù)年的大型研究一定是評估 ChatGPT Health 和 Copilot Health 這類聊天機(jī)器人的正確方式。“臨床試驗的范式在生成式 AI 領(lǐng)域并不總是適用,原因很多,”他說,“這就是基準(zhǔn)測試討論的意義所在。有沒有一個來自可信第三方的基準(zhǔn)測試,大家都認(rèn)可它是有意義的,各實驗室可以用它來自我約束?”
這里的關(guān)鍵是“第三方”。無論公司對自家產(chǎn)品做了多全面的評估,要完全信任他們的結(jié)論仍然很難。第三方評估帶來的不僅是公正性,如果有多個第三方參與,還能幫助彌補(bǔ)盲區(qū)。
OpenAI 的辛格爾表示他非常支持外部評估。“我們盡力支持學(xué)術(shù)社區(qū),”他說,“我們發(fā)布 HealthBench 的部分原因就是給學(xué)術(shù)界和其他模型開發(fā)者提供一個高質(zhì)量評估的范例。”
他說,鑒于產(chǎn)出一項高質(zhì)量評估的成本很高,他懷疑任何單個學(xué)術(shù)實驗室能否做出他所說的“統(tǒng)治一切的唯一評估”。但他高度評價了學(xué)術(shù)團(tuán)體將已有評估和新評估整合成綜合評估套件的努力,比如斯坦福的 MedHELM 框架,它在各種醫(yī)療任務(wù)上對模型進(jìn)行測試。目前,OpenAI 的 GPT-5 在 MedHELM 上擁有最高分。
斯坦福大學(xué)醫(yī)學(xué)教授、MedHELM 項目負(fù)責(zé)人尼加姆·沙阿(Nigam Shah)說,這個框架也有局限性。它只評估聊天機(jī)器人的單輪回復(fù),但一個向聊天機(jī)器人尋求醫(yī)療建議的人可能會進(jìn)行多輪來回對話。他說自己和一些合作者正在著手構(gòu)建一個能夠評估這類復(fù)雜對話的體系,但這需要時間和資金。“你我完全沒有能力阻止這些公司發(fā)布面向健康的產(chǎn)品,它們想干嘛就干嘛,”他說,“像我們這樣的人唯一能做的就是想辦法為基準(zhǔn)測試找到資金。”
不過,醫(yī)生自己也會犯錯——對于一個只能偶爾看到醫(yī)生的人來說,一個隨時可用但偶爾出錯的大語言模型仍然可能比現(xiàn)狀好得多,只要它的錯誤不會太嚴(yán)重。
但以目前的證據(jù)水平來看,我們無法確切判斷現(xiàn)有的這些工具是否真的帶來了改善,還是它們的風(fēng)險超過了收益。
https://www.technologyreview.com/2026/03/30/1134795/there-are-more-ai-health-tools-than-ever-but-how-well-do-they-work/
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.