【患者安全】告知患者使用人工智能工具的倫理義務(wù)

Ethical Obligations to Inform Patients About Use of AI Tools

編譯自：Michelle Mello，Danton Char，Sonnet Xu，JAMA 2025;334;(9), 圖片來自網(wǎng)絡(luò)

人工智能（AI）工具在醫(yī)療保健領(lǐng)域的普及，對“患者應(yīng)了解哪些診療相關(guān)信息”這一傳統(tǒng)認知發(fā)起了挑戰(zhàn)。盡管知情同意在醫(yī)療實踐中具有普遍重要性，但像自動心電圖解讀器、基于規(guī)則的風(fēng)險分類工具以及UpToDate臨床決策摘要這類決策支持工具，即便會對治療決策產(chǎn)生影響，通常也不會向患者告知其使用情況。那么，人工智能工具是否應(yīng)與上述工具同等對待呢？

法律層面的知情同意原則規(guī)定，需向患者披露對“理性患者”決定是否接受醫(yī)療服務(wù)具有重要意義的信息。有證據(jù)表明，若患者知曉治療過程有AI工具參與，其對治療的看法可能會發(fā)生改變。近期調(diào)查數(shù)據(jù)顯示：60%的美國成年人表示，對醫(yī)生依賴AI工具開展診療感到不安；70%至80%的人對AI工具改善自身診療關(guān)鍵環(huán)節(jié)的期望較低；僅有三分之一的人信任醫(yī)療系統(tǒng)會負責(zé)任地使用AI工具；而63%的人明確表示，“非常希望”在自身診療過程中使用AI工具時能得到告知。

為幫助醫(yī)療機構(gòu)管理者及從業(yè)者應(yīng)對這一棘手問題，我們提出了一個決策框架，旨在明確應(yīng)向患者告知哪些與AI工具相關(guān)的信息。與以往研究不同，本框架聚焦于需人工監(jiān)督的AI工具，因為在當(dāng)前醫(yī)療保健領(lǐng)域，完全自主運行的AI工具應(yīng)用尚屬罕見。

【征求同意、主動告知，還是兩者皆不？】

盡管《人工智能權(quán)利法案藍圖》等重要指導(dǎo)文件強調(diào)了患者的“知情權(quán)與解釋權(quán)”，但要求醫(yī)療機構(gòu)向患者逐一告知所使用的每一款A(yù)I工具，既不現(xiàn)實，也無必要。在部分醫(yī)院，患者的診療過程可能涉及數(shù)十種AI工具，其中許多工具都在后臺運行。這種逐一告知的方式，還可能加劇醫(yī)療領(lǐng)域已存在的問題——當(dāng)前醫(yī)療服務(wù)中的信息披露與知情同意流程，往往流于形式、過于注重法律合規(guī)性，而非真正發(fā)揮信息傳遞價值、增強患者自主權(quán)。

原則上希望了解診療信息的患者，在入院后可能會因信息過載而難以應(yīng)對，因此，評估額外披露AI工具相關(guān)信息的實際價值至關(guān)重要。此外，盡管知情同意不能替代其他AI治理機制，但過度強調(diào)知情同意，可能會削弱醫(yī)療機構(gòu)對AI工具進行監(jiān)督的動力。更值得注意的是，信息披露甚至可能帶來負面影響：即便有證據(jù)表明AI工具能優(yōu)化臨床醫(yī)生的診療建議與溝通效果，向患者披露AI工具的使用情況后，仍可能引發(fā)患者對這些建議和溝通的不信任。

例如，有研究顯示，患者原本認為AI起草的郵件比醫(yī)生起草的更具同理心，但一旦告知患者郵件由AI起草，其對郵件的滿意度會顯著下降。當(dāng)AI輔助診療方案明顯更優(yōu)時，嚴格的知情同意制度可能會迫使臨床醫(yī)生不得不選擇次優(yōu)的診療方案，進而可能導(dǎo)致醫(yī)生產(chǎn)生道德困擾。同時，為患者提供“退出AI工具使用”的選項，還會帶來社會層面的成本：這可能減少用于訓(xùn)練AI工具的患者數(shù)據(jù)多樣性，影響AI工具的迭代優(yōu)化。因此，不應(yīng)想當(dāng)然地認為，向患者披露AI工具的使用情況就一定符合患者的利益。

醫(yī)療機構(gòu)在決定部署某款A(yù)I工具時，制定相應(yīng)的患者信息披露政策應(yīng)成為決策的必要環(huán)節(jié)。我們建議，信息披露政策（包括告知患者工具使用情況、征求患者使用同意，或兩者皆不執(zhí)行）的制定，應(yīng)基于以下兩項核心判斷：

1. 使用該AI工具給患者帶來身體傷害的風(fēng)險程度如何？

2. 患者在知曉信息后，能在多大程度上真正行使自主權(quán)（如選擇是否使用工具）？

當(dāng)傷害風(fēng)險與患者自主選擇空間均較高時，醫(yī)療機構(gòu)的信息披露義務(wù)達到頂峰——此時至少需向患者提供充分的信息告知；若條件允許，征求患者的書面同意會是更優(yōu)選擇。相反，當(dāng)AI工具的傷害風(fēng)險極低，且患者知曉信息后也無法采取實際行動（如無法影響工具使用決策）時，不主動告知患者可能是更合理的做法。下表列舉了不同AI應(yīng)用場景的示例及對應(yīng)的信息披露建議。

人工智能（AI）應(yīng)用示例及患者告知建議

具體應(yīng)用場景

建議及依據(jù)

需征求同意

AI 引導(dǎo)的非自主手術(shù)機器人

需征求同意：手術(shù)通常存在較高傷害風(fēng)險，且患者可選擇非機器人手術(shù)方式。

分析癌癥患者基因組信息以預(yù)測其對特定藥物的反應(yīng)并推薦治療方案的工具

需征求同意：該工具若分析結(jié)果不準確，可能導(dǎo)致不良治療結(jié)局，且患者可選擇不使用該工具。

需告知

基于現(xiàn)有超聲心動圖數(shù)據(jù)識別可能患有肥厚型心肌病的預(yù)測算法

對篩查結(jié)果呈陽性的患者需告知：盡管患者無法避免該工具對自身數(shù)據(jù)的分析，但知曉后續(xù)超聲心動圖檢查是由 AI 算法推薦的，可能會影響其是否接受該檢查建議的決策。

用于起草患者郵件回復(fù)草稿的生成式 AI 工具

需告知：該工具若生成內(nèi)容不準確，可能造成傷害；知曉情況的患者在遇到可疑郵件回復(fù)時，更可能主動提出疑問。

用于生成門診就診摘要的環(huán)境監(jiān)聽工具

需告知：該工具若記錄或總結(jié)內(nèi)容不準確，可能造成傷害，且患者可核對摘要的準確性。（注：在部分州，法律明確要求需征求患者同意。）

無需告知且無需征求同意

用于決定手術(shù)室是否預(yù)血液以備輸血的預(yù)測算法

無需：患者無法影響此類運營決策，且確保血液可用并不替代輸血操作本身所需的患者同意。

AI 輔助乳腺 X 光檢查解讀工具

無需（假設(shè) AI 輔助解讀優(yōu)于純?nèi)斯そ庾x）：若患者選擇前往其他機構(gòu)接受無 AI 輔助的解讀，會增加傷害風(fēng)險。

用于整理放射科醫(yī)生口述影像檢查結(jié)果摘要的生成式 AI 工具

無需：該工具使用風(fēng)險較低，僅用于總結(jié)放射科醫(yī)生已確認的輸入信息。

用于識別可安全停止每日實驗室檢查的住院患者的預(yù)測算法

無需：患者無法選擇退出該工具的使用，也無法強制要求繼續(xù)進行實驗室檢查；且最終是否進行實驗室檢查的決策由臨床醫(yī)生做出，該工具僅提供 “可安全停止檢查” 的建議。

幫助醫(yī)院向保險公司提交事前授權(quán)申請的生成式 AI 工具

無需：該工具使用風(fēng)險較低（即便申請被拒絕，仍可通過申訴解決），且患者無法影響此類運營決策，也無法親自審核事前授權(quán)申請內(nèi)容的準確性。

建議的前提是，該人工智能模型在針對類似人群的預(yù)部署測試中表現(xiàn)良好

在判斷AI工具可能給患者帶來傷害的可能性時，需評估以下三個因素：（1）AI工具本身固有的風(fēng)險（如算法偏差、數(shù)據(jù)誤差等）；（2）工具產(chǎn)生的錯誤未被攔截且最終影響患者的可能性；（3）錯誤可能導(dǎo)致的傷害嚴重程度。這三個因素的乘積越大，醫(yī)療機構(gòu)的信息披露義務(wù)就越強。需要特別注意的是，即便部分因素的數(shù)值較低，三者的乘積仍可能較高。例如，AI手術(shù)可視化工具的出錯概率可能較低，但一旦出錯，就可能立即給患者造成嚴重傷害；患者門戶消息工具出現(xiàn)重大錯誤的頻率可能不高，但臨床醫(yī)生發(fā)現(xiàn)并糾正這些錯誤的可能性也較低。

若因算法在特定患者亞組（如兒童、特定種族人群）中的表現(xiàn)較差，導(dǎo)致部分患者面臨更高的錯誤風(fēng)險，該如何處理呢？當(dāng)患者可被明確識別為易受算法偏差影響的亞組成員時，即便根據(jù)決策框架，無需向其他患者披露AI工具的使用情況，也應(yīng)為這部分患者提供定制化的信息告知。例如，當(dāng)將主要基于成人數(shù)據(jù)訓(xùn)練的預(yù)測算法應(yīng)用于兒童患者時，應(yīng)告知患兒父母：醫(yī)生對該算法輸出結(jié)果的信心，低于其在成人患者群體中的信心。

本框架的第二項判斷標準，是評估在具體診療場景中，患者針對AI工具實際能行使的自主權(quán)程度。患者的自主權(quán)可能表現(xiàn)為兩種形式：

1. 對部分AI工具，患者可選擇退出使用。例如，患者可選擇不使用AI引導(dǎo)的手術(shù)機器人，或不接受AI輔助的乳腺X光檢查解讀。

2. 對另一些AI工具，患者無法選擇退出。例如，患者無法阻止醫(yī)院使用預(yù)測算法來決定手術(shù)室是否為其預(yù)存血液。

此外，對于部分AI工具，即便患者無法選擇退出使用，知曉AI工具參與診療過程的患者，仍可能通過調(diào)整自身行為來更好地維護自身權(quán)益。例如，知道醫(yī)生的郵件由AI起草的患者，在遇到內(nèi)容可疑的表述時，比認為郵件完全由醫(yī)生撰寫的患者更可能主動提出疑問；若患者的女兒知曉照顧其母親的護士并未親自撰寫下班交接總結(jié)記錄，她可能更傾向于登錄電子健康記錄系統(tǒng)，核對記錄中的錯誤與遺漏，并提醒接班護士進行更正。因此，即便無法讓患者決定是否使用AI工具，醫(yī)療機構(gòu)也應(yīng)評估：向患者披露AI工具的使用情況，是否能增強患者參與自身或家人診療過程的能力。

【倫理義務(wù)與法律義務(wù)的關(guān)系】

我們提出的倫理框架，與法律層面的知情同意原則基本一致——法律要求醫(yī)療機構(gòu)披露“實質(zhì)性信息”。這里的“實質(zhì)性”，指的是對“理性患者”決定是否接受某項治療（在部分州，還包括對“理性醫(yī)生”決定提供何種治療）具有重要意義的信息。無關(guān)緊要的風(fēng)險信息、患者在診療過程中無法避免使用的工具相關(guān)信息，均不符合“實質(zhì)性信息”的標準。但如果患者可在其他醫(yī)療機構(gòu)獲得不使用該AI工具的診療服務(wù)，那么關(guān)于該AI工具的信息就屬于“實質(zhì)性信息”，需要向患者披露。

部分州的法律可能會明確規(guī)定，醫(yī)療機構(gòu)需向患者告知特定AI工具的使用情況。例如，監(jiān)聽相關(guān)法律可能要求，對門診診療過程進行錄音（如使用環(huán)境監(jiān)聽工具）需獲得“雙方同意”；部分州已通過立法，要求醫(yī)療機構(gòu)披露特定患者溝通內(nèi)容（如郵件回復(fù)）由AI起草。這些法律要求與本倫理框架的核心考量一致：“雙方同意”的法律規(guī)定賦予患者退出錄音的權(quán)利；而關(guān)于AI起草郵件的法律規(guī)定，則考慮到患者在知曉郵件由AI撰寫后，可能會對內(nèi)容模糊或可疑的溝通內(nèi)容主動提出疑問。

【對本框架的批評與回應(yīng) 】

與以往部分研究不同，本框架并未要求醫(yī)療機構(gòu)對所有“高風(fēng)險”AI工具（即承擔(dān)重要臨床職能或用于重癥患者診療的AI工具）都進行信息披露。這一看似違背直覺的設(shè)定，實則基于醫(yī)療實踐的現(xiàn)實情況：當(dāng)前醫(yī)療領(lǐng)域使用的大多數(shù)AI工具，其輸出結(jié)果都需經(jīng)過人工審核后，才會用于指導(dǎo)診療行動。因此，判斷是否需要披露的關(guān)鍵問題在于：在考慮到人工審核可能成功識別錯誤的前提下，患者面臨的殘余風(fēng)險是否仍處于較低水平？

需要注意的是，臨床醫(yī)生的能力限制、對AI工具的自動化偏見（過度依賴AI輸出結(jié)果），以及對AI工具弱點的不熟悉，都可能削弱人工審核的效果。但即便如此，“人工審核”這一環(huán)節(jié)的存在，仍使得患者面臨的實際風(fēng)險與“無人工審核的高風(fēng)險AI工具”存在本質(zhì)區(qū)別，因此不能簡單地將“承擔(dān)重要臨床職能”或“用于重癥患者”作為信息披露的唯一標準。

此外，本框架還排除了幾個看似與信息披露義務(wù)相關(guān)，但實際并非核心的因素，具體如下：

1. 有觀點認為，AI 工具與其他未向患者披露的決策支持工具或診療風(fēng)險因素并無本質(zhì)區(qū)別，因此無需專門制定 AI 工具披露政策。但這種觀點的前提是 “當(dāng)前的信息披露實踐已達到最優(yōu)狀態(tài)”，而現(xiàn)實情況是，作為一種認知輔助工具，AI 工具的人工監(jiān)督程度可能遠低于前幾代決策支持工具。

2. 部分評論者認為，AI 工具可能存在的歧視風(fēng)險，應(yīng)成為獨立的信息披露理由。

3. 但我們認為，盡管在算法中納入種族等屬性時，醫(yī)療機構(gòu)有義務(wù)對算法進行監(jiān)督并減少偏差，但 “歧視風(fēng)險” 本質(zhì)上屬于 “傷害風(fēng)險” 的范疇，可通過本框架中 “傷害風(fēng)險評估” 環(huán)節(jié)覆蓋，無需單獨作為披露理由。

4. 有觀點提出，若 AI 工具的使用需要將可識別的患者信息發(fā)送至醫(yī)療系統(tǒng)外，就應(yīng)向患者披露，因為許多患者對第三方使用其數(shù)據(jù)感到不安。但這一標準存在缺陷：當(dāng)前可識別數(shù)據(jù)與去標識化數(shù)據(jù)的界限正逐漸模糊，以此作為判斷標準穩(wěn)定性不足；此外，人們可通過類似人群的數(shù)據(jù)推斷個人信息，這進一步削弱了 “僅因數(shù)據(jù)不發(fā)送至外部就不披露” 的合理性。

5. 部分人認為，應(yīng)根據(jù) AI 工具的復(fù)雜性調(diào)整披露政策，因為若患者無法真正理解所同意的內(nèi)容，知情同意便失去意義。但我們認為，對患者而言，理解使用 AI 工具的風(fēng)險與收益，遠比理解算法的具體工作原理更重要。事實上，許多醫(yī)療產(chǎn)品的作用機制也無法被普通患者完全理解，但這種復(fù)雜性并未改變常規(guī)的知情同意實踐。

【應(yīng)向患者披露哪些信息？】

要實現(xiàn)信息披露的倫理目標，無需向患者提供過于詳盡的技術(shù)信息。醫(yī)療機構(gòu)應(yīng)使用通俗易懂、具體明確的語言，向患者披露以下核心內(nèi)容：

1. 正在使用AI工具的事實；

2. AI工具的具體功能；

3. AI工具的基本工作原理（包括臨床醫(yī)生在工具使用中的角色）；

4. 醫(yī)療機構(gòu)認為該工具能改善診療效果的理由；

5. 醫(yī)療機構(gòu)對工具性能的基本監(jiān)控方式（包括工具在不同患者亞組中的表現(xiàn)差異）；

6. 適用情況下，患者對工具使用的選擇權(quán)利。

有證據(jù)表明，患者可能還希望了解與AI工具相關(guān)的數(shù)據(jù)隱私保護措施，以及工具是否獲得美國食品藥品監(jiān)督管理局（FDA）批準。若醫(yī)療機構(gòu)認為需要征求患者同意（而非僅主動告知），則還需補充披露以下信息：使用AI工具的已知風(fēng)險、預(yù)期收益，以及替代方案（包括不使用AI工具可能面臨的風(fēng)險）。但即便如此，過于詳細的技術(shù)信息（如算法使用的具體機器學(xué)習(xí)方法），對大多數(shù)患者而言并無實際意義，無需納入披露內(nèi)容。

信息傳遞的最佳方式應(yīng)根據(jù)AI工具的類型靈活調(diào)整。若無法通過口頭溝通向患者進行完整披露，在線信息手冊或紙質(zhì)資料單可作為有效的替代方式。對于AI生成的臨床總結(jié)和患者郵件，一句簡潔的披露語句（如“本文本由AI工具生成，并經(jīng)臨床醫(yī)生審核確認”）即可滿足需求，同時可通過超鏈接，為有進一步了解需求的患者提供更詳細的信息。下方方框提供了一份門診環(huán)境記錄工具的患者同意書示例，可供參考。

門診環(huán)境記錄工具的患者同意書示例

信息傳遞方式

患者在門診登記時，通過紙質(zhì)資料單獲取工具相關(guān)信息；護士在將患者引導(dǎo)至檢查室時，口頭征求患者同意

紙質(zhì)資料單內(nèi)容

“ Apex 醫(yī)院使用一款名為‘智能耳’的人工智能（AI）工具，協(xié)助醫(yī)生記錄您本次的就診內(nèi)容，并將其總結(jié)后納入您的醫(yī)療記錄。根據(jù)加利福尼亞州法律，您有權(quán)選擇不使用該工具。

‘智能耳’會錄制您與醫(yī)生的對話，并通過 AI 技術(shù)將對話完整轉(zhuǎn)錄為文字。隨后，另一款 AI 工具會對對話中的重要內(nèi)容生成摘要。在摘要正式納入您的醫(yī)療記錄前，您的醫(yī)生會對摘要進行審核和編輯。

錄制的音頻會安全發(fā)送至‘智能耳’的開發(fā)公司，但該公司在生成就診摘要后，不會保留您的任何個人信息。

Apex 醫(yī)院選擇使用該工具，是因為有證據(jù)表明它能改善診療服務(wù)質(zhì)量：這類輔助工具可使醫(yī)生在就診過程中更專注于與您的溝通，同時減少醫(yī)生在每日診療結(jié)束后撰寫病歷的時間。

測試數(shù)據(jù)顯示，‘智能耳’生成的摘要質(zhì)量良好，醫(yī)生普遍認為該工具具有實用價值。需要說明的是，該工具在處理英語口音較重、存在語言障礙的患者對話，或參與對話人數(shù)超過兩人的場景時，表現(xiàn)會略有遜色。為避免摘要不準確，醫(yī)生已接受專項培訓(xùn)，在上述場景中會對摘要進行格外細致的審核。

Apex 醫(yī)院在試點測試通過后，才正式啟用該工具，且會持續(xù)監(jiān)控工具的運行表現(xiàn)，確保其對各類患者均能有效發(fā)揮作用。我們很高興能通過引入這類工具，持續(xù)提升診療服務(wù)質(zhì)量。若您本次就診不希望使用該工具，請告知護士。”

護士口頭溝通腳本

“您對醫(yī)生將使用的‘智能耳’記錄工具有任何疑問嗎？如果醫(yī)生本次就診時使用該工具，您是否同意？”

注：本同意書適用于法律要求 “對話錄音需獲得雙方同意” 的州。在其他州，僅向患者主動告知工具使用情況，無需護士確認同意，即符合倫理要求。

【結(jié)論】

醫(yī)療從業(yè)者思考“應(yīng)向患者告知哪些AI工具相關(guān)信息”，這一做法具有合理性，但他們不應(yīng)獨自應(yīng)對這一復(fù)雜問題。醫(yī)療機構(gòu)在決定部署某款A(yù)I工具時，首先應(yīng)明確：從倫理角度出發(fā)，是否需要向患者告知工具使用情況或征求同意；若需要，則應(yīng)采取措施確保相關(guān)政策得到一致執(zhí)行。

需要強調(diào)的是，“診療過程中無需向患者披露AI工具使用情況”，并不意味著醫(yī)療機構(gòu)在AI工具使用方面無需承擔(dān)透明度義務(wù)。醫(yī)療機構(gòu)可通過以下兩項補充措施，履行其透明度義務(wù)：

1. 公開AI工具使用的整體信息

醫(yī)療機構(gòu)應(yīng)在官方網(wǎng)站及向患者分發(fā)的書面資料（如就診指南）中，明確說明以下內(nèi)容：

• 醫(yī)療機構(gòu)如何利用AI工具提升診療服務(wù)的質(zhì)量、安全性與效率，以及如何通過AI工具保障醫(yī)護人員福祉；

• 當(dāng)前正在使用的AI工具類型；

• 醫(yī)療機構(gòu)為確保AI工具安全、負責(zé)任使用所采取的措施。

這種整體信息公開的方式，既尊重了患者了解AI工具對自身診療影響的意愿，也能幫助部分患者在選擇就診機構(gòu)時做出更符合自身需求的決策；同時，還能激勵醫(yī)療機構(gòu)建立更完善的AI治理流程，以便更清晰地向公眾展示其在AI工具使用中的責(zé)任與擔(dān)當(dāng)。

2. 讓患者代表參與AI治理流程

醫(yī)療機構(gòu)應(yīng)探索讓患者代表參與AI工具治理的方式。例如，與具有豐富醫(yī)療經(jīng)歷且接受過AI基礎(chǔ)知識培訓(xùn)的患者進行結(jié)構(gòu)化溝通，可幫助醫(yī)療機構(gòu)管理者更準確地理解患者對AI工具使用的看法，尤其是在“是否需要披露”“應(yīng)披露哪些信息”等關(guān)鍵決策上。

上述兩項措施均體現(xiàn)了一個核心原則：對于 AI 工具的使用，比單純向患者傳遞風(fēng)險更重要的，是醫(yī)療機構(gòu)采取切實行動將風(fēng)險降至最低。只有將 “ 信息披露 ” 與 “ 風(fēng)險管控 ” 相結(jié)合，才能在保障患者權(quán)益的同時，推動 AI 工具在醫(yī)療領(lǐng)域的健康應(yīng)用。

【原文】https://jamanetwork.com/journals/jama/article-abstract/2836687