36.4萬超聲圖文對！中國團隊構(gòu)建首個大規(guī)模超聲專屬數(shù)據(jù)集

Ultrasound-CLIP團隊 投稿
量子位 | 公眾號 QbitAI

超聲領(lǐng)域也有大模型了！

超聲影像憑借實時、無輻射的優(yōu)勢，成為臨床各場景的一線診斷手段。

但異質(zhì)的解剖結(jié)構(gòu)、多樣的診斷屬性，讓通用視覺語言預(yù)訓(xùn)練模型難以直接適配，且現(xiàn)有醫(yī)療跨模態(tài)數(shù)據(jù)中超聲樣本占比不足5%，成為領(lǐng)域研究的核心瓶頸。

△超聲圖像統(tǒng)計數(shù)據(jù)跨越主要基準點的分布情況。

上圖紅色區(qū)域和內(nèi)部百分比顯示了超聲圖像所占的比例，而藍色區(qū)域則展示了其余模態(tài)的占比情況。頂部標簽表示絕對數(shù)量（以千為單位）。論文中所提出的US-365K是首個大規(guī)模、100%專用于超聲影像的數(shù)據(jù)集。

針對這一問題，浙大城市學院聯(lián)合浙江大學、香港城市大學、香港浸會大學、浙江大學醫(yī)學院附屬第一醫(yī)院、浙江大學醫(yī)學院附屬婦產(chǎn)科醫(yī)院等團隊，構(gòu)建了首個大規(guī)模通用超聲圖像-文本數(shù)據(jù)集US-365K，并提出專為超聲場景設(shè)計的語義感知對比學習框架Ultrasound-CLIP，讓模型真正理解超聲的臨床診斷語義，相關(guān)成果被CVPR 2026接收，數(shù)據(jù)集及代碼已開源。

核心痛點：超聲跨模態(tài)學習的三重障礙

現(xiàn)有視覺語言模型在超聲領(lǐng)域的應(yīng)用，始終面臨三個關(guān)鍵問題：

1. 數(shù)據(jù)缺口顯著：主流醫(yī)療跨模態(tài)數(shù)據(jù)集以CT、MRI等為主，超聲樣本占比極低，缺乏大規(guī)模、標準化的專屬訓(xùn)練數(shù)據(jù)；

2. 語義模糊難對齊：超聲診斷報告的表述多樣，相同病變存在不同描述方式，傳統(tǒng)對比學習難以精準界定正負樣本，易產(chǎn)生語義偏差；

3. 缺乏臨床結(jié)構(gòu)先驗：超聲診斷依賴病灶與診斷屬性的復(fù)雜關(guān)聯(lián)，通用模型無法建模這類專業(yè)的臨床推理邏輯，僅能實現(xiàn)簡單的關(guān)鍵詞匹配。

△UDT和Ultrasound-CLIP概述。

上圖中(a) UDT作為語義基礎(chǔ)，通過標準化解剖層次結(jié)構(gòu)（UHAT）和定義9個關(guān)鍵診斷屬性（UDAF）來形式化超聲知識。(b) Ultrasound-CLIP利用UDT的方式有兩種：(1)基于UDAF的異構(gòu)圖編碼器通過交叉注意力將屬性關(guān)系融合到文本嵌入中，以建模結(jié)構(gòu)化推理。(2)構(gòu)建基于UDAF的語義先驗，以實現(xiàn)雙目標優(yōu)化，從而解決歧義。該框架將視覺特征與這些圖增強的、語義感知的文本表示對齊。

為從根本上解決上述問題，研究團隊立足超聲臨床診斷的專業(yè)邏輯，從標準化數(shù)據(jù)構(gòu)建和定制化模型設(shè)計兩大維度出發(fā)，打造全鏈路適配超聲場景的跨模態(tài)學習體系，實現(xiàn)雙重核心技術(shù)突破。

第一步：構(gòu)建UDT知識框架，打造標準化US-365K數(shù)據(jù)集

團隊率先建立超聲診斷分類體系（UDT），為超聲數(shù)據(jù)的標準化標注和模型學習確立統(tǒng)一的專業(yè)依據(jù)，該體系包含兩大核心模塊，實現(xiàn)超聲診斷知識的結(jié)構(gòu)化、形式化：

超聲層級解剖分類（UHAT）：按臨床診斷原則，系統(tǒng)梳理9大人體系統(tǒng)、52個器官的層級解剖結(jié)構(gòu)，明確各器官的層級歸屬與上下文關(guān)聯(lián)，徹底解決不同數(shù)據(jù)源中解剖分類混亂的問題，實現(xiàn)超聲解剖標注的標準化；

超聲診斷屬性框架（UDAF）：凝練臨床醫(yī)生解讀超聲影像時核心關(guān)注的9大診斷維度，包括身體系統(tǒng)、器官、診斷結(jié)果、形狀、邊緣、回聲性、內(nèi)部特征、后方聲學現(xiàn)象、血流信號，為每個維度定制臨床有效描述詞匯表，形成標準化的超聲診斷描述體系。

△基于UHAT的US-365K解剖層次結(jié)構(gòu)可視化。

基于UDT標準化框架，團隊從5個國際權(quán)威醫(yī)療數(shù)據(jù)庫收集體量超聲數(shù)據(jù)，經(jīng)多步驟精細化處理：先過濾非超聲內(nèi)容，將超聲視頻按0.5秒間隔分解為靜態(tài)幀，平衡數(shù)據(jù)多樣性與冗余性；再基于UDAF框架，通過大模型+結(jié)構(gòu)化提示的混合流水線，提取標準化診斷標簽；最后經(jīng)醫(yī)療專家逐例審核、篩選，剔除模糊、不一致樣本，最終構(gòu)建出US-365K數(shù)據(jù)集。

該數(shù)據(jù)集包含36.4萬對超聲圖像-文本樣本、11676個臨床真實病例，覆蓋全解剖區(qū)域，是業(yè)內(nèi)首個100%專屬超聲的大規(guī)模圖文數(shù)據(jù)集，數(shù)據(jù)有效率超90%，填補了超聲跨模態(tài)大規(guī)模標準化數(shù)據(jù)的行業(yè)空白，為超聲AI研究奠定高質(zhì)量數(shù)據(jù)基礎(chǔ)。

第二步：提出Ultrasound-CLIP框架，實現(xiàn)超聲語義的精準建模與對齊

針對超聲場景的語義模糊和結(jié)構(gòu)缺失難題，團隊設(shè)計出Ultrasound-CLIP語義感知對比學習框架，在經(jīng)典雙編碼器（圖像+文本）基礎(chǔ)上，創(chuàng)新融入UDAF引導(dǎo)的異質(zhì)圖編碼器和基于UDAF的語義軟標簽兩大核心模塊，并采用雙目標優(yōu)化策略，讓模型具備超聲領(lǐng)域的結(jié)構(gòu)化臨床推理能力，突破通用模型的局限：

（1）UDAF引導(dǎo)的異質(zhì)圖編碼器，建模臨床屬性結(jié)構(gòu)化關(guān)聯(lián)

團隊將每個超聲樣本的文本標注，轉(zhuǎn)化為樣本專屬的異質(zhì)圖：基于UDAF框架定義診斷節(jié)點和屬性節(jié)點兩類核心節(jié)點，根據(jù)樣本的標準化診斷標簽確定激活節(jié)點集，并在診斷節(jié)點與屬性節(jié)點間構(gòu)建全二分連接，形成病灶-屬性的關(guān)聯(lián)圖結(jié)構(gòu)。

通過輕量級異質(zhì)圖神經(jīng)網(wǎng)絡(luò)（GNN）對異質(zhì)圖進行編碼，得到包含節(jié)點關(guān)聯(lián)信息的節(jié)點嵌入，再經(jīng)注意力池化生成圖匯總向量，最后通過多頭交叉注意力將圖嵌入與原始文本嵌入融合，并通過門控殘差連接實現(xiàn)穩(wěn)定融合，得到圖增強的文本嵌入。這一過程讓文本嵌入融入超聲診斷標簽與屬性的結(jié)構(gòu)化臨床關(guān)聯(lián)，突破單純關(guān)鍵詞匹配的局限，讓模型能捕捉超聲診斷的專業(yè)語義邏輯。

（2）基于UDAF的語義軟標簽，實現(xiàn)細粒度語義相似度度量

摒棄傳統(tǒng)二進制硬標簽，團隊基于UDAF的9大診斷維度，構(gòu)建連續(xù)語義相似度軟標簽：為每個診斷維度預(yù)定義標準化標簽相似度矩陣，計算樣本對在各維度的語義親和力，再加權(quán)聚合得到樣本對的整體語義先驗相似度，形成B×B的軟先驗矩陣（B為批次大小），實現(xiàn)細粒度的語義重疊識別，解決超聲診斷報告表述多樣帶來的語義模糊問題。

（3）雙目標優(yōu)化策略，實現(xiàn)跨模態(tài)精準對齊與語義正則化

框架采用對比損失+語義損失的雙目標優(yōu)化策略，讓模型同時實現(xiàn)圖像-文本跨模態(tài)精準對齊和語義特征的正則化：

對比損失（L(CLIP)）：采用經(jīng)典對稱對比損失，最大化正樣本對（圖像-對應(yīng)文本）的相似度，最小化負樣本對的相似度，實現(xiàn)圖像與文本的基礎(chǔ)跨模態(tài)對齊；

語義損失（L(semantic)）：融合均方誤差（MSE）和KL散度，讓模型預(yù)測的相似度矩陣與UDAF基語義軟先驗矩陣匹配，既實現(xiàn)相似度的數(shù)值匹配，又保證分布一致性，讓語義相似的樣本在特征空間中有效聚類。

通過雙目標聯(lián)合優(yōu)化，模型既能實現(xiàn)超聲圖像與文本的精準跨模態(tài)對齊，又能精準捕捉超聲診斷的細粒度語義特征，真正理解超聲的臨床語言。

實驗驗證：全任務(wù)性能領(lǐng)先，泛化能力適配多臨床場景

團隊以US-365K為基礎(chǔ)，在多任務(wù)分類、圖像-文本檢索任務(wù)中開展實驗，并在4個公開的超聲下游數(shù)據(jù)集上驗證模型泛化能力，結(jié)果顯示Ultrasound-CLIP全面優(yōu)于現(xiàn)有醫(yī)療CLIP基線模型：

多任務(wù)分類：平均準確率達59.61%，其中病灶邊緣、診斷結(jié)果等核心臨床屬性的識別準確率分別達84.44%、64.05%，能精準捕捉超聲診斷的關(guān)鍵信息。

圖像-文本檢索：圖像到文本檢索（I2T）@10達37.45%，文本到圖像檢索（T2I）@50達80.22%，實現(xiàn)超聲圖文的高效雙向匹配。

下游泛化：在乳腺、胃腸超聲等4個數(shù)據(jù)集的零樣本、線性探測、全微調(diào)任務(wù)中均取得最優(yōu)性能，可適配不同超聲臨床診斷場景。

資源開源：助力超聲AI領(lǐng)域共同研究

為推動超聲跨模態(tài)學習領(lǐng)域的發(fā)展，團隊已將研究相關(guān)的代碼和US-365K數(shù)據(jù)集公開，為后續(xù)研究者提供可直接復(fù)用的基礎(chǔ)資源。

論文標題：
Ultrasound-CLIP: Semantic-Aware Contrastive Pre-training for Ultrasound Image-Text Understanding
作者：
Jiayun Jin, Haolong Chai, Xueying Huang, Xiaoqing Guo, Zengwei Zheng, Zhan Zhou, Junmei Wang, Xinyu Wang, Jie Liu*, Binbin Zhou*
單位：
浙大城市學院、香港浸會大學、浙江大學、浙江大學醫(yī)學院附屬第一醫(yī)院、浙江大學醫(yī)學院附屬婦產(chǎn)科醫(yī)院、香港城市大學
發(fā)表：
CVPR 2026
arxiv論文地址：
http://arxiv.org/abs/2604.01749
項目地址：
https://github.com/ZJUDataIntelligence/Ultrasound-CLIP
數(shù)據(jù)集地址：
https://huggingface.co/datasets/JJY-0823/US-365K
作者簡介：
本文第一作者為金佳云，浙大城市學院碩士生，研究方向為多模態(tài)大模型。本文在周斌彬副教授和劉潔博士的指導(dǎo)下完成。