首爾大學(xué)開發(fā)新方法：讓AI更好理解圖像中的"整體與部分"關(guān)系

這項由首爾大學(xué)電子與計算機(jī)工程系、INMC及IPAI研究團(tuán)隊共同完成的研究發(fā)表于2026年3月的arXiv預(yù)印本平臺，論文編號為arXiv:2603.22042v2。感興趣的讀者可以通過該編號查詢完整論文內(nèi)容。

當(dāng)我們看一張照片時，大腦會自然而然地理解整個場景以及場景中各個部分之間的關(guān)系。比如看到一張街道照片，我們能同時理解整個街景，也能識別出其中的汽車、行人、交通標(biāo)志等各個元素，并且明白這些部分是如何組成整體的。然而，讓計算機(jī)也具備這種能力卻并不簡單。

目前最先進(jìn)的視覺-語言模型（比如著名的CLIP）雖然表現(xiàn)出色，但在理解這種"整體與部分"的層次關(guān)系時仍然存在明顯不足。這就像一個只會死記硬背的學(xué)生，能夠記住很多信息，但不太懂得信息之間的內(nèi)在聯(lián)系和層次結(jié)構(gòu)。

為了解決這個問題，首爾大學(xué)的研究團(tuán)隊提出了一種全新的方法，叫做"不確定性引導(dǎo)的組合式雙曲對齊"（UNCHA）。這個方法的核心思想是教會AI模型理解圖像中不同部分對整體場景的重要性是不同的。就好比在一張餐桌照片中，主菜比餐具更能代表這頓飯的特色，而餐具又比桌布更重要。

一、傳統(tǒng)方法的局限性：為什么現(xiàn)有AI"看不懂"層次關(guān)系

要理解這項研究的意義，我們首先需要明白現(xiàn)有AI模型在理解圖像時遇到的困難。傳統(tǒng)的視覺-語言模型通常使用歐幾里得空間來表示和處理信息，這就像在一張平面地圖上標(biāo)記各種地點(diǎn)。雖然這種方法在很多任務(wù)上表現(xiàn)不錯，但在處理具有明顯層次結(jié)構(gòu)的信息時就顯得力不從心了。

以家庭照片為例，當(dāng)我們看到一張全家福時，我們的大腦會自動建立起層次關(guān)系：整張照片代表"家庭聚會"這個概念，而照片中的每個人臉、每個人的服裝、背景中的家具等都是這個大概念下的子概念。這種從整體到部分的層次結(jié)構(gòu)在歐幾里得空間中很難得到準(zhǔn)確表達(dá)，就像試圖在平面地圖上表示山峰的高度一樣困難。

更糟糕的是，現(xiàn)有模型往往把圖像中的所有部分都一視同仁。回到家庭照片的例子，模型可能把人臉和背景中的花瓶當(dāng)作同等重要，這顯然與人類的直覺不符。在復(fù)雜的多物體場景中，這種問題變得更加突出，模型很容易被不重要的細(xì)節(jié)干擾，而忽略真正關(guān)鍵的信息。

研究團(tuán)隊發(fā)現(xiàn)，CLIP等模型在處理組合關(guān)系時經(jīng)常出現(xiàn)偏差。比如在描述"紅色的汽車在藍(lán)色房子前面"這樣的場景時，模型可能會過分關(guān)注文本中首先提到的物體（紅色汽車），而對空間關(guān)系的理解不夠準(zhǔn)確。這種偏差在現(xiàn)實應(yīng)用中會帶來明顯的問題。

二、雙曲空間：一個更適合表示層次關(guān)系的"新世界"

為了解決這些問題，研究團(tuán)隊轉(zhuǎn)向了一種叫做雙曲空間的數(shù)學(xué)概念。如果說歐幾里得空間像一張平坦的紙，那么雙曲空間就像一個向外彎曲的馬鞍面。這種幾何結(jié)構(gòu)有一個非常有趣的特性：越靠近中心，空間越"緊密"，越遠(yuǎn)離中心，空間越"寬闊"。

這種特性使得雙曲空間天然適合表示層次結(jié)構(gòu)。我們可以把更抽象、更一般的概念放在靠近中心的位置，把更具體、更詳細(xì)的概念放在遠(yuǎn)離中心的位置。就像一棵倒置的樹：樹根（最抽象的概念）在中心，樹枝和葉子（具體的細(xì)節(jié)）向外延伸。

在處理圖像時，這意味著整體場景的表示會位于相對靠近中心的位置，而場景中的各個具體部分會分布在更遠(yuǎn)的位置。更重要的是，雙曲空間的幾何特性允許我們自然地定義"包含"關(guān)系：如果一個概念包含另一個概念，那么被包含的概念會位于包含它的概念所形成的"錐形區(qū)域"內(nèi)。

這種表示方法已經(jīng)在一些研究中顯示出優(yōu)勢。比如MERU模型首次將雙曲幾何引入視覺-語言學(xué)習(xí)，通過建模文本和圖像之間的"蘊(yùn)含"關(guān)系來改善表示質(zhì)量。后來的HyCoCLIP進(jìn)一步擴(kuò)展了這個思路，不僅考慮文本-圖像之間的關(guān)系，還考慮圖像內(nèi)部部分與整體的關(guān)系。

然而，這些先前的方法都有一個重要的缺陷：它們把圖像中的所有部分都當(dāng)作同等重要來處理。這就好比認(rèn)為一幅風(fēng)景畫中的主要山峰和角落里的一朵小花具有相同的重要性。現(xiàn)實中，不同的部分對整體的代表性是截然不同的，這種差異需要在模型中得到體現(xiàn)。

三、不確定性：衡量"代表性"的新尺度

首爾大學(xué)研究團(tuán)隊的核心創(chuàng)新在于引入了"不確定性"這個概念來衡量圖像各部分對整體的代表性。這個想法其實很符合直覺：如果一個部分能夠很好地代表整個場景，那么我們對它的"確定性"就高；如果一個部分對整體場景的代表性較弱，我們的"不確定性"就高。

具體來說，在一張海灘度假照片中，陽光、沙灘、海水這些元素具有很高的代表性，所以模型對它們的不確定性應(yīng)該較低。而照片角落里的一個飲料瓶，雖然也是場景的一部分，但代表性較弱，所以不確定性應(yīng)該較高。

研究團(tuán)隊巧妙地利用雙曲空間的幾何特性來實現(xiàn)這種不確定性的度量。在雙曲空間中，一個點(diǎn)到原點(diǎn)的距離（稱為雙曲半徑）可以自然地反映概念的抽象程度。距離原點(diǎn)越近，概念越抽象；距離越遠(yuǎn)，概念越具體。研究團(tuán)隊將這個距離轉(zhuǎn)換為不確定性的度量：距離原點(diǎn)較近的部分（更抽象，更有代表性）對應(yīng)較低的不確定性，距離較遠(yuǎn)的部分（更具體，代表性較弱）對應(yīng)較高的不確定性。

這種設(shè)計還有一個重要的理論基礎(chǔ)：在雙曲幾何中，越靠近原點(diǎn)的區(qū)域，可利用的"空間"越小，這意味著只有真正重要的、高質(zhì)量的表示才能占據(jù)這些珍貴的位置。就像城市的市中心，只有最重要的建筑才能建在那里。

為了驗證這種不確定性度量的有效性，研究團(tuán)隊進(jìn)行了大量實驗。他們發(fā)現(xiàn)，模型估計的不確定性與人類對部分-整體語義相似性的判斷有很強(qiáng)的負(fù)相關(guān)關(guān)系（相關(guān)系數(shù)達(dá)到-0.739）。這意味著當(dāng)人類認(rèn)為某個部分很能代表整體時，模型的不確定性確實較低；當(dāng)人類認(rèn)為某個部分代表性較弱時，模型的不確定性確實較高。

四、三種損失函數(shù)：讓AI學(xué)會"輕重緩急"

有了不確定性這個度量工具，下一步就是如何在訓(xùn)練過程中利用它來改善模型性能。研究團(tuán)隊設(shè)計了三種巧妙的損失函數(shù)，分別從不同角度引導(dǎo)模型學(xué)習(xí)合理的部分-整體關(guān)系。

第一種是不確定性引導(dǎo)的對比損失。傳統(tǒng)的對比學(xué)習(xí)方法會同等對待所有的部分，但新方法會根據(jù)不確定性來調(diào)整學(xué)習(xí)的"力度"。對于代表性強(qiáng)的部分（不確定性低），模型會給予更多關(guān)注，加強(qiáng)它們與整體的關(guān)聯(lián)；對于代表性弱的部分（不確定性高），模型會適度降低關(guān)注度。這就像一個智能的注意力機(jī)制，能夠自動聚焦于最重要的內(nèi)容。

具體實現(xiàn)上，研究團(tuán)隊通過調(diào)整對比學(xué)習(xí)中的溫度參數(shù)來實現(xiàn)這種不確定性引導(dǎo)。溫度參數(shù)控制著模型對相似性的敏感度：溫度較低時，模型對微小差異更敏感；溫度較高時，模型更寬容。對于不確定性高的部分，系統(tǒng)會使用較高的溫度，讓模型不要過分糾結(jié)于這些不太重要的細(xì)節(jié)；對于不確定性低的部分，系統(tǒng)使用較低的溫度，讓模型精確學(xué)習(xí)這些關(guān)鍵信息。

第二種是改進(jìn)的蘊(yùn)含損失。在雙曲空間中，"包含"關(guān)系可以通過幾何上的錐形區(qū)域來表示。如果概念A(yù)包含概念B，那么B應(yīng)該位于以A為頂點(diǎn)的錐形區(qū)域內(nèi)。研究團(tuán)隊對傳統(tǒng)的蘊(yùn)含損失進(jìn)行了改進(jìn)，增加了一個角度項，使得即使當(dāng)B已經(jīng)位于A的錐形區(qū)域內(nèi)時，模型仍然會繼續(xù)優(yōu)化它們的關(guān)系，追求更精確的對齊。這就像不滿足于"大概正確"，而要追求"精確無誤"。

第三種是不確定性校準(zhǔn)損失，這是最具創(chuàng)新性的部分。這個損失函數(shù)包含三個組件，共同作用來校準(zhǔn)不確定性的估計。首先，當(dāng)部分與整體的蘊(yùn)含關(guān)系較弱時，系統(tǒng)會鼓勵模型增加不確定性；其次，系統(tǒng)會防止模型為了減少損失而盲目分配過高的不確定性；最后，通過熵正則化項確保不確定性的分布保持多樣化，避免所有部分的不確定性都趨向于相同的值。

這種設(shè)計確保了不確定性的估計既準(zhǔn)確又穩(wěn)定。如果沒有這種校準(zhǔn)機(jī)制，模型可能會學(xué)到一些"取巧"的策略，比如給所有部分都分配相同的高不確定性來避免犯錯，這顯然不是我們想要的結(jié)果。

五、實驗驗證：全方位的性能提升

為了驗證UNCHA方法的有效性，研究團(tuán)隊在多個重要任務(wù)上進(jìn)行了全面的實驗評估。這些實驗就像給新方法安排了一系列"考試"，從不同角度檢驗其能力。

在零樣本圖像分類任務(wù)中，UNCHA在16個標(biāo)準(zhǔn)數(shù)據(jù)集上都取得了最佳性能。這就像讓模型看從未見過的圖片類別，然后要求它正確分類。結(jié)果顯示，UNCHA在各種類型的數(shù)據(jù)集上都表現(xiàn)出色，包括通用數(shù)據(jù)集（如ImageNet）、細(xì)粒度數(shù)據(jù)集（如鳥類、汽車識別）和專業(yè)數(shù)據(jù)集（如醫(yī)學(xué)圖像）。特別值得注意的是，在一些具有挑戰(zhàn)性的細(xì)粒度分類任務(wù)上，UNCHA的改善尤為顯著。

在圖像-文本檢索任務(wù)中，UNCHA同樣展現(xiàn)出穩(wěn)定的優(yōu)勢。這個任務(wù)要求模型能夠準(zhǔn)確理解圖像和文本之間的對應(yīng)關(guān)系。結(jié)果表明，UNCHA不僅在傳統(tǒng)的檢索指標(biāo)上表現(xiàn)更好，更重要的是在處理復(fù)雜的多物體場景時顯示出明顯優(yōu)勢。這說明新方法確實改善了模型對組合關(guān)系的理解能力。

層次分類實驗進(jìn)一步驗證了UNCHA在處理層次結(jié)構(gòu)方面的優(yōu)勢。研究團(tuán)隊使用了基于WordNet層次結(jié)構(gòu)的ImageNet數(shù)據(jù)集，評估模型是否能夠?qū)W到概念之間的層次關(guān)系。結(jié)果顯示，UNCHA在所有層次相關(guān)的指標(biāo)上都取得了最佳成績，包括樹誘導(dǎo)誤差、最低公共祖先誤差、層次精確度和層次召回率等。

多標(biāo)簽分類實驗著重測試了模型在復(fù)雜多物體場景中的表現(xiàn)。在MS-COCO和VOC數(shù)據(jù)集上，UNCHA都取得了最高的平均精度。更有說服力的是，在專門設(shè)計用于評估組合理解能力的ComCo和SimCo數(shù)據(jù)集上，UNCHA的優(yōu)勢更加明顯。這些數(shù)據(jù)集包含了2-5個物體的復(fù)雜場景，要求模型能夠準(zhǔn)確識別和理解所有物體及其關(guān)系。

研究團(tuán)隊還進(jìn)行了一項特別有趣的實驗：部分級別對齊評估。這個實驗使用了來自Densely Captioned Images數(shù)據(jù)集的精細(xì)標(biāo)注，要求模型在存在"困難負(fù)樣本"的情況下正確匹配圖像區(qū)域和對應(yīng)的文本描述。UNCHA在這個極具挑戰(zhàn)性的任務(wù)上也取得了最佳表現(xiàn)，證明了其在精細(xì)粒度理解方面的能力。

六、深入分析：為什么UNCHA如此有效

為了更好地理解UNCHA為什么如此有效，研究團(tuán)隊進(jìn)行了詳細(xì)的分析實驗。這些分析就像解剖麻雀一樣，幫助我們理解新方法的內(nèi)在機(jī)制。

首先，研究團(tuán)隊可視化了雙曲嵌入空間的使用情況。結(jié)果顯示，與之前的方法相比，UNCHA能夠更好地利用雙曲空間的特性。在傳統(tǒng)方法中，大部分表示都聚集在靠近原點(diǎn)的狹小區(qū)域內(nèi)，就像所有人都擠在一個小房間里。而UNCHA的表示分布更加合理：整體場景表示位于相對遠(yuǎn)離原點(diǎn)的位置，部分表示位于更靠近原點(diǎn)的位置，兩者之間有清晰的分離。這種分布更好地體現(xiàn)了雙曲空間的層次結(jié)構(gòu)特性。

其次，消融實驗驗證了每個組件的必要性。當(dāng)研究團(tuán)隊移除不確定性引導(dǎo)的對比損失時，模型在關(guān)系對齊方面的表現(xiàn)明顯下降。當(dāng)移除不確定性校準(zhǔn)損失時，嵌入分布變得過于集中，表示能力受到限制。當(dāng)移除熵正則化項時，不確定性的分布變得不夠多樣化。這些結(jié)果表明，UNCHA的每個組件都發(fā)揮著不可替代的作用。

梯度分析揭示了各個損失函數(shù)之間的相互作用。結(jié)果顯示，不確定性校準(zhǔn)損失與蘊(yùn)含損失的梯度方向相反，這表明前者確實起到了正則化的作用，防止表示空間的坍塌。而不確定性引導(dǎo)的對比損失與標(biāo)準(zhǔn)對比損失的梯度方向基本一致，但強(qiáng)度更加合理，這解釋了為什么新方法能夠保持對比學(xué)習(xí)的優(yōu)勢同時避免其缺陷。

超參數(shù)敏感性分析表明，UNCHA對主要超參數(shù)的選擇相對穩(wěn)健。在較寬的參數(shù)范圍內(nèi)，模型都能保持穩(wěn)定的性能，這對實際應(yīng)用來說是一個重要優(yōu)勢。這說明新方法不是依賴于精細(xì)的參數(shù)調(diào)整來獲得好結(jié)果，而是在算法層面就具有良好的特性。

最后，研究團(tuán)隊還展示了不確定性排序的定性結(jié)果。他們將同一張圖像的不同部分按照不確定性從低到高排列，結(jié)果與人類的直覺高度一致。代表性強(qiáng)的部分（如主體物件、關(guān)鍵特征）確實具有較低的不確定性，而背景噪聲、模糊區(qū)域等則具有較高的不確定性。這種一致性進(jìn)一步驗證了UNCHA的合理性。

七、技術(shù)創(chuàng)新的深層意義

UNCHA的成功不僅僅在于性能數(shù)字的提升，更重要的是它為視覺-語言理解提供了一種全新的思路。這種思路的核心在于認(rèn)識到"不是所有的部分都同等重要"這個樸素但深刻的事實。

從技術(shù)角度來看，UNCHA實現(xiàn)了三個重要突破。首先，它提供了一種自然而有效的方法來量化部分對整體的代表性。這種量化不是基于人工設(shè)計的規(guī)則，而是從數(shù)據(jù)中自動學(xué)習(xí)得到的，因此更具普適性。其次，它成功地將這種代表性信息整合到模型的學(xué)習(xí)過程中，實現(xiàn)了"因材施教"式的訓(xùn)練。最后，它在保持模型復(fù)雜度基本不變的情況下顯著提升了性能，這對實際應(yīng)用具有重要價值。

從更廣闊的視角來看，UNCHA體現(xiàn)了一種重要的設(shè)計哲學(xué)：讓AI系統(tǒng)的學(xué)習(xí)過程更接近人類的認(rèn)知過程。人類在理解復(fù)雜場景時，會自然地建立層次結(jié)構(gòu)，區(qū)分主次關(guān)系。UNCHA通過技術(shù)手段模擬了這種認(rèn)知特性，使AI模型能夠更好地理解世界的復(fù)雜性。

這種思路對其他AI領(lǐng)域也有啟發(fā)意義。比如在自然語言處理中，句子中的不同詞語對整體語義的貢獻(xiàn)也是不同的；在時間序列分析中，不同時間點(diǎn)的重要性也存在差異。UNCHA提出的不確定性引導(dǎo)學(xué)習(xí)框架可能在這些領(lǐng)域也有應(yīng)用潛力。

八、實際應(yīng)用前景與挑戰(zhàn)

UNCHA的技術(shù)優(yōu)勢為多個實際應(yīng)用領(lǐng)域帶來了新的可能性。在圖像搜索和內(nèi)容推薦方面，更準(zhǔn)確的層次理解能力意味著系統(tǒng)能夠更好地理解用戶的真實意圖。比如當(dāng)用戶搜索"海灘度假照片"時，系統(tǒng)不會被照片中的無關(guān)細(xì)節(jié)誤導(dǎo)，而能夠準(zhǔn)確聚焦于真正體現(xiàn)度假主題的元素。

在自動駕駛和機(jī)器人視覺方面，準(zhǔn)確的部分-整體關(guān)系理解對安全至關(guān)重要。UNCHA能夠幫助系統(tǒng)更好地區(qū)分場景中的關(guān)鍵要素（如道路、車輛、行人）和次要背景（如路邊的廣告牌、遠(yuǎn)處的建筑），從而做出更準(zhǔn)確的決策。

在醫(yī)學(xué)圖像分析領(lǐng)域，UNCHA的層次理解能力可能有助于更準(zhǔn)確的疾病診斷。醫(yī)學(xué)圖像通常包含大量細(xì)節(jié)，但只有其中一部分與特定疾病相關(guān)。UNCHA能夠幫助系統(tǒng)自動識別這些關(guān)鍵區(qū)域，減少誤診的風(fēng)險。

不過，UNCHA也面臨一些挑戰(zhàn)。首先是計算復(fù)雜度問題。雖然新方法沒有顯著增加模型參數(shù)，但雙曲幾何運(yùn)算比歐幾里得運(yùn)算更復(fù)雜，這可能在大規(guī)模應(yīng)用中帶來效率挑戰(zhàn)。其次是可解釋性問題。雖然不確定性提供了一定的可解釋性，但對于普通用戶來說，理解雙曲空間中的表示仍然有一定難度。

另外，當(dāng)前的評估主要集中在相對標(biāo)準(zhǔn)化的數(shù)據(jù)集上，在更復(fù)雜、更多樣化的真實世界場景中的表現(xiàn)還需要進(jìn)一步驗證。特別是在處理一些文化差異、語言差異等方面，模型的泛化能力還有待觀察。

九、未來發(fā)展方向

基于UNCHA的成功，研究團(tuán)隊和整個領(lǐng)域都可以在多個方向繼續(xù)探索。首先是將不確定性引導(dǎo)的思想擴(kuò)展到更多模態(tài)。除了視覺和文本，音頻、視頻等其他模態(tài)也存在類似的層次結(jié)構(gòu)問題，UNCHA的方法論可能在這些領(lǐng)域也有應(yīng)用價值。

其次是探索更高效的雙曲幾何運(yùn)算方法。隨著專門的硬件支持和優(yōu)化算法的發(fā)展，雙曲模型的計算效率有望得到顯著提升。這將為UNCHA在實際應(yīng)用中的部署掃除技術(shù)障礙。

另一個有趣的方向是結(jié)合大語言模型的能力。當(dāng)前的大語言模型在文本理解方面表現(xiàn)出色，如果能夠?qū)NCHA的視覺理解能力與強(qiáng)大的語言理解能力結(jié)合起來，可能會產(chǎn)生更強(qiáng)大的多模態(tài)AI系統(tǒng)。

研究團(tuán)隊還提到了將不確定性概念擴(kuò)展到時序建模的可能性。在視頻理解、機(jī)器人導(dǎo)航等涉及時間序列的任務(wù)中，不同時刻的重要性也存在差異，不確定性引導(dǎo)的方法可能在這些領(lǐng)域也能發(fā)揮作用。

最后，從更根本的角度來看，UNCHA開啟了一個新的研究方向：如何讓AI系統(tǒng)更好地理解和模擬人類的認(rèn)知結(jié)構(gòu)。這不僅僅是技術(shù)問題，也涉及認(rèn)知科學(xué)、心理學(xué)等多個學(xué)科的交叉研究。

說到底，UNCHA代表的不僅僅是一種新的技術(shù)方法，更是一種新的思考方式：承認(rèn)復(fù)雜性，擁抱不確定性，追求更細(xì)致、更人性化的AI理解能力。在AI技術(shù)日新月異的今天，這種回歸認(rèn)知本質(zhì)的思路顯得尤為珍貴。對于普通用戶而言，這意味著未來的AI系統(tǒng)將能夠更準(zhǔn)確地理解我們的圖像和需求，提供更貼心、更精準(zhǔn)的服務(wù)。對于研究者而言，UNCHA提供了一個新的工具箱和思路，可能催生更多突破性的研究成果。無論從哪個角度來看，這都是一項值得關(guān)注和期待的重要進(jìn)展。

Q&A

Q1：UNCHA是什么技術(shù)？

A：UNCHA是首爾大學(xué)開發(fā)的"不確定性引導(dǎo)的組合式雙曲對齊"技術(shù)，它能讓AI更好地理解圖像中整體與部分的關(guān)系。這項技術(shù)使用雙曲空間而非傳統(tǒng)的平面空間來表示信息，并引入不確定性概念來衡量圖像各部分對整體的代表性，就像教會AI區(qū)分一張照片中哪些元素重要、哪些不重要。

Q2：雙曲空間與傳統(tǒng)歐幾里得空間有什么區(qū)別？

A：雙曲空間就像一個向外彎曲的馬鞍面，而歐幾里得空間像平坦的紙張。雙曲空間的特殊之處在于越靠近中心空間越緊密，越遠(yuǎn)離中心空間越寬闊，這種特性天然適合表示層次關(guān)系。在處理圖像時，抽象的整體概念位于中心附近，具體的部分細(xì)節(jié)分布在外圍，形成清晰的層次結(jié)構(gòu)。

Q3：UNCHA技術(shù)能應(yīng)用在哪些實際場景中？

A：UNCHA在多個領(lǐng)域都有應(yīng)用潛力。在圖像搜索中，它能更準(zhǔn)確理解用戶意圖，不被無關(guān)細(xì)節(jié)誤導(dǎo)；在自動駕駛中，它能幫助系統(tǒng)區(qū)分關(guān)鍵要素和次要背景，提高安全性；在醫(yī)學(xué)圖像分析中，它能自動識別與疾病相關(guān)的關(guān)鍵區(qū)域，減少誤診風(fēng)險；在內(nèi)容推薦系統(tǒng)中，它能更好地理解圖像內(nèi)容，提供更精準(zhǔn)的推薦。