浙江大學教AI"玩拼圖"：讓機器真正聽懂視頻，而不是偷懶走捷徑

這項由浙江大學與小米公司聯合開展的研究發表于2026年4月，論文編號為arXiv:2604.08209，題為"OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering"，有興趣深入了解的讀者可以通過該編號查詢完整論文。

研究團隊面對的核心難題，可以用一句話來描述：如何讓AI在同時擁有眼睛和耳朵的情況下，真正地把兩者結合起來用，而不是偷懶只靠其中一個感官來解題？

一、為什么教AI"看"視頻這件事，比你想象的難多了

電視機和收音機的區別，大家都很清楚。視頻里有畫面、有聲音，兩者共同講述一個故事。對人類來說，同時接收視覺和聽覺信息、然后融合理解，是一件再自然不過的事。但對于AI來說，這件事出奇地難做到。

目前最先進的大型語言模型，在純文字的任務上已經相當厲害，比如解數學題、寫代碼，甚至與人對話。這類成功很大程度上依賴一種叫"強化學習后訓練"的技術——簡單理解，就是給AI出題、判斷答案對不對、然后獎勵或懲罰它，逐步讓它越來越聰明。然而，把這套方法搬到視頻和音頻的領域里，卻遇到了一個幾乎無法繞過的麻煩：沒有足夠多的高質量標注數據。

數學題有標準答案，代碼能運行就是對。但要讓AI理解一段視頻里視覺和聽覺的深層聯系，就需要人工去標注大量"這個畫面配這段聲音，它們之間的關系是這樣的"，這種工作既昂貴又耗時，根本做不到大規模展開。

浙江大學和小米的研究團隊從另一個角度切入：能不能找一個不需要人工標注的任務，讓AI在完成這個任務的過程中，自然地學會整合視覺和聽覺信息？他們想到了一個絕妙的類比——拼圖游戲。

二、把視頻打亂再還原：一個既簡單又深刻的訓練游戲

核心思路是這樣的：拿一段視頻，把它剪成若干小片段，然后打亂順序給AI看，要求AI把正確的順序還原出來。就像給你一本書的六個章節，但順序被打亂了，你需要根據內容判斷哪章在前、哪章在后。

這個任務之所以精妙，在于它有天然的"標準答案"——視頻原本的時間順序就是正確答案，完全不需要人類去標注。同時，要想把順序還原得好，AI就不得不認真分析每個片段里發生了什么，以及片段之間的邏輯關系，這正是理解視頻所需要的核心能力。

研究團隊把這套方法命名為OmniJigsaw（"全感官拼圖"）。他們把每個視頻均勻切成6個片段，然后在切割處各丟掉5%的內容，目的是防止AI靠相鄰片段的邊界拼接特征作弊——就像拼圖時不讓你通過紙板背面的紋路來匹配，必須真正看圖案內容。打亂后的片段交給AI，AI需要用思維鏈（一步步列出推理過程）來分析，最終給出原始順序。

三、當AI擁有"雙眼"和"耳朵"時，它會選擇只用其中一個

研究團隊最初的做法是最直接的：給AI完整的視頻片段（既有畫面又有聲音），讓它同時依靠兩種信息來判斷順序。這個策略被稱為"聯合模態整合"（JMI）。

結果出乎意料地令人失望。AI在這種情況下的表現，反而不如只給它看畫面或只讓它聽聲音的版本。

研究團隊把這個現象命名為"雙模態捷徑效應"。道理其實不難理解：當你同時給了AI兩條路，它會自然地選擇那條更容易走的路。如果一段視頻的畫面內容足夠明顯，AI就只靠畫面來判斷；如果音頻里有清晰的語音線索，AI就只靠聲音來判斷。兩種模態并存，反而給了它"偷懶"的機會——它不需要把兩者結合起來，就能大概率答對題目，于是它就沒有動力去真正學會融合理解。

從訓練角度來看，這種"偷懶"是災難性的。AI雖然答對了題，但它沒有學到真正有價值的技能，就好像學生在考試中靠猜答案拿到了分數，但實際上什么都沒學會。

為了解決這個問題，研究團隊設計了兩種更聰明的訓練策略。

四、第一種解法：在整段視頻層面，逼著AI只用一種感官

第一種策略叫做"樣本級模態選擇"（SMS）。它的工作方式分兩步：首先，讓AI分析整段視頻，判斷這個視頻的時間線索主要來自畫面還是聲音。比如一段烹飪教學視頻，廚師的操作步驟在畫面上非常清晰，那畫面就是主導模態；而一段播客節目，說話人一直坐在那里幾乎不動，聲音里的內容才是真正的故事線，那音頻就是主導模態。

確定了主導模態之后，系統就只保留那個模態的信息，把另一個模態完全遮掉，然后再讓AI做拼圖排序。這樣，AI就沒有"走捷徑"的機會，必須認認真真地分析它面前的那一種信息，深度理解其中的時間邏輯。

這個方法有效地消除了"捷徑效應"，因為根本就沒有第二條路可走。不過，它也有局限性：一段視頻的主導模態是在整體層面判斷的，但實際上，同一段視頻里，某些片段可能畫面最重要，另一些片段可能聲音最關鍵。一刀切的全局判斷，會錯過這種局部的細節。

五、第二種解法：更精細的操作，逐片段決定用哪只感官

第二種策略叫做"片段級模態遮蔽"（CMM），也是研究中效果最好的方法。它的邏輯更進一步：不是在整個視頻層面做決定，而是對每一個小片段單獨評估，決定這個片段應該保留畫面、保留聲音、還是兩者都保留。

具體操作分兩個階段。第一階段，AI先按正常順序看完所有6個片段，然后為每個片段做一個"模態標簽"的決定——比如：第1片畫面里有明顯動作變化，標記為"只保留畫面"；第3片里有關鍵對白，標記為"只保留聲音"；第5片里畫面和聲音都有不可或缺的信息，標記為"兩者都保留"。整體上，研究團隊要求這6個片段的標簽不能全是一種，必須有一定的混搭，這樣才能真正鍛煉AI跨模態整合的能力。

第二階段，按照這些標簽處理打亂順序后的片段——被標為"只看畫面"的，就把聲音替換為靜音；被標為"只聽聲音"的，就把畫面替換為全黑。然后把這些處理過的片段打亂順序，交給AI去排序。

這時候，AI面臨的挑戰就完全不同了。某些片段只有畫面，某些只有聲音，還有些兩者都有。要把正確的順序拼出來，AI必須在分析不同片段時不停地在"看"和"聽"兩種模式之間切換，并且把從不同模態獲得的零散線索拼接成一個完整的時間圖譜。這正是真正的跨模態理解能力。

從訓練曲線來看，CMM策略下AI的任務獎勵增長得更慢，這是因為題目更難了，AI不得不做更深層的分析。但最終，它學到的能力更扎實，在各種下游任務上的表現也更出色。

六、一套挑剔的"質檢流水線"，確保拼圖本身值得拼

研究團隊很早就意識到一個關鍵問題：拼圖本身必須是好拼圖。如果給AI的訓練素材是一段幾乎沒有變化的視頻——比如一小時的會議錄像，畫面一直是同一間會議室，聲音是均勻的背景噪聲——那么打亂順序之后，AI幾乎無法判斷哪段在前哪段在后，這種數據對訓練完全沒有價值，甚至會產生負面效果。

為此，他們設計了一條嚴格的兩階段篩選流水線。

第一階段用輕量級的信號檢測方法快速過濾。首先，視頻必須同時有畫面和聲音，缺少任何一種的直接淘汰。然后，檢查畫面的動態性：通過計算相鄰幀之間的平均絕對差值，如果超過70%的幀之間幾乎沒有變化，就認定這是一段低動態視頻，直接丟棄。接著是音頻質量檢查：用音量能量（RMS）來判斷是否大部分時間是靜音，用頻譜變化率（Spectral Flux）來判斷聲音是否單調無變化，不通過這兩項檢查的視頻同樣淘汰。還有一項獨特的檢測：用專門的語音活動檢測模型（Silero VAD）來分析視頻中語音內容的比例，要求在30%到80%之間——太低說明幾乎沒有語音信息，太高則說明畫面上可能沒什么有意義的視覺變化，兩者都不適合作為訓練素材。

通過第一階段篩選的視頻，還要接受第二階段的語義層面審查。研究團隊用一個相對輕量的多模態大模型（Qwen2.5-VL-7B）來擔任"審查員"。這個模型會看200幀均勻采樣的畫面，思考這段視頻是否具備清晰的因果進展（比如先放材料、再烹飪、再出鍋）、視覺狀態是否有明顯變化、事件之間是否有邏輯連貫性、是否存在明確的時間標志。如果這段視頻是循環重復的動作、畫面太相似以至于順序無法判斷、或者各片段之間缺乏內在聯系，就會被標記為不合格。

整個審查過程要求模型先在特定標簽內寫下推理過程，最后輸出"是"或"否"的判定，只有兩者都通過才算合格。

從實際數據來看，這條流水線的淘汰率相當高。研究團隊從三個來源共收集了約49619個原始視頻樣本，經過第一階段信號篩選，剩下約9046個；再經過第二階段語義篩選，最終只保留了8220個高質量樣本，淘汰率超過83%。這8220個樣本被稱為OmniJigsaw-8K數據集，其中8156個用于訓練，64個用于驗證。

七、獎懲機制：不只是答對就給糖，必須全部答對才能吃大餐

訓練AI的過程需要設計合理的獎懲機制，研究團隊在這方面也做了細致的考量。

基本獎勵由兩部分組成。第一部分是"位置準確率"：AI給出的每個片段位置，如果與正確位置吻合，就得一分，6個片段滿分6分，取平均值。第二部分是"鄰接準確率"：檢查AI給出的順序中，相鄰兩個片段是否也和正確順序中相鄰的兩個片段一致。這一指標的價值在于，即使整體排序不完全正確，也能鼓勵AI識別出局部的正確關系，體現部分推理成功。兩部分各占50%權重。

除此之外，還有格式獎勵：如果AI按照要求的格式（先寫思考過程，再寫最終答案）來回答，就額外加0.2分，這是鼓勵AI進行深度推理而非直接猜答案。還有重復懲罰：如果AI在思考過程中不斷重復相同的文字（一段20字以上的內容重復出現超過3次），就扣0.5分，防止它在不知所措時靠"水字數"來湊答案。

最精妙的設計是一個"準確率折扣因子"。這個因子的規則是：只有當AI把6個片段全部排對時，才能拿到全額的位置和鄰接獎勵；只要有一個片段排錯，這兩項獎勵就會打折到原來的20%。

這個設計背后的邏輯非常有趣：在強化學習中，AI通常會嘗試找到"代價最小的成功路徑"。如果排對5個、排錯1個也能得到不錯的獎勵，AI就可能滿足于這種"差不多就行"的狀態，不再努力追求完美答案。折扣因子人為地放大了"完全正確"和"差一點"之間的差距，讓AI感受到：差一點點和差很多在獎勵上沒有本質區別，只有全對才是真正的成功。實驗結果表明，加入這個折扣因子后，AI在訓練過程中持續探索、持續進步，而去掉折扣因子的對照組則很快陷入停滯。

八、15個測試場地，全面檢驗AI的視聽理解能力

研究團隊用15個不同的標準測試集來評估OmniJigsaw訓練出來的AI能力，涵蓋視頻理解、音頻理解和視聽協同推理三大類。

在視頻理解方面，研究團隊使用了8個測試集，涵蓋從基礎時間感知到高層認知推理的各個維度。AoTBench專門測試AI對"時間箭頭"的感知，也就是能否判斷事件發生的先后順序；TempCompass和TUNA-Bench測試AI對視頻內容細節的細粒度理解；Video-Holmes和Video-TT則考驗更高層次的推理能力，需要AI像偵探一樣從視頻中搜集線索來回答復雜問題；MLVU、MLVU-Test和Video-MME則關注長視頻的全局理解和多任務綜合表現。

基準模型是Qwen3-Omni-30B-A3B-Instruct，這是一個已經相當強大的多模態大模型。經過OmniJigsaw的CMM策略訓練之后，它在MLVU-Test上提升了4.38分，在AoTBench上提升了4.02分，在Video-TT上提升了2.70分，在TUNA-Bench上提升了2.72分，在幾乎所有視頻測試集上都有明顯提升。

在音頻理解方面，測試集包括MMAU-Pro（綜合聽覺理解）、MMAU-test-mini（層次化推理）、MMSU（細粒度感知）和MMAR（需要深度推理的音頻場景）。CMM策略在MMAR上帶來了2.50分的提升，在MMAU-Pro上提升了1.98分。值得一提的是，CMM策略下訓練出來的AI，在音頻理解上的表現甚至超過了只靠音頻片段訓練的"純音頻拼圖"版本，說明視覺信息的融合確實幫助AI更好地理解了聲音。

在視聽協同推理方面，測試集包括DailyOmni（測試視聽時間對齊）、IntentBench（測試行為和意圖推理）和OmniVideoBench（需要同時利用視覺和音頻線索才能回答的問題）。CMM策略在OmniVideoBench上提升了1.70分，在IntentBench上提升了1.49分，在DailyOmni上提升了1.17分，全面驗證了跨模態協同推理能力的提升。

研究還專門比較了有音頻和無音頻兩種評測模式下的表現，發現OmniJigsaw在兩種情況下都有穩定提升，說明它不只是學會了利用音頻信息，而是真正提升了底層的推理能力。

九、當你給AI"更多信息"，它反而學得更差

研究過程中一個反直覺的發現值得單獨來說。研究團隊專門比較了CMM、JMI（全信息聯合訓練）以及只用視頻或只用音頻的單模態訓練這四種策略，發現了一個非常有趣的規律。

單模態的視頻拼圖訓練，能有效提升AI的視頻理解能力；單模態的音頻拼圖訓練，能有效提升AI的音頻理解能力——這都符合預期。但是，JMI（同時提供視頻和音頻的全信息訓練）卻在視頻理解和音頻理解兩方面都比對應的單模態訓練更差，而不是更好。

從訓練過程的獎勵曲線來看，JMI策略下AI的任務完成率最高，說明它確實能答出更多題。但正因為如此，它沒有動力深入分析每個片段的內容——有一條容易走的路，它就走那條路。訓練過程中它的推理記錄里甚至出現了"全程只依賴語言線索"這樣的表述，說明它在完全忽視視覺信息。

CMM策略恰好反過來。因為不同片段的模態被隨機遮掉，AI每次都不知道下一個片段能給它什么信息，必須認真對待每一個有效的信息來源，才能把六個片段的順序拼出來。這種"信息不完整"的壓力，反而逼出了更深度的學習。

這個發現對AI訓練領域來說很有啟發意義：給模型更多信息，不一定會帶來更好的學習效果；有時候，策略性地限制信息、制造適當的信息缺口，反而能逼迫模型發展出更強的能力。

十、定性分析：從AI的"思考過程"里，看見真正的理解

研究團隊還專門比較了CMM和JMI兩種策略訓練后AI在答題時的思考過程，發現了明顯的質量差異。

JMI策略訓練出來的AI，在分析一段烹飪教學視頻時，它的思考記錄里出現了"全程完全只依賴語言線索、沒有任何視覺分析"這樣的表述，最終給出了錯誤答案。這說明它在處理畫面內容時走了捷徑，沒有真正融合視覺信息。

CMM策略訓練出來的AI，在處理同一段視頻時，它會分別描述每個片段的視覺內容（比如"第4片展示了最終清理干凈的魚排，畫面非常清晰，展示了成品"）和音頻內容（比如"第5片的男人正在直接對著鏡頭講話，音頻帶來了與即時切割動作無直接關聯的新信息，音頻是這個片段的核心"），然后把這些分析綜合起來，按照"準備→操作→精細處理→完成→講解技巧"的邏輯推導出正確順序，最終給出了正確答案。

這個對比清楚地展示了兩種訓練策略在培養AI能力上的本質差異：一個只是學會了"猜題技巧"，另一個學會了"真正理解視頻"。

說到底，OmniJigsaw這項研究的核心貢獻在于：它找到了一種幾乎不需要人類標注就能大規模訓練AI跨模態理解能力的方法。通過一個看似簡單的拼圖游戲，配上精心設計的模態遮蔽策略、嚴格的數據篩選流水線和合理的獎懲機制，它讓AI在同時擁有"眼睛"和"耳朵"的情況下，真正學會了把兩者結合起來用，而不是偷懶只靠其中一個。

這對我們來說意味著什么？未來的視頻助手、會議總結工具、教育視頻分析系統，都可能因為這類技術而變得更聰明——不只是聽懂你說了什么，也不只是看懂畫面里發生了什么，而是真正像人一樣同時理解聲音和畫面之間的關系，然后給出更準確、更有洞察的分析。

當然，研究團隊也坦誠地指出了幾個局限：這項研究只在一個基礎模型上做了實驗，能否推廣到不同規模的模型還需要驗證；數據篩選流程是在訓練前一次性完成的，無法根據AI當前的能力水平動態調整難度；視頻片段的劃分方式還比較簡單，都是等長切割，更復雜的切割策略可能帶來更好的效果；獎勵機制目前只關注排序是否正確，如果能加入對推理質量的評價，效果可能會進一步提升。

有興趣深入了解這項研究全部細節的讀者，可以通過arXiv編號2604.08209查詢完整論文。

Q&A

Q1：OmniJigsaw訓練出來的AI，在日常生活里能有什么具體用處？

A：經過OmniJigsaw方法訓練的AI，在理解視頻內容方面明顯更準確。比如，用它來總結一段會議錄像時，它不只會轉錄說話內容，還能結合畫面中人物的動作、展示的圖表來理解會議的實際進展；分析一段教學視頻時，它能同時理解畫面里的操作步驟和講解音頻，給出更完整的內容描述。任何需要同時看畫面和聽聲音才能真正理解的場景，都能從中受益。

Q2：OmniJigsaw的"雙模態捷徑效應"是怎么發現的，又是怎么解決的？

A：研究團隊最初直接把完整的視頻（同時含畫面和聲音）用來訓練AI做拼圖排序，結果發現AI的表現反而不如只提供畫面或只提供聲音的版本。通過分析AI的思考記錄，他們發現AI在兩種信息都有的情況下，會選擇更容易分析的那個模態來解題，完全忽視另一個。解決方案是CMM策略：對每個視頻片段單獨決定保留哪種模態的信息，強制AI在不同片段之間切換使用視覺和聽覺，沒有"走捷徑"的機會。

Q3：OmniJigsaw數據篩選流水線為什么要淘汰掉83%以上的原始視頻？

A：因為拼圖游戲本身必須是"可解的"，才有訓練價值。如果視頻幾乎沒有變化（比如靜態畫面、單調噪聲），打亂順序后AI根本無法判斷哪段在前、哪段在后，這種訓練樣本不只沒有價值，還會給AI錯誤的信號。第一階段通過信號檢測快速排除靜態視頻和音頻質量差的樣本，第二階段用語義模型判斷視頻是否有清晰的時間因果邏輯和狀態變化。只有同時通過兩關的視頻，才能保證AI在訓練時面對的是真正"值得拼"的拼圖。