擠干大模型高分水分!最強模型僅49分,南大傅朝友發布Video-MME-v2

機器之心發布

現有大模型評測分數日趨飽和，但與真實體驗差距顯著。南京大學傅朝友團隊牽頭，在 Google Gemini 評測團隊邀約下推出視頻理解新基準 Video-MME-v2。憑借創新的分層能力體系與組級非線性評分，以及 3300 + 人工時高質量標注，揭示模型與人類的巨大鴻溝（49 vs 90）、傳統 Acc 指標虛高、以及 “Thinking” 并非總是增益等現象。

• 論文：https://arxiv.org/pdf/2604.05015
• 主頁：https://video-mme-v2.netlify.app/
• MME-Survey: https://arxiv.org/pdf/2411.15296

一年多前，傅朝友帶領的 Video-MME 團隊發布了其第一版 Benchmark，被 Gemini、GPT 等廣泛用于視頻理解評測。根據 Paper Digest 統計，Video-MME 在CVPR 2025 所有錄用論文中影響力排名第一（引用 1100 + 次）。

近年來，團隊進一步對多模態大模型評測進行了系統梳理，并發布綜述工作MME-Survey，從能力覆蓋、評測方式到指標設計，對現有 Benchmark 進行了全面分析。

正因如此，團隊更早、更清晰地意識到：現有評測范式，開始逐漸“失真”了。多模態大模型在視頻理解上進步神速，各類 Benchmark 上的分數都在趨于飽和，但真實體驗依然不足。在這樣的背景下，Video-MME-v2正式發布。

Video-MME-v2 是一個面向下一代視頻理解能力的評測基準，歷經近一年時間準備，由12 名標注人員和50 位獨立審核人員共同完成，投入超過3300 人工時標注時間。與傳統 Benchmark 的不同在于，一個精心設計的逐層遞進三層能力體系以及分組非線性評分方法。

評測結果顯示：人類專家的非線性得分為 90.7（傳統 Acc 為 94.9），而當前最強的商業模型 Gemini-3-Pro 得分僅為 49.4，開源模型 Qwen 最佳結果為 39.1。

一、Video-MME-v2 在測什么？

Video-MME-v2 的第一個核心設計，是把視頻理解拆成一個逐層遞進的三層能力體系。

1. 第一層：信息檢索與聚合。這是視頻理解最基礎的一層，關注模型能否從跨幀、跨模態的信息中，準確識別并提取關鍵事實。

2. 第二層：時序理解。基于第一層，第二層進一步考察模型是否真正理解了時間維度。要求模型不僅能看懂不同幀的靜態畫面，更要抓住動作發生的先后關系、狀態如何變化、事件為何發生。

3. 第三層：復雜推理。基于第二層，第三層則更接近真實世界任務，要求模型在更復雜、更開放的場景中進行推理。這也是最接近 “人類式理解” 的一層：不僅要看懂，還要能推斷、能解釋、能綜合。圖 1 直觀展示了這三層能力結構。

圖 1 Video-MME-v2 能力層級分布以及部分模型能力排行

二、Video-MME-v2 不只是 “多出題”

而是換了一種新測法

Video-MME-v2 的第二個關鍵創新，回答的是“怎么測”。這項工作沒有繼續沿用 “每題獨立計分” 的傳統方法，而是引入了組級評測。即，不再只看模型某一道題答沒答對，而是看它在一組相關問題上是否表現出一致性連貫性。

1. 能力一致性組：看模型是不是 “真的會”

它關注的是：同一種能力，模型在不同問法、不同粒度、不同側面上，能不能都保持穩定。舉個簡單的例子：如果一個模型真的具備空間理解能力，那它不僅應該能回答 “物體在哪里”，也應該能回答 “它和另一個物體的相對位置如何變化”。

2. 推理連貫性組：看模型是不是 “真正在推理”

它關注的是：當一個復雜問題需要多步推理時，模型能不能沿著合理的邏輯鏈條，一步一步走到結論。比如，在一個復雜劇情視頻里，模型可能需要先發現一個關鍵視覺線索，再識別異常細節，再推斷人物目的，最后才能得出結論。如果中間某一環錯了，最終即使 “碰巧選對了”，這種正確也不能算作真正可信的推理。

為了和組級評測相配套，Video-MME 團隊進一步采用了非線性評分機制。這也是 Video-MME-v2 代表性的設計之一。

對于能力一致性組，四道相關問題不是簡單平均，而是采用激勵計分（一個 Group 里答對越多獎勵也多）。這意味著：零散地答對幾道題，并不能拿到很高分；只有當模型在同組問題中保持穩定表現，分數才會真正上來。

對于推理連貫性組，則是進一步采用“首錯截斷”機制。即，一旦某一步做錯，后面即使答對，也不再計分。

三、為什么說它更難，也更可信？

一個 Benchmark 的說服力，不只在于 “設計巧”，也在于 “數據夠不夠扎實”。團隊嚴格把控 Video-MME-v2 的數據源、標注流程、質檢標準等各方面，投入了極高的人力成本。數據集最終包含 800 個視頻、3200 個問題；共有12 名標注者50 位獨立審核人員參與，經過5 輪交叉審核與閉環修訂，累計投入超過3300 人工時。更多細節請查看主頁和技術報告。

四、評測結果如何？

在主榜結果中，人類的組級非線性得分達到90.7，平均準確率達到94.9；而當前表現最好的商業模型Gemini-3-Pro，組級非線性得分為49.4。開源模型中，Qwen3.5-397B-A17B-Think（512 frames），組級得分為39.1

它意味著：哪怕是當前最強的視頻模型，在更嚴格、更強調一致性與連貫性的評測框架下，與人類仍存在巨大的差距。

論文也特別指出，模型從 Level 1 到 Level 3 呈現出明顯的性能遞減，說明高層復雜推理的薄弱，并不只是 “推理模塊不夠強”，而往往是前面的信息聚合和時序建模已經出了問題，最終層層累積，拖垮了復雜理解。

圖 2 當前評測前 10 名（完整請查看主頁）

五、非線性評分的優勢

從 “答對一道題” 到 “穩定理解一組問題”

在傳統評測中，平均準確率（Avg Acc）是最常用的指標，但它本質上是逐題獨立統計的結果，容易受到 “零散命中” 的影響。

相比之下，團隊提出的組級非線性評分（Non-Lin Score），通過對問題之間的結構關系進行建模，更強調模型在同一能力維度下的整體表現，從而能夠更真實地刻畫模型是否 “穩定地理解了視頻”。

進一步來看，非線性評分還揭示了模型能力中的一個重要現象：從 “單題正確” 到 “組內穩定正確” 之間存在顯著能力折損。為此，團隊引入了一個具有解釋力的指標 ——Non-Lin Score/Avg Acc 的比值，用于衡量這一折損程度。

實驗結果顯示，當前最強的模型的比值Gemini-3-Pro的比值約為 75%；Doubao-Seed-2.0-Pro的比值約為 72%；而部分中小模型（如 LLaVA-Video-7B）甚至低至約 40%。

比值越低，說明模型越容易出現 “組內只能答對部分題” 的現象，穩定性與魯棒性越弱。由此可見非線性打分在真實刻畫能力水平、揭示模型魯棒性方面的優勢。

圖 3 不同模型 Non-Lin Sore/Avg Acc 的比值結果

六、一個很值得關注的發現

Thinking，并不總是有效

在今天的大模型語境下，“Thinking” 幾乎已經成了默認增強選項。但 Video-MME-v2 的一個非常有意思、也非常重要的發現是：Thinking 的收益不是無條件成立的，它高度依賴文本線索。

論文實驗顯示，開啟 Thinking 后，模型在 “有字幕” 的設定下，通常比在 “純視覺” 設定下獲得更明顯的提升。例如，Qwen3.5-122B-A10B-Think（64 frames）在無字幕和有字幕設置下，分別帶來+3.8/+5.8的提升。這說明，顯式文本語義仍然是很多模型完成多步推理時重要的 “錨點”。

但另一方面，Thinking 也可能帶來退化。Qwen3-VL-8B在無字幕設定下出現了-0.6的下降，而KimiVL-16B在整體上出現了-3.3/-3.3的性能回落，在更強調復雜推理的 Level 3 上，退化甚至達到-4.0/-3.9。

這說明一件事：當前一些模型的 “推理增強”，本質上仍然更擅長利用語言線索，而不是穩定地從視覺、音頻中抽取支撐推理的證據。一旦文本錨點不足，Thinking 不但未必增益，反而可能引入更多噪聲。

圖 4 在有無字幕設定下，是否開啟 Thinking 對模型性能影響

小結：在視頻理解的下一階段，Video-MME-v2 想推動的是一次評測理念上的轉變，強調真正需要比較的是誰能夠在連續、動態、多模態的信息中，像人一樣，真正理解正在和已經發生的事情。更多內容和細節請查看主頁和技術報告。

Video-MME 系列 Project Lead 為南京大學傅朝友老師

傅朝友，南京大學模式識別實驗室研究員、助理教授、博導，入選中國科協 “青年人才托舉工程”。2022 年博士畢業于中科院自動化所模式識別實驗室。研究方向為多模態內容分析，谷歌學術引用 8700 余次，兩篇一作單篇引用過千次，六篇一作單篇引用過百次。

開源項目累計獲得 2 萬余次 GitHub Stars。代表性工作包括 VITA 多模態大模型系列（VITA-1.0/-1.5、Long-VITA、VITA-Audio），MME 多模態評測基準系列（MME、Video-MME、MME-RealWorld）和 Awesome-MLLM 社區等。

擔任 Pattern Recognition/IEEE T-BIOM 期刊編委、ICLR/ICML 會議領域主席、CSIG 青工委委員、CCF-AI/-CV 專委會執行委員。曾獲小米青年學者 - 科技創新獎、華為紫金學者、世界人工智能大會云帆獎、中科院院長特別獎、IEEE Biometrics Council Best Doctoral Dissertation Award、北京市優博、中科院優博、CVPR 2023 Outstanding Reviewer。