創(chuàng)智劉鵬飛、Sand.ai曹越,兩大AI青年學(xué)者團(tuán)隊(duì)聯(lián)手開源音視頻模型

機(jī)器之心編輯部

開源多模態(tài)生成領(lǐng)域，迎來架構(gòu)級的底層突破。

視頻生成已成為當(dāng)前生成式 AI 最前沿的方向，但在音視頻聯(lián)合同步生成領(lǐng)域，開源界仍面臨三重局限：

• 音視頻不同步：視頻和音頻往往語義對齊精度不足。
• 架構(gòu)設(shè)計復(fù)雜：現(xiàn)有方案要么將音頻視為從屬信號，要么通過復(fù)制骨干網(wǎng)絡(luò)來處理音頻，參數(shù)成本翻倍且推理優(yōu)化困難。
• 生成速度慢：現(xiàn)有的音視頻聯(lián)合生成模型往往因?yàn)槟Ｐ图軜?gòu)設(shè)計復(fù)雜、難以充分優(yōu)化，從而導(dǎo)致生成速度較慢，難以滿足交互式場景的需求。

今日，由上海創(chuàng)智學(xué)院（SII）生成式人工智能研究實(shí)驗(yàn)室（GAIR）Sand.ai聯(lián)合研發(fā)的daVinci-MagiHuman正式開源發(fā)布，打破了開源界的這三重局限。

作為演繹級人像音視頻的開源基座模型，daVinci-MagiHuman 以 150 億參數(shù)的單流 Transformer 為核心，實(shí)現(xiàn)了文本、視頻、音頻在統(tǒng)一骨干網(wǎng)絡(luò)下的聯(lián)合建模，徹底告別了跨注意力和模態(tài)專屬分支。

• 代碼倉庫：https://github.com/GAIR-NLP/daVinci-MagiHuman
• 模型權(quán)重：https://huggingface.co/GAIR/daVinci-MagiHuman
• 在線 Demo 體驗(yàn)：https://huggingface.co/spaces/SII-GAIR/daVinci-MagiHuman

研發(fā)團(tuán)隊(duì)介紹

這一成果由上海創(chuàng)智學(xué)院（SII）GAIR 實(shí)驗(yàn)室 與 Sand.ai 共同完成。

上海創(chuàng)智學(xué)院是由頂尖大學(xué)、頭部企業(yè)和科研機(jī)構(gòu)聯(lián)合建設(shè)的新型人才培養(yǎng)機(jī)構(gòu)；其 GAIR 實(shí)驗(yàn)室由劉鵬飛博士領(lǐng)導(dǎo)，聚焦生成式人工智能的前沿研究，涵蓋多模態(tài)視頻基座模型、文本大模型預(yù)訓(xùn)練及智能體構(gòu)建等方向。在多模態(tài)世界模型方面，實(shí)驗(yàn)室已展開了系統(tǒng)性探索：從開源首個原生無擴(kuò)散的多模態(tài)模型 Anole，到提出以生成圖像進(jìn)行思考的新范式 Thinking with Generated Images，再到面向?qū)崟r交互場景的 LiveTalk，以及面向數(shù)字世界理解與模擬的數(shù)字基因工作，逐步構(gòu)建起從多模態(tài)生成、視覺推理到實(shí)時交互的完整研究鏈條。近期，該實(shí)驗(yàn)室已產(chǎn)出 daVinci-MagiHuman、Data Darwinism、daVinci-Agency、daVinci-Dev 等一系列代表性工作。

Sand.ai 則是由馬爾獎得主曹越博士所創(chuàng)立，專注于開發(fā)視頻生成大模型，并以推動通用人工智能（AGI）為目標(biāo)。先后發(fā)布全球首個自回歸視頻生成模型 Magi-1，以及主打「AI 演員」表現(xiàn)力的 GAGA-1 模型，在物理規(guī)則連貫性和原生音畫同步等領(lǐng)域都取得了突破性成果。

演繹級人像音視頻的開源基座模型

daVinci-MagiHuman 是音視頻聯(lián)合生成的開源基座模型。與許多依賴多流結(jié)構(gòu)、跨注意力模塊或模態(tài)專用融合分支的方案不同，daVinci-MagiHuman 采用了更為簡潔的單流 Transformer 架構(gòu)，以 150 億參數(shù)的統(tǒng)一骨干網(wǎng)絡(luò)聯(lián)合建模文本、視頻與音頻三種模態(tài)，徹底告別跨注意力和模態(tài)專屬分支。這一設(shè)計不僅降低了系統(tǒng)復(fù)雜度，也讓訓(xùn)練與推理優(yōu)化更加直接、統(tǒng)一。

在能力上，daVinci-MagiHuman 尤其擅長以人物為中心的生成任務(wù)，能夠生成富有表現(xiàn)力的面部表情與自然語音，并實(shí)現(xiàn)精確的音視頻同步，覆蓋語音與口型協(xié)調(diào)、表情驅(qū)動、動作表現(xiàn)等場景。同時，模型具備較強(qiáng)的多語言泛化能力，支持中文（普通話與粵語）、英文、日文、韓文、德文、法文等多種語言的音視頻生成。

在推理效率方面，daVinci-MagiHuman 結(jié)合單流骨干網(wǎng)絡(luò)、隱空間超分辨率與 Turbo VAE 解碼器，在單張 H100 上僅需 2 秒即可生成 5 秒 256p 視頻。在與 LTX-2.3、Ovi 1.1 的全面對比中，daVinci-MagiHuman 在成對人工評測中取得了70.5%的綜合勝率，在客觀基準(zhǔn)上同樣展現(xiàn)出領(lǐng)先表現(xiàn)。

核心技術(shù)揭秘：單流 Transformer 統(tǒng)管所有模態(tài)

為了解決上述挑戰(zhàn)，daVinci-MagiHuman 選擇了一條更直接的路線：把文本、視頻、音頻統(tǒng)一放入同一個單流 Transformer 去噪網(wǎng)絡(luò)中，以純自注意力完成聯(lián)合建模。在這一基礎(chǔ)上，模型進(jìn)一步采用了幾項(xiàng)關(guān)鍵設(shè)計：

• Sandwich 式主干網(wǎng)絡(luò)：在單流 Transformer 去噪網(wǎng)絡(luò)中，少數(shù)輸入層和輸出層保留模態(tài)相關(guān)參數(shù)化，主要的中間層主干網(wǎng)絡(luò)共享參數(shù)，在模態(tài)特化與深層融合之間取得平衡。
• 無顯式 timestep 條件注入：模型不再單獨(dú)引入 timestep 條件，而是直接從當(dāng)前噪聲隱變量中推斷去噪狀態(tài)。
• Attention-Head 門控：為了提升訓(xùn)練時的數(shù)值穩(wěn)定性和提升 attention 的表達(dá)能力，研發(fā)團(tuán)隊(duì)進(jìn)一步在每個 attention head 的輸出引入了門控機(jī)制。
• 統(tǒng)一條件接口：文本、參考音頻、參考視覺條件等都通過統(tǒng)一接口進(jìn)入同一主干網(wǎng)絡(luò)，而不是為不同任務(wù)單獨(dú)設(shè)計融合結(jié)構(gòu)。

面向效率的四層優(yōu)化

除了去噪網(wǎng)絡(luò)本身的先進(jìn)設(shè)計，daVinci-MagiHuman 還圍繞推理效率進(jìn)行了系統(tǒng)級優(yōu)化。

1.隱空間超分

為了避免從頭直接生成高分辨率視頻帶來的巨大開銷，研發(fā)團(tuán)隊(duì)采用兩階段流水線：底模先在較低分辨率生成音視頻隱變量，再通過隱空間超分對視頻結(jié)果進(jìn)行細(xì)化。整個超分過程直接在隱空間（latent space) 中完成，通過三線性插值、重新加噪和少量額外去噪步驟完成高分辨率細(xì)化，效果更好的同時避免額外的 VAE decode/encode 開銷。

值得一提的是，這一階段雖然主要服務(wù)于視頻細(xì)化，但音頻隱變量也會繼續(xù)作為輸入進(jìn)入超分模型，并與視頻一起在同一主干中聯(lián)合建模。這種設(shè)計在底模分辨率較低、口型細(xì)節(jié)容易偏差的情況下尤其重要，有助于保持更好的唇形同步效果。

2.Turbo VAE Decoder

在視頻編解碼階段，模型保留 Wan2.2 VAE 作為編碼器，但在推理中使用更輕量的 Turbo VAE 解碼器替換原始解碼器，以降低視頻解碼延遲。由于解碼位于底模生成和超分流水線的關(guān)鍵路徑上，這一優(yōu)化對整體推理速度非常重要。

3.全圖編譯優(yōu)化

研發(fā)團(tuán)隊(duì)進(jìn)一步將自研的全圖 PyTorch 編譯器 MagiCompiler 集成到推理?xiàng)Ｖ?。通過跨層算子融合、減少分布式通信開銷等方式，它能夠進(jìn)一步提升推理吞吐與執(zhí)行效率，并在 H100 上帶來了約 1.2 倍的加速。

4.模型蒸餾

研發(fā)團(tuán)隊(duì)還使用 DMD-2 技術(shù)對去噪網(wǎng)絡(luò)進(jìn)行蒸餾，從而實(shí)現(xiàn)了在推理階段僅去噪 8 步就可以獲得良好的音視頻生成效果。

性能實(shí)測：全面對標(biāo)開源 SOTA

先看實(shí)測效果：

研發(fā)團(tuán)隊(duì)針對 LTX-2.3、Ovi 和 MoVA 等最具代表性的開源模型進(jìn)行了系統(tǒng)性測試。

主觀評測：人工盲評

研發(fā)團(tuán)隊(duì)構(gòu)建了 100 條樣本的內(nèi)部評測數(shù)據(jù)集，覆蓋圖文生音視頻任務(wù)，由評審員從多個維度對各模型的生成結(jié)果進(jìn)行盲評打分。

客觀評測：VideoScore2 基準(zhǔn)和 TalkVid-Bench 對比

VideoScore2 主要用來評測視頻生成質(zhì)量，其采用的指標(biāo)包括視頻生成質(zhì)量（Visual Quality)、視頻 - 文本一致性 (Text Alignment) 和物理一致性（Physical Consistency)。TalkVid-Bench 則主要用來衡量音頻生成質(zhì)量，其指標(biāo)主要用詞錯誤率（Word Error Rate, WER) 來衡量。 表 2 展示了客觀指標(biāo)的評測結(jié)果，daVinci-MagiHuman 在視覺質(zhì)量、視頻 - 文本一致性都領(lǐng)先于 LTX2.3，在物理一致性上與 LTX2.3 大致相當(dāng)，優(yōu)于 OVI 1.1。在音頻質(zhì)量上，daVinci-MagiHuman 則遠(yuǎn)優(yōu)于 LTX2.3 與 OVI 1.1。

結(jié)語與未來展望

此次 daVinci-MagiHuman 的模型棧完整開源，包括生成模型、超分模型以及推理代碼。這一發(fā)布有望能夠?yàn)殚_源社區(qū)提供一個更簡單、更可擴(kuò)展、也更易于優(yōu)化的音視頻生成基礎(chǔ)系統(tǒng)，持續(xù)降低音畫同出大模型的開發(fā)與部署門檻，為 AI 社區(qū)貢獻(xiàn)真正 “開箱即用” 的性能紅利。

文中視頻鏈接：https://mp.weixin.qq.com/s/4t9H829uYt6QQOSK8oXlqg