Soul App開(kāi)源實(shí)時(shí)數(shù)字人生成模型SoulX-FlashTalk

近期，Soul App AI團(tuán)隊(duì)（Soul AI Lab）已開(kāi)源實(shí)時(shí)數(shù)字人生成模型SoulX-FlashTalk 。這是首個(gè)能夠?qū)崿F(xiàn)0.87s亞秒級(jí)超低延時(shí)、32fps高幀率，并支持超長(zhǎng)視頻穩(wěn)定生成的14B數(shù)字人模型。

在持續(xù)建設(shè)AI能力的過(guò)程中，Soul團(tuán)隊(duì)始終致力于通過(guò)技術(shù)創(chuàng)新實(shí)現(xiàn)更沉浸、多元的交互體驗(yàn)。此次開(kāi)源新模型，除了在速度、效果、延遲和保真度上表現(xiàn)出色，更重要的是，為行業(yè)提供了切實(shí)可應(yīng)用的業(yè)務(wù)解決方案，推動(dòng)大參數(shù)量實(shí)時(shí)生成式數(shù)字人邁入可具體商用落地階段。

Project Page:

Technical Report:

Source Code: https://github.com/Soul-AILab/SoulX-FlashTalk

HuggingFace:

SoulX-FlashTalk亮點(diǎn)：

四大關(guān)鍵指標(biāo)，重塑實(shí)時(shí)互動(dòng)體驗(yàn)

0.87s 亞秒級(jí)延時(shí)，即時(shí)交互

在實(shí)時(shí)視頻交互中，延遲是決定用戶(hù)體驗(yàn)的核心。SoulX-FlashTalk 憑借全棧加速引擎的極致優(yōu)化，成功將首幀視頻輸出的延時(shí)降至0.87s亞秒級(jí)。

• “零延遲”即時(shí)反饋： 首次讓 14B 級(jí)大模型數(shù)字人具備了即時(shí)反應(yīng)能力，徹底消除了傳統(tǒng)大模型生成的“滯后感”。
• 全場(chǎng)景交互： 無(wú)論是視頻通話中的即時(shí)對(duì)答、直播間彈幕的秒級(jí)互動(dòng)，還是智能客服的實(shí)時(shí)響應(yīng)，均能實(shí)現(xiàn)自然、流暢的深度對(duì)話。

32fps 高幀率，重新定義“流暢”

盡管搭載了 14B 參數(shù)量的超大 DiT 模型，SoulX-FlashTalk 的推理吞吐量仍高達(dá) 32 FPS。

• 超越行業(yè)標(biāo)準(zhǔn)：遠(yuǎn)超直播所需的 25 FPS 實(shí)時(shí)標(biāo)準(zhǔn)，確保每一幀畫(huà)面都絲滑順暢。
• 大模型，高性能：證明了 140 億參數(shù)大模型在經(jīng)過(guò)深度加速優(yōu)化后，依然可以擁有極佳的運(yùn)行效率。

超長(zhǎng)視頻穩(wěn)定清晰生成，告別畫(huà)面“崩壞”

數(shù)字人視頻最怕在生成中出現(xiàn)人物面部不一致或顯著畫(huà)質(zhì)下降的問(wèn)題。SoulX-FlashTalk 憑借獨(dú)家的自糾正雙向蒸餾技術(shù)，解決了這一痛點(diǎn)：

• 無(wú)感糾錯(cuò)，畫(huà)質(zhì)無(wú)損：引入多步回溯自糾正機(jī)制，模擬長(zhǎng)序列生成的誤差傳播并進(jìn)行實(shí)時(shí)修正，就像為 AI 裝上了“實(shí)時(shí)校準(zhǔn)器”，主動(dòng)恢復(fù)受損特征。
• 超長(zhǎng)視頻，穩(wěn)定生成： 不同于傳統(tǒng)的單向依賴(lài)，SoulX-FlashTalk 完全保留了雙向注意力機(jī)制，讓每一幀生成都能同時(shí)參考過(guò)去與隱含的未來(lái)上下文，從根本上壓制身份漂移，這意味著在超長(zhǎng)直播中，主播的口型、面部細(xì)節(jié)和背景環(huán)境將始終保持一致，不會(huì)出現(xiàn)模糊或變形。

全身動(dòng)作交互：不只是“口型對(duì)齊”

SoulX-FlashTalk 突破了傳統(tǒng)數(shù)字人僅能實(shí)現(xiàn)面部“對(duì)口型”的局限，帶來(lái)了更加真實(shí)自然的全身肢體動(dòng)態(tài)表現(xiàn)。

• 全身肢體動(dòng)態(tài)合成： 不同于僅對(duì)臉部進(jìn)行局部重繪的方案，SoulX-FlashTalk 支持受音頻驅(qū)動(dòng)的全身動(dòng)作生成，產(chǎn)生真實(shí)自然的人體動(dòng)態(tài)。
• 高精細(xì)手部表現(xiàn)： 基于14B DiT的強(qiáng)大建模能力，系統(tǒng)能夠有效消除手部畸形與運(yùn)動(dòng)模糊，精準(zhǔn)呈現(xiàn)結(jié)構(gòu)清晰、紋理銳利的手部動(dòng)作細(xì)節(jié)。
• 靈動(dòng)而不失穩(wěn)定： 在追求大幅度動(dòng)態(tài)表現(xiàn)力的同時(shí)，系統(tǒng)依然維持了極高的身份一致性（Subject-C 達(dá) 99.22），實(shí)現(xiàn)了動(dòng)作靈活性與畫(huà)面穩(wěn)定性的完美平衡。

核心方案：

雙向蒸餾+多步回溯自糾正機(jī)制

在行業(yè)中，傳統(tǒng)數(shù)字人生成方案大多面臨畫(huà)面生成時(shí)間長(zhǎng)、延遲高、生成效果差、效果不穩(wěn)定、保真度低等問(wèn)題。

在這樣的背景下，SoulX-FlashTalk正式開(kāi)源，為了平衡生成質(zhì)量與推理速度，團(tuán)隊(duì)采用了兩階段訓(xùn)練策略：

第一階段：延遲感知時(shí)空適配 (Latency-Aware Spatiotemporal Adaptation)，結(jié)合動(dòng)態(tài)長(zhǎng)寬比分桶策略進(jìn)行微調(diào)，使模型適應(yīng)較低的分辨率和更短的幀序列；

第二階段：自糾正雙向蒸餾 (Self-Correcting Bidirectional Distillation)。利用 DMD 框架壓縮采樣步數(shù)并移除無(wú)分類(lèi)器引導(dǎo)（CFG），實(shí)現(xiàn)加速；多步回溯自糾正機(jī)制，通過(guò) autoregressively 合成連續(xù)分塊（最多 K個(gè)chunks），顯式模擬長(zhǎng)視頻生成的誤差傳播；隨機(jī)截?cái)嗖呗裕谟?xùn)練中在第 k（< K）個(gè)分塊數(shù)進(jìn)行反向傳播，實(shí)現(xiàn)高效且無(wú)偏的顯存友好優(yōu)化 。

訓(xùn)練流程示意圖

同時(shí)，團(tuán)隊(duì)進(jìn)行實(shí)時(shí)推理加速系統(tǒng)優(yōu)化， 針對(duì) 8-H800 節(jié)點(diǎn)設(shè)計(jì)的全棧加速引擎實(shí)現(xiàn)了亞秒級(jí)延遲 ，包括了

• 混合序列并行 (Hybrid Sequence Parallelism)：整合 Ulysses 和 Ring Attention，使單步推理速度提升約5倍算子級(jí)優(yōu)化：采用針對(duì)Hopper架構(gòu)優(yōu)化的FlashAttention3，通過(guò)異步執(zhí)行進(jìn)一步減少 20% 的延遲
• 3D VAE 并行化：引入空間切片并行解碼策略，實(shí)現(xiàn)VAE處理的5倍加速
• 整鏈優(yōu)化：通過(guò) torch.compile 實(shí)現(xiàn)全流程圖融合與內(nèi)存優(yōu)化

值得注意的是，在Soul AI團(tuán)隊(duì)發(fā)布的技術(shù)報(bào)告中指出，傳統(tǒng)的單向（Unidirectional）模型在處理全局時(shí)間結(jié)構(gòu)時(shí)存在約束，容易導(dǎo)致時(shí)間不一致和身份漂移。因此，團(tuán)隊(duì)完全保留雙向注意力機(jī)制（All-to-All 交互），使模型能同時(shí)利用過(guò)去與隱含的未來(lái)上下文，顯著提升了生成的一致性與細(xì)節(jié)質(zhì)量 。

SoulX-FlashTalk推理架構(gòu)流程圖

AI+實(shí)時(shí)體驗(yàn)

賦能行業(yè)多元業(yè)務(wù)場(chǎng)景

從模型表現(xiàn)來(lái)看，通過(guò)在 TalkBench-Short 和 TalkBench-Long 數(shù)據(jù)集上的定量對(duì)比，展示了SoulX-FlashTalk在視覺(jué)質(zhì)量、同步精度及生成速度上的全面領(lǐng)先：

在短視頻評(píng)測(cè)中，它以3.51的ASE和4.79的IQA刷新了視覺(jué)保真度記錄，并以1.47的Sync-C分?jǐn)?shù)表現(xiàn)出最優(yōu)的口型同步精準(zhǔn)度；在5分鐘以上的長(zhǎng)視頻生成中，系統(tǒng)憑借雙向蒸餾策略有效抑制了同步漂移，取得了1.61的Sync-C優(yōu)異成績(jī)；此外，作為14B參數(shù)規(guī)模的大模型，它在長(zhǎng)短視頻任務(wù)中均維持了32 FPS 的高吞吐量，不僅遠(yuǎn)超25 FPS的實(shí)時(shí)性基準(zhǔn)，更在推理效率上顯著優(yōu)于行業(yè)同類(lèi)主流模型。

依托模型優(yōu)越的性能表現(xiàn)，開(kāi)源后，SoulX-FlashTalk將有機(jī)會(huì)在多領(lǐng)域、行業(yè)實(shí)際落地，創(chuàng)造更多價(jià)值。例如，在電商領(lǐng)域打造7×24小時(shí)AI直播間，特別是，此前傳統(tǒng)的數(shù)字人直播長(zhǎng)時(shí)間運(yùn)行后常會(huì)出現(xiàn)嘴型對(duì)不上或畫(huà)質(zhì)模糊的問(wèn)題，而SoulX-FlashTalk可以支持全天候的流暢視頻直播，即便是在高強(qiáng)度的實(shí)時(shí)互動(dòng)中（如回復(fù)彈幕），也能保持如同真人出鏡的高保真畫(huà)質(zhì)，極大降低直播成本。

此外，在短視頻制作、AI教育、多元互動(dòng)場(chǎng)景NPC交互、AI客服等方向，模型也提供了高質(zhì)量、可落地、可接入業(yè)務(wù)系統(tǒng)的解決方案。

對(duì)Soul而言，SoulX-FlashTalk的發(fā)布也意味著團(tuán)隊(duì)進(jìn)入了開(kāi)源新階段。去年10月底，Soul AI團(tuán)隊(duì)開(kāi)源語(yǔ)音合成模型SoulX-Podcast，在發(fā)布后快速登頂開(kāi)源社區(qū)平臺(tái)HuggingFace TTS（Text To Speech）趨勢(shì)榜，目前該模型在GitHub上收獲了超3100星標(biāo)。

接下來(lái)，在聚焦語(yǔ)音對(duì)話合成、視覺(jué)交互等核心交互能力的提升，為用戶(hù)帶來(lái)更加沉浸、智能且富有溫度的交互體驗(yàn)的過(guò)程中，以持續(xù)推進(jìn)開(kāi)源工作為契機(jī)，Soul將積極與全球開(kāi)發(fā)者攜手，共建生態(tài)，為推動(dòng)“ AI +社交”方向前沿能力建設(shè)貢獻(xiàn)力量。