CVPR 2026｜AI開始會拍電影了：一分鐘十鏡頭，全程不崩劇情

來源：市場資訊

安照崇現為哥本哈根大學博士生，隸屬于 Pioneer Centre for Artificial Intelligence 和 ELLIS 項目，導師為 Serge Belongie 教授。他于 2023 年獲得蘇黎世聯邦理工學院（ETH Zurich）計算機科學碩士學位，導師為 Luc Van Gool 教授。他的研究方向主要包括三維理解、視頻生成以及多模態模型。

多鏡頭視頻生成是自然世界敘事的重要表達形式，也是視頻生成領域中一個挑戰性的研究方向。

與單鏡頭視頻不同，多鏡頭視頻并不是簡單地把幾個片段拼接起來，而是要求模型同時處理兩類信息：一類需要在不同鏡頭之間保持穩定，例如人物身份、環境主體和故事主線；另一類則需要隨著敘事自然變化，例如視角切換、動作推進和場景轉場。

這一任務通常可以定義為：給定每個 shot 的 prompt，以及一個可選的初始圖像作為首幀條件，模型需要生成多個 shot，并同時維持跨 shot 的內容一致性和對每個 shot prompt 的準確遵循。

這意味著，模型必須能夠持續維護長程的跨鏡頭上下文。然而，現有方法大致存在兩類局限：一類方法依賴固定窗口，在窗口內同時生成多個 shot，但隨著窗口滑動，較早鏡頭的信息會被丟棄；另一類方法先生成各 shot 關鍵幀，再以關鍵幀為條件生成各 shot，但這樣限制了 shot 間交互，難以有效傳遞 shot 內更復雜的敘事細節。

最近，來自 Meta 與 University of Copenhagen 的研究者提出了 OneStory: Coherent Multi-Shot Video Generation with Adaptive Memory（收錄于 CVPR 2026）。

論文地址：https://arxiv.org/pdf/2512.07802

這項工作聚焦于一個核心問題：如何在生成多鏡頭視頻時，有效保留長程跨鏡頭上下文，從而實現更強的敘事一致性。其核心思路，是為多鏡頭視頻生成建立一種全局但緊湊的跨鏡頭記憶機制。

圖 1 OneStory 可生成分鐘級、十鏡頭的長視頻故事，在復雜敘事推進過程中保持人物與場景的一致性；同時統一支持 image-to-multi-shot 與 text-to-multi-shot 兩種生成設置，并在 out-of-domain 場景中展現出良好的泛化能力。

OneStory 做了什么？

圖 2 OneStory 的訓練與推理流程示意圖。訓練階段，模型以前兩個 shot 為條件生成第三個 shot；推理階段，模型根據輸入 caption 按 shot-by-shot 的方式逐步生成多鏡頭視頻。

OneStory 首先將多鏡頭視頻生成重新表述為一個更自然的問題：next-shot generation。也就是說，模型不再一次性生成整段長視頻，而是像講故事一樣，基于前面已經生成的鏡頭，生成下一個鏡頭（每個鏡頭同時生成）。這樣的設定實現了 shot-by-shot 的自回歸式多鏡頭生成。

與此同時，OneStory 以預訓練的 image-to-video 基礎模型作為初始化，因此可以自然繼承基礎模型本身強大的視覺條件生成能力。通過這樣的任務重構，OneStory 的第一個 shot 可以由用戶通過使用任一 text-to-video 或 image-to-video 模型得到，而后續 shot 則由 onestory 根據輸入的 shot prompt 逐步生成。

也正因如此，OneStory 能夠在同一個模型中統一支持 text-to-multi-shot video 和 image-to-multi-shot video 兩種生成方式。

圖 3 OneStory 中 Frame Selection 和 Adaptive Conditioner 的結構示意圖。兩者共同實現了自適應記憶建模，從而支持全局但緊湊的跨鏡頭上下文表示，用于連貫的敘事生成。

在此基礎上，OneStory 設計了兩個關鍵模塊。

1. Frame Selection：找到真正相關的歷史 memory

并不是所有前序鏡頭對當前鏡頭的生成都同等重要。

例如，第 1 個鏡頭中出現主角，第 2 個鏡頭切換到配角，第 3 個鏡頭又回到主角。那么在生成第 3 個鏡頭時，第 1 個鏡頭往往比第 2 個鏡頭更關鍵。基于這種跨鏡頭相關性不均等的現象，OneStory 引入了 Frame Selection 模塊，從所有歷史鏡頭中自動挑選出與當前鏡頭 prompt 在語義上最相關的一些幀，作為當前 shot 生成時的 memory。

這一設計不僅避免了固定窗口滑動帶來的遺忘問題，也使模型能夠真正構建起全局的跨鏡頭上下文。

圖 4 與以往方法按時間順序機械分配 patchifier 不同，Adaptive Conditioner 根據內容相關性動態分配不同粒度的 patchifier，從而更高效地利用跨鏡頭記憶。

2. Adaptive Conditioner：把 memory 壓縮成高效條件信息

僅僅 「記住」還不夠，如何高效地將這些歷史信息輸入生成器同樣關鍵。

OneStory 的 Adaptive Conditioner 會根據 Frame Selection 模塊預測的重要性，對選中的歷史幀進行自適應 patchification：更重要的信息保留更細粒度的表示，不那么關鍵的信息則被更強地壓縮。這樣一來，模型就在計算成本可控的前提下，將歷史上下文轉化為緊湊而有效的條件信號，并直接注入生成過程。

圖 5 多 shot 視頻數據收集流程

此外，論文沒有沿用「整段故事需要一個總腳本，再輔以分鏡頭定義」的數據構建方式，而是僅保留分鏡頭 prompt，并將每個鏡頭寫成帶有前文指代關系的描述。這樣的數據形式更貼近真實的故事講述邏輯，也讓用戶的提示控制更加簡化。

實驗結果

圖 6 定性比較結果。OneStory 能夠更忠實地遵循 shot-level captions，生成在內容和敘事上更加連貫的多鏡頭視頻。

各實驗表明，OneStory 能夠在復雜提示不斷變化的情況下持續推進敘事，同時保持人物和環境的一致性。論文中也提供了對 OneStory 在復雜敘事場景中的表現分析，包括：

• 外觀變化下的人物一致性保持

• 從大全景到局部特寫時的空間定位能力

• 人與物體交互發展過程中的敘事延續能力

這些現象說明，OneStory 學到的并不只是表層的視覺連續性，而更接近于一種跨鏡頭敘事理解能力。

OneStory 的意義是什么？

如果說單鏡頭視頻生成解決的是「把一段畫面做出來」，那么多鏡頭視頻生成真正要解決的，就是「把一個故事講下去」。

OneStory 給出的答案是：不是一味拉長上下文窗口，也不是依賴單張關鍵幀，而是通過自適應記憶建模，在全局信息建模能力和計算效率之間找到平衡。它讓模型在跨鏡頭生成時，既能夠記住過去，又不會被冗余信息淹沒。

對于長視頻生成和可控世界模型而言，這是一條非常值得關注的方向，因為 OneStory 為視頻模型提供了一種有效的自適應 memory 管理機制，也為更長時程、更高一致性的視頻生成打開了新的可能。