![]()
一年前,DeepSeek R1 橫空出世,人們才意識到,真正讓模型產生推理能力質變的,不必是更大的預訓練規模 —— 后訓練,用強化學習、過程獎勵、閉環反饋,以極低的代價解鎖了原本需要數倍算力才能觸達的能力邊界。
這場范式革命,正在物理世界重演。
自動駕駛系統已經在海量駕駛數據上完成了預訓練,但距離真正的 Physical AGI,仍有一道鴻溝:模型知道 "該怎么開",卻不知道「為什么這樣開更好」。真正的進化,需要閉環、需要反饋、需要在與世界的交互中不斷修正。
香港大學李弘揚團隊聯合華為、上海創智學院給出了他們的答案 —— 世界引擎:以后訓練為核心范式,以閉環仿真為訓練環境,驅動自動駕駛系統在海量真實與合成場景的交互中,涌現出真正的決策能力。
![]()
- 代碼地址:https://github.com/OpenDriveLab/WorldEngine
- 主頁:https://opendrivelab.com/WorldEngine/
作為自動駕駛領域的重要學術力量,2022 年底,OpenDriveLab 推出UniAD—— 第一個將感知、預測、規劃統一在單一框架下的端到端系統,以「規劃為中心」重新定義了自動駕駛的建模范式,成為學術界公認的里程碑。
但 UniAD 之后,一個更深的問題浮出水面:端到端系統在學術 benchmark 上表現優異,真實世界卻是另一回事。
雨夜里逆行的電動車,施工路段突然倒下的錐桶,大客車后方的鬼探頭 —— 這些長尾場景,在訓練數據里幾乎不存在。靠更大的數據集、更深的網絡,無法根本性地解決。
OpenDriveLab 開始從兩個方向同時推進。一方面,MTGS 通過多次遍歷的 3D 高斯潑濺技術,構建出高保真的可渲染駕駛場景 —— 這是閉環仿真的物理基礎。另一方面,Nexus、Omega 等世界模型工作聚焦于反事實難例高動態交互模擬,突破真實數據對長尾場景覆蓋的天然局限。
至此,一個核心問題自然浮現:有了高保真仿真環境,有了能生成難例的世界模型,如何讓端到端系統真正在其中安全進化?
答案,就是后訓練
2025 年 4 月,華為發布 ADS 4.0,正式披露了全新技術架構 WEWA。其中云端核心World Engine,正是華為與 OpenDriveLab 聯合開發的成果。(https://auto.huawei.com/cn/ads)華為將這套架構的目標定義為:面向自動駕駛,從類人到超人。
World Engine,由此登場。
World Engine:邁向物理 AI 的后訓練時代
如果說預訓練讓自動駕駛系統學會了「模仿」,那后訓練要解決的,是如何讓系統學會「判斷」。
World Engine 的設計哲學,正是圍繞這一目標展開。它不是一個單一模型,而是一套完整的后訓練 pipeline,由三個核心能力構成:
- 3DGS 仿真環境—— 基于 3DGS 構建的高保真視覺輸入,為后訓練提供了真正意義上的閉環反饋。系統的每一個決策,都能在環境中得到即時響應,而不是停留在數據回放。
- 難例挖掘 & 擴散生成—— 真實世界的長尾場景稀缺且難以復現。World Engine 首先從海量真實駕駛數據中主動挖掘難例,再以世界模型為工具,對這些難例進行擴散生成后,依托仿真環境進行渲染,放大長尾場景的密度與多樣性,讓系統在訓練中「見過」它在路上可能遇到的一切。
- 基于強化學習的后訓練——World Engine 在仿真生成的大規模難例場景上,以強化學習驅動系統優化,將安全價值規范內化為獎勵信號,讓系統不只是「開得快」,更是「開得對」。
三者協同,構成了一個完整的飛輪:仿真生成難例,難例驅動后訓練,后訓練強化決策能力。
![]()
圖 1 World Engine 架構總覽
從暴露弱點到超越弱點
三個模塊,一套飛輪。
難例挖掘與擴散生成
World Engine 首先讓模型「自己暴露弱點」。將預訓練好的端到端模型在訓練集上做開環推理,以 PDMS 作為評判標準,自動篩選出模型表現差的場景 —— 碰撞、偏離道路、自車停滯不前。這些場景,就是模型的能力邊界所在。
挖掘出難例之后,World Engine 并不止步于此。行為世界模型(Behaviour World Model) 以解耦擴散的方式,對這些難例場景進行變體生成 —— 在保持真實地圖拓撲與場景布局的前提下,引入對抗性交通行為,批量合成高密度的安全關鍵場景。真實數據的長尾,由此被系統性地放大。
![]()
圖 2 難例擴散生成典型 case
高保真閉環仿真
難例場景需要一個足夠真實的舞臺。World Engine 內置了基于3DGS 的場景重建 pipeline—— 融合同一路段的多次真實駕駛記錄,構建出扎根于真實世界的高保真三維場景。這不是憑空生成的虛擬沙盒,而是閉環訓練的真實物理基礎。
![]()
圖 3 高保真閉環仿真效果圖
基于強化學習的后訓練
有了大規模難例數據,World Engine 以離線強化學習驅動端到端模型持續優化。獎勵信號將舒適性、避障、道路合規等安全價值直接內化為訓練目標。模型不再只是模仿人類駕駛員,而是在與難例的反復博弈中,學會真正的安全決策。
![]()
圖 4 navsim 測試難例集對比
World Engine 發現了什么?
數據量上做加法,不如在訓練范式上做乘法
![]()
圖 5 驗證 Data Scaling: 將預訓練數據集場景數量從 12k 增廣至 103k 進行對比
自動駕駛行業有一個長期信仰:數據越多,模型越安全。World Engine 給出了一個更復雜的答案。
將預訓練數據從 1.3 萬個場景一路擴大到 10.3 萬個,在日常駕駛場景上,scaling law 如期生效 —— 數據越多,表現越好。但在安全關鍵的長尾場景上,曲線很快躺平。原因并不意外:真實路測中危險場景本就極度稀缺,堆再多常規數據,模型在關鍵時刻依然束手無策。
數據 scaling,在長尾場景這件事上,撞上了天花板。
World Engine 的后訓練給出了另一條路徑:在仿真環境中以強化學習反復博弈難例場景,將避障、合規、舒適性直接編碼為優化目標,同時確保系統不丟失預訓練階段習得的基礎駕駛能力。從同一個基礎模型出發,后訓練直接跨越了 scaling 曲線,實現了等效于將預訓練數據擴大約 14 倍的閉環性能增益。
一塊都不能少
后訓練有效,但增益從何而來?World Engine 對自身的三個核心模塊做逐一拆解。
![]()
圖 6 navsim 數據集上不同訓練后范式對比
光喂數據沒用。拿到稀有場景數據,模仿學習幾乎不改善閉環表現。模型學會了「照做」,沒學會「判斷」。強化學習才是那個開關。
練什么比怎么練更重要。同樣是強化學習,在普通場景上練,閉環成功率反而下降 —— 就像一個學生只刷簡單題,考試遇到難題反而更慌。只有聚焦難例,能力才真正提升。
仿真不是有就行,得「活」起來。當仿真里的其他車輛只是錄像回放,收益有限;當它們開始對自車行為做出反應、甚至主動制造對抗,閉環成功率從 76% 一路拉到 89% 。World Engine 的行為世界模型,補上的正是這最后一環。
從仿真到路測:World Engine 的工業級答卷
學術 benchmark 之外,World Engine 接受了一次更嚴苛的考驗 —— 華為 ADS 系統的工業級驗證。
基礎模型在超過 8 萬小時真實駕駛數據上完成預訓練,覆蓋全國 100 余座城市、逾千萬條駕駛片段。這已經是一個極強的起點。World Engine 后訓練在此基礎上繼續發力。
工業閉環仿真
![]()
圖 7 ADS 工業級閉環仿真結果對比
團隊利用華為 ADS 的工業級閉環仿真平臺對后訓練模型進行了全面評估 —— 超過1 萬個測試場景,累計模擬駕駛里程逾3000 公里,全部為高密度交互的事件性場景,而非平淡的常規巡航。結果橫跨六項安全指標,全面改善,其中切入碰撞更是下降 45.5%。
實車路測
仿真之后,World Engine 走上了上海真實路面。測試路線涵蓋城市快速路與城區道路,總計約200 公里,重復測試三次完成。
![]()
圖 8 上海市內高架測試路線
![]()
圖 9 上海市城區測試路線
測試覆蓋的場景,是城市駕駛中真正讓人驚出冷汗的時刻:夜間施工區的臨時改道、行人從視覺盲區橫穿、無保護左轉后的施工區。這些場景的共同特征是 —— 即便是經驗豐富的人類駕駛員,也需要高度集中注意力,稍有遲疑就可能出事。
![]()
典型實車場景 1
![]()
典型實車場景 2
![]()
典型實車場景 3
而 World Engine 后訓練模型全程無需人工介入。
Post Training,不止于自動駕駛
World Engine 的故事,從自動駕駛出發。但它真正想回答的問題,遠不止于此。
回到最核心的洞見:當真實世界無法為你提供足夠的關鍵失敗場景時,就主動去創造它們。在這些失敗中反復博弈,在這些邊界上持續進化。這個邏輯,和駕駛無關 —— 它是所有 Physical AI 系統共同面臨的根本困境。
Physical AI 與數字 AI 最本質的區別,在于不可逆性。語言模型說錯一句話,刷新重來;推薦系統給錯一個結果,下一次糾正。但物理世界里,機器人打碎了一個杯子,手術機器人劃錯了一刀,自動駕駛追尾了一輛車 —— 錯誤已經發生,無法撤銷。這意味著,Physical AI 必須在真正上線之前,就已經 "見過" 那些最危險的時刻。
但現實是,這些最危險的時刻,恰恰是最難收集的數據。
這些領域,和自動駕駛面對的是同一個結構性困境:最需要學習的場景,天然地缺席于訓練數據。
World Engine 提供的范式正是針對這一困境的系統性回答。具體的技術實現會因領域而異:3DGS 渲染可以換成物理引擎或視頻世界模型,行為世界模型可以換成機械臂動力學仿真或人體運動生成 —— 但核心邏輯不變:不被動等待數據,主動生成經驗;不只模仿人類,在與世界的博弈中涌現能力。
OpenDriveLab 正在將這條路延伸到更廣闊的具身智能領域。從端到端自動駕駛出發,走向能在物理世界中感知、推理、行動、進化的通用智能體 —— 這是具身智能研究的終極命題,也是 Physical AGI 真正的意涵所在。
自動駕駛,是這場旅程的第一個戰場。
而 Post-Training,將是 Physical AGI 時代最重要的基礎設施之一。
項目作者簡介
World Engine 由香港大學助理教授、上海創智學院全時導師李弘揚博士與華為蘇鵬博士共同擔任項目負責人,李天羽(上海創智學院)、陳立(香港大學)、王曹俊(上海創智學院)、劉浩晨(南洋理工大學)為項目核心貢獻者,共同主導新范式的研究與實現;蘇鵬博士團隊從產業視角出發,推動技術的量產落地與應用部署。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.