當世界模型來臨，AI訓練師該如何重新理解自己的工作？

從大語言模型的‘圖書館式智能’到多模態模型的‘視覺映射’，再到世界模型賦予AI預測物理規律的能力，這場范式轉移不僅重塑技術路線，更將訓練師的角色從數據標注員推向‘世界規則設計師’。本文從一線AI訓練師的獨特視角，深度解析Sora引爆的背后邏輯與大廠布局的隱秘戰線。

———— / BEGIN / ————

我入行AI訓練師，說實話，剛開始的時候我對這個職位的理解非常模糊。

標注數據、寫prompt、做RLHF反饋、評估模型輸出質量……每天的工作看起來像是在做一些零散的事情，很難說清楚自己到底在訓練一個什么樣的東西，又在朝哪個方向走。

直到世界模型這個概念開始密集出現在我的視野里。那是我第一次真切感受到，AI正在發生一些本質性的變化。不是更聰明了，不是更快了，而是開始理解世界了。

這篇文章，我想從一個AI訓練師的視角，聊聊世界模型到底是什么，它和我們已經熟悉的大語言模型、多模態模型之間是什么關系，以及這場范式轉移對于我們這些在AI訓練一線工作的人意味著什么。

LLM讓我們誤解了”智能”

在聊世界模型之前，我想先說說大語言模型給我們帶來的一個重要誤解。

ChatGPT出現之后，很多人——包括我自己——有一段時間真的以為AGI快來了。GPT-4能通過律師資格考試，能寫出媲美人類的文章，能解釋量子力學，能幫你調試代碼……這一系列能力疊加在一起，很難不讓人產生一種錯覺：這個東西已經很”懂”了。

但在實際工作中，你會慢慢發現一些奇怪的縫隙。

我做RLHF標注的時候，有一次給模型出了一道很簡單的空間推理題：桌子上有一個蘋果，蘋果旁邊有一本書，書的左邊是一杯水。問：蘋果和水的相對位置是什么？

模型給出的答案不穩定，有時候對，有時候錯，而且你追問它為什么這么判斷，它能給出一套聽起來完全合理的解釋——無論答案是對是錯。

這讓我意識到一件事：LLM掌握的是”關于世界的語言描述”，而不是”世界本身的運作規律”。

這個區別聽起來很微妙，但其實非常根本。

打一個比方：想象一個人從來沒有離開過圖書館，他讀遍了所有關于游泳的書籍，能背誦蝶泳的技術要領，能分析菲爾普斯的動作細節，能寫出一篇專業的游泳教學文章。但是，把他扔進游泳池，他大概率會沉下去。

LLM就是這個圖書館里的人。

它的訓練目標是：給定前面所有的詞，預測下一個詞的概率分布。用數學語言說就是最大化P(token_t | 所有之前的token)。這個目標讓它學會了人類語言的統計模式，但語言的統計模式不等于世界的因果規律。

火焰是熱的，這句話在訓練數據里出現了無數次，所以LLM”知道”火焰是熱的。但它不知道的是：如果你把手伸向火焰，溫度會按照什么樣的物理規律傳導到你的皮膚，皮膚的蛋白質會在多少攝氏度開始變性，這個過程是可逆還是不可逆的。

這些”知道”背后的知道為什么，LLM一直缺席。

多模態讓AI”看見了”，但還沒有”經歷”

多模態模型的出現是一個重要的進步。

當GPT-4V、Gemini這類模型能夠理解圖片的時候，我們獲得了一個新的能力維度：AI開始能夠感知視覺世界了。OCR、圖像描述、視覺問答……這些能力在很多實際應用場景里有巨大的價值。

但多模態模型的本質，是在視覺特征和語言描述之間建立映射關系。

它學習的是：這種視覺模式，對應這種語言描述。一張貓的圖片，對應”貓”這個詞以及關于貓的所有語言知識。這種對應關系學習得越精準，模型的多模態能力就越強。

問題在于，這依然是一種靜態的、表面的理解。

舉個例子：給多模態模型看一張臺球桌的照片，再給它看一張球桿擊球瞬間的照片，它能告訴你這是在打臺球，能描述球的顏色和位置。但如果你問它：球被擊中之后會往哪里運動，會不會碰到邊框反彈，最終停在哪里——這些問題涉及到物理軌跡的預測，多模態模型的表現就會變得非常不穩定。

原因很簡單：多模態模型看過無數張臺球的圖片，但它從來沒有在臺球的世界里”行動”過。

看過和經歷過，是兩種本質上不同的智能來源。

人類之所以有直覺，有物理常識，是因為我們從嬰兒時期就在真實世界里摸爬滾打，通過無數次的行動和反饋，在大腦里建立起了一套世界的運作模型。當你看到一個杯子放在桌子邊緣，你本能地會感到擔憂——這種直覺不是從書上學來的，而是從你某次不小心打碎杯子的經歷里涌現的。

LLM沒有經歷過，多模態模型依然沒有經歷過。

而世界模型，正是要解決這個”經歷”的缺失。

世界模型：AI第一次開始”預測世界”

世界模型這個概念并不新。

2018年，AI研究者David Ha和深度學習先驅Jürgen Schmidhuber發表了一篇名為《World Models》的論文，系統提出了這個框架。他們的核心想法是：一個智能體要在世界中行動，就必須在內部建立一個關于世界的模型，通過這個內部模型來預測行動的后果，再決定采取什么行動。

這個想法其實和人類的認知方式非常接近。

你在開車的時候，大腦并不是實時處理所有傳感器數據再做決策，而是基于你對道路規律的理解，不斷預測前方會發生什么，在預測的基礎上做判斷。這個”對道路規律的理解”，就是你大腦里的世界模型。

用更技術性的語言來說，世界模型的核心訓練目標是：

給定當前的狀態S和采取的動作A，預測下一個狀態S’。

這一個簡單的公式和LLM的訓練目標相比，有三個根本性的不同：

第一，引入了”動作”維度。 LLM預測的是詞，多模態模型預測的是內容，而世界模型預測的是”行動之后世界會怎樣”。這意味著AI第一次真正把”做事”和”理解”結合在了一起。

第二，建立了因果關系而非統計關系。 我推了這個杯子，杯子會倒——這是因果。LLM知道”杯子倒了”和”推”經常在語言里一起出現，但它不理解推力、重心、摩擦力之間的因果鏈條。世界模型要學的正是這個因果鏈條。

第三，支持”反事實推理”。 這是最讓我興奮的一點。反事實推理是說：如果我不這樣做，而是那樣做，結果會有什么不同？這種”想象中的試錯”能力，是規劃和決策的基礎，也是人類智慧的重要組成部分。一個真正的世界模型，應該能在內部模擬多種可能的未來，選擇最優的行動路徑。

Sora為什么讓整個行業震驚

2024年1月，OpenAI發布Sora的那一刻，其實是世界模型概念第一次以一種所有人都看得懂的方式被呈現出來。

Sora表面上是一個視頻生成模型。但讓業內人士真正震驚的，不是它生成的視頻有多漂亮，而是視頻里展現出來的物理一致性。

水往低處流，而不是隨機飄散。碰撞發生時，物體的形變方向符合受力分析。鏡頭從一個角度切換到另一個角度，場景里的光影關系保持正確。一個球被踢出去，它的運動軌跡符合拋物線，而不是隨機游走。

這些細節，Sora并沒有被顯式地教過。沒有人在訓練數據里標注”這里的水應該向左流”，也沒有人寫代碼規定光照應該如何計算。這些物理規律，是模型在訓練了海量視頻之后自發涌現出來的。

OpenAI在Sora的技術報告里有一段話，我覺得是整篇文章最重要的部分：

“我們認為，視頻生成模型是物理世界通用模擬器的一個有前景的路徑。”

這句話的信息量非常大。它意味著：當你訓練一個足夠大的模型去預測視頻的下一幀，它會被迫學習世界的物理規律——因為只有理解了物理規律，才能正確預測下一幀應該長什么樣。

這是一個非常優雅的訓練信號設計。視頻本身就是因果序列——每一幀都是上一幀按照物理規律演化的結果。通過預測這個序列，模型在學習語言的過程中，也在悄悄學習物理。

當然，Sora還遠遠不是完美的世界模型。它有時候會生成物理上荒謬的內容：人從椅子上站起來但椅子憑空消失，水面反光的方向和光源不一致，長時間視頻里物體的屬性前后矛盾……這些錯誤恰恰說明，它的世界模型是不完整的，是片段性的。

但它展示了一個可行的方向。

三條路線的本質差異：一個訓練師的理解

在工作中，我慢慢形成了一個對這三類模型的理解框架，我覺得用”認知層次”來描述最為準確。

大語言模型解決的是”知道什么”的問題。

它的核心能力是知識的存儲和檢索，以及語言的生成和理解。它知道歷史上發生了什么，知道科學定律的表述，知道如何把一件事情解釋清楚。這是一種很寶貴的能力，但它的局限在于：它知道的是”關于世界的描述”，而不是”世界本身”。

多模態模型解決的是”看到什么”的問題。

它的核心能力是感知，是把視覺、聽覺等感官信號轉化為語義理解。它能看懂圖片，能理解視頻里發生了什么，能把不同模態的信息關聯起來。這把AI的認知范圍從語言擴展到了感知。但它依然是靜態的，是截圖式的理解，缺少對時序動態和行動后果的建模。

世界模型解決的是”會怎樣”和”怎么做”的問題。

它的核心能力是預測和規劃。它要理解的不是事物的靜態屬性，而是動態的因果鏈條。它要能夠回答：如果我這樣做，世界會變成什么樣？哪條路徑能讓我達到目標？這個東西碰到那個東西會發生什么？

從訓練師的角度來看，這三種模型對數據的需求截然不同。

LLM需要的是大量高質量的文本，核心在于覆蓋廣泛、語言準確。多模態需要的是高質量的圖文對或視頻文本對，核心在于模態之間的對齊精準。而世界模型需要的是包含行動標注的交互序列——不只是”發生了什么”，還要有”因為做了什么才發生”。

這對數據采集和標注的要求，是一個數量級的跨越。

世界模型為什么現在爆發

這個問題我思考了很久，因為世界模型這個概念并不新——2018年就有奠基性的論文了，為什么偏偏是2024年前后突然成為業界最熱的話題？

我覺得有幾個因素疊加在一起，形成了這次爆發。

第一個因素是LLM的scaling law開始遇到天花板。

GPT-3到GPT-4這個階段，每一次參數量的大幅提升都帶來了令人驚嘆的能力躍遷。但GPT-4之后，這種躍遷的幅度開始明顯收窄。訓練成本從數千萬美元漲到數億美元，但能力的提升越來越難以讓用戶感知到革命性的變化。

更麻煩的是數據問題。有研究機構估算，互聯網上可用的高質量文本數據將在2026年到2028年之間基本被主流模型”吃完”。繼續堆數據的路線正在遭遇物理限制。

業界開始意識到：單純在語言空間里做文章，可能真的到頭了。

第二個因素是具身智能的需求突然變得非常迫切。

2024年，人形機器人賽道的融資規模達到了一個歷史高點。Figure AI、1X Technologies、Physical Intelligence……一批專注于通用機器人的公司密集獲得了大額融資。與此同時，特斯拉的Optimus機器人開始在工廠里執行真實任務，波士頓動力的機器人也在加速商業化。

機器人要在真實的物理世界里工作，必須理解物理規律，必須能夠預測行動后果，必須能在不確定的環境中實時規劃。這些需求，LLM和多模態模型都無法直接滿足。

而世界模型，正是機器人大腦的核心基礎設施。

第三個因素是Sora證明了這條路線的可行性。

在Sora之前，世界模型更多是一個學術概念，工程實現上還有很多未解決的問題。Sora的出現證明了：大規模視頻預訓練可以讓模型涌現出物理理解能力，這條路線是走得通的。

這給了整個行業一個非常強烈的信號：下一個重要的范式，已經有了第一個令人信服的工程案例。

第四個因素是Meta的LeCun持續”帶節奏”。

Yann LeCun作為深度學習的三位圖靈獎得主之一，在過去兩年里不斷公開表達一個觀點：現有的LLM路線永遠無法實現AGI，真正的通用智能必須建立在世界模型的基礎之上。他在Meta主導開發的JEPA系列架構，是目前世界模型研究中最有影響力的學術路線之一。

當這個級別的研究者持續、公開地為一個方向站臺，資本和人才的流向就會跟著改變。

這四個因素疊加在一起，形成了2024年世界模型突然爆火的背景。

大廠們在做什么

了解大廠的布局，對于理解這個領域的發展方向非常有幫助。

OpenAI的路線是最模糊也最讓人好奇的。Sora是目前最接近世界模型概念的商業化產品，但OpenAI并沒有明確把它定義為世界模型，而是稱之為”物理世界的模擬器”。與此同時，o1和o3系列模型走的是推理能力深化的方向——在回答之前讓模型進行更長時間的”思考”。這兩條線最終如何融合，是整個行業都在猜測的問題。

Meta的路線是最明確的。LeCun主導的JEPA架構，加上V-JEPA 2.0對視頻動態的建模，是目前學術界最系統的世界模型研究路線。Meta的策略是把這些研究開源，在學術影響力上建立優勢，同時為自家的AR眼鏡和機器人項目提供技術儲備。

Google DeepMind走的是多線并行的路線。Gemini負責通用多模態能力，Genie系列專注于從視頻中學習可交互的世界模型，還有專門針對機器人控制的RT系列。DeepMind的優勢在于強化學習的深厚積累——從AlphaGo到AlphaFold，他們在讓AI通過與環境交互來學習這件事上有最豐富的經驗。

國內方面，字節跳動、騰訊、華為等公司都在布局，但公開信息相對有限。比較明確的是自動駕駛賽道——理想汽車、文遠知行等公司都在把世界模型作為下一代自動駕駛系統的核心技術。Wayve的GAIA-1是目前自動駕駛世界模型里最受關注的案例，它能夠根據文字描述生成不同天氣、不同交通狀況下的駕駛場景，用來訓練自動駕駛系統。

回到訓練師：這場變革對我們意味著什么

說了這么多宏觀的內容，我想回到一個更具體的問題：作為AI訓練師，這場世界模型的浪潮對我們的日常工作意味著什么？

我在思考這個問題的時候，有一個感受越來越強烈：訓練師這個職業，正在從”數據標注工人”向”世界規則設計師”演變。

在LLM時代，訓練師的核心工作是：提供高質量的文本示例，告訴模型什么樣的回答是好的，什么樣的是不好的。RLHF標注本質上是在幫模型建立一套語言層面的偏好系統。

這個工作很重要，但它的邊界是清晰的——你在評估的是語言輸出的質量。

但在世界模型的訓練體系里，問題變得復雜得多。

你需要評估的不再只是語言，而是物理合理性。

模型生成了一段視頻，一個機器人伸手抓取桌上的物體。你作為訓練師，需要判斷：這個抓取動作的角度是否合理？手指的彎曲是否符合人體工程學？物體被抓起的那一刻，桌子是否有正確的反應力？這些判斷需要的不是語言能力，而是對物理世界的直覺。

你需要設計的不再只是問答示例，而是場景和規則。

在強化學習的框架里，智能體是通過在環境中行動并獲得獎勵來學習的。訓練師的一個重要職責，是設計合理的獎勵函數——告訴模型什么樣的行為應該被獎勵，什么樣的應該被懲罰。獎勵函數設計得好，模型會學到我們期望的行為；設計得不好，模型會鉆空子，用我們意想不到的方式來最大化獎勵，而完全偏離了真正的目標。

這在業內被稱為”獎勵黑客”（Reward Hacking），是強化學習里最經典也最棘手的問題之一。解決這個問題需要訓練師對任務目標有深刻的理解，并且有足夠的創造力來預判模型可能找到的”作弊路徑”。

你需要面對的不再只是語言幻覺，而是物理幻覺。

LLM會產生事實性錯誤，這我們都知道。但世界模型會產生物理性錯誤——生成在物理上不可能發生的場景，或者在長時間的模擬中讓誤差不斷累積，最終偏離現實。

如何識別這些物理幻覺，如何設計測試場景來暴露模型的物理盲區，如何構建評估體系來量化模型的物理理解能力——這些都是世界模型時代訓練師需要具備的新能力。

你需要參與的不再只是數據標注，而是數據生態的設計。

世界模型最大的數據瓶頸，是缺乏包含行動標注的交互序列數據。互聯網上有海量的視頻，但這些視頻大多數只有”發生了什么”，沒有”因為什么動作才發生”。

如何設計數據采集框架，如何利用仿真環境生成合成訓練數據，如何確保合成數據和真實世界之間的分布匹配——這些工作需要訓練師深度參與，而不只是在標注界面上點點鼠標。

作為訓練師，我在嘗試做的事

說到這里，我想分享一些自己在工作中開始嘗試的轉變。

第一，主動建立對物理世界的系統認知。

這聽起來很奇怪——你需要重新學物理？但我是認真的。我開始系統地復習基礎物理知識：力學、流體、光學……不是為了去做物理計算，而是為了在評估模型輸出的時候，有更扎實的物理直覺作為判斷基礎。

我們評估語言模型輸出的時候，依賴的是我們從小積累的語言直覺——這句話聽起來自然不自然，這個邏輯通不通順。評估世界模型輸出的時候，我們需要的是物理直覺——這個運動軌跡對不對，這個形變合不合理。

而物理直覺是需要刻意培養的。

第二，開始學習強化學習的基本概念。

我不需要成為強化學習的研究者，但我需要理解獎勵函數、策略優化、探索與利用的權衡這些基本概念。因為在世界模型的訓練體系里，這些概念會直接影響我的工作方式和判斷標準。

知道強化學習的基本原理，我才能理解為什么某些獎勵設計會導致模型產生意料之外的行為，才能在設計評估任務的時候，提前考慮到潛在的獎勵黑客風險。

第三，開始關注具身智能和機器人相關的場景。

世界模型目前最重要的落地方向是自動駕駛和機器人控制。這些場景和我們日常接觸的對話AI非常不同，但它們正在成為訓練師工作的重要組成部分。

我開始主動了解機器人操作的基本知識，學習自動駕駛場景的評估標準，嘗試建立對這些具身智能場景的感性認知。

第四，把”數據設計”而不只是”數據標注”作為自己的核心能力目標。

標注是執行層面的工作，數據設計是策略層面的工作。前者關注的是”這個樣本應該打什么標簽”，后者關注的是”我們需要什么樣的數據，才能讓模型學到我們想要的能力”。

我在試圖讓自己的思維層次向后者遷移。每次做標注任務的時候，我會多想一步：這個任務的數據設計合不合理？有沒有系統性的盲區？如果我來設計這個標注方案，我會有什么不同的選擇？

三者的未來：不是替代，而是融合

在整理這篇文章的思路時，我反復在思考一個問題：LLM和多模態是否已經走到了盡頭？

我的結論是：沒有，但它們正在走到”獨立存在”的盡頭。

LLM不會消亡。它積累的語言理解和知識存儲能力，是任何通用智能系統都必須具備的基礎設施。未來的智能系統一定需要一個能夠理解和生成語言的模塊——LLM就是這個模塊最好的實現方式。

多模態模型也不會消亡。感知世界的能力是具身智能不可或缺的基礎。攝像頭的數據需要被理解，場景需要被語義化，這些工作多模態模型做得最好。

但它們作為獨立產品形態的價值邊界，正在變得越來越清晰。繼續在LLM框架內堆參數、堆數據，邊際收益正在快速遞減。繼續在多模態框架內做更精準的圖文對齊，也難以突破感知理解的天花板。

世界模型不是來取代它們的，而是來整合它們的。

用一個不太精確但很直觀的比喻：如果未來的通用AI系統是一個人，那LLM是這個人的語言中樞，多模態是這個人的感知系統，而世界模型是這個人的認知中樞——把感知到的信息、理解到的知識，整合成對世界的動態理解和行動規劃能力。

沒有任何一個部分是多余的，但只有任何一個部分，都不足以成為完整的智能。

我剛入行的時候，有個前輩跟我說：做AI訓練師，最重要的不是技術能力，而是對”什么是真正好的輸出”有清晰的判斷。

我當時理解這句話的層次很淺——好的輸出就是準確、流暢、有用的語言回答。

但現在，隨著世界模型的概念越來越清晰，我開始理解這句話有更深的含義：

“好的輸出”這個標準本身，正在隨著AI的演進而不斷擴展。

從”語言是否準確”，到”感知是否正確”，再到”物理是否合理”，再到”規劃是否有效”——每一次AI范式的轉移，都是在把”好的輸出”的定義往更接近真實智能。

本文來自作者：冒泡泡

想要第一時間了解行業動態、面試技巧、商業知識等等等？加入產品經理進化營，跟優秀的產品人一起交流成長！