Ψ?剛剛開源了！邁向通用人形機器人的基座模型

人形機器人在春晚舞臺上大放異彩！然而，人們在看慣了機器人跳舞、后空翻，乃至武術表演之后，不禁開始思考：機器人何時才能真正走進大眾生活，解決日常生活中的瑣碎任務，從而解放人類的雙手？

剛剛，來自南加州大學的團隊開源了一個邁向通用人形機器人的基座模型 Ψ?（中文讀作：賽零），助力人形機器人的通用移動操作。在總體任務成功率和子任務指標上，Ψ?平均領先 NVIDIA 最新開源模型 GR00T N1.6 超過 40%。

01 引言從人類第一視角視頻中學習操作先驗知識

人形機器人移動操作（loco-manipulation）是當前具身智能領域最具挑戰性的研究方向之一。近年來，RT-1/2、OpenVLA、Gemini Robotics、GR00T、π0/0.5 等一系列工作相繼表明，大模型能夠顯著提升機器人操作的泛化能力。然而，這些方法普遍嚴重依賴大規模遙操作數據，而對于人形機器人而言，此類數據的采集成本十分高昂。

幸運的是，第一人稱視角人類視頻（egocentric human videos）由于信息豐富且易于獲取，為機器人學習提供了一種極具可擴展性的替代方案。

對于這類數據的利用，現有方法通常采用一種看似直覺的策略：將大量人類視頻數據與機器人數據混合在一起進行聯合訓練，試圖通過單純擴大數據規模來彌合人與機器人之間的差距。然而，這一策略真的是最優解嗎？混合數據訓練往往會迫使模型同時學習兩種分布差異顯著的數據，這可能在一定程度上削弱模型的學習能力。

針對這一難題，南加州大學助理教授王越領銜的 Psi-Lab 聯合 NVIDIA 與 WorldEngine 提出了富有洞察力的新方案Ψ?。該基座模型僅需80 條真機遙操作數據，即可掌握長程移動操作能力。在論文中，研究團隊設計了八個包含移動與靈巧操作的長程任務進行評測。實驗結果表明，Ψ? 在總體任務成功率和子任務指標上，平均領先 NVIDIA 最新開源大模型GR00T N1.6超過40%。

• 論文標題：Ψ0: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation
• 論文鏈接：https://arxiv.org/abs/2603.12263
• 主頁鏈接：https://psi-lab.ai/Psi0/
• 代碼鏈接：https://github.com/physical-superintelligence-lab/Psi0

02 數據篇：真機遙操采集高質量數據，

助力模型快速掌握新技能

圖 1 Ψ? 基座模型使用的訓練數據

高質量的領域內數據是模型學習長時域移動操作任務的關鍵。然而，現有遙操作系統仍存在明顯短板：端到端全身遙操作方案魯棒性不足，且大多將靈巧手簡化為低維夾爪指令；而將操作與行走解耦的方案雖提升了系統穩定性，卻往往需要多人協作，實用性受到限制。

為此，Ψ? 團隊提出了一套定制化遙操作框架，將上半身姿態、靈巧手與行走控制三者解耦，實現單人完成全身控制。如圖 1 所示，操作者通過 PICO 頭顯和手腕追蹤器提供上半身姿態信息，由逆運動學求解器實時計算手臂與軀干的位置；MANUS 數據手套用于采集手指的精細動作，并直接控制靈巧手的全部自由度；行走指令則由腰部和腳部追蹤器推斷得到，并傳遞給 RL 策略負責下半身的穩定控制。

這套輕量化的可穿戴方案不僅實現了單人全身操控，同時手腕追蹤器與 MANUS 手套的組合也有效規避了視覺 VR 追蹤中常見的遮擋與丟失問題，從而顯著提升了追蹤精度與系統可靠性。

03 模型訓練篇：經典三階段訓練范式，

最大化不同類型數據的價值

Ψ? 的研究團隊發現，人類與人形機器人之間存在根本性的運動學差異以及動作分布鴻溝。簡單地將這兩類異構數據混合進行訓練，模型往往難以有效區分并利用不同來源數據各自的優勢，從而導致數據利用效率不理想。那么，如何才能真正高效地利用這些異構數據呢？

核心思路在于 “解耦”：與其讓模型在統一混合訓練中自行消化所有數據，不如將學習過程拆分為多個階段，使每個階段都聚焦于從最合適的數據源中學習最關鍵的能力。

具體而言，Ψ? 提出了一種分階段訓練范式：

• 預訓練階段：在大規模第一人稱視角的人類操作視頻上進行自回歸預訓練，使視覺語言模型（VLM）學習可泛化的視覺 — 動作表征。這一階段的目標并非學習精確的機器人控制，而是從人類豐富的操作經驗中提取高層次的視覺理解與動作語義。
• 后訓練階段：在高質量的人形機器人真機數據上，訓練一個基于流匹配的多模態擴散動作專家，以學習精確的關節控制能力。這一階段的目標是將前一階段獲得的通用能力 “落地” 到具體的機器人本體上。
• 微調階段：在針對特定任務收集的少量真機遙操作數據上進行微調，使模型能夠快速適應具體任務場景與操作目標。這一階段的目標是利用少量高質量數據對模型進行任務級對齊，使其在保持通用能力的同時，實現高成功率的任務執行。

圖 2 Ψ? 采用經典的三階段訓練配方

訓練配方（Training Recipe）

1. 預訓練：從人類視頻中學習操作先驗

Ψ? 的預訓練階段主要基于兩個數據集：EgoDex（約 829 小時的人類第一人稱靈巧操作視頻）和 Humanoid Everyday（約 31 小時、覆蓋 260 種任務的人形機器人數據）。

為實現人類手部數據與機器人末端執行器數據的統一訓練，團隊設計了共享的任務空間動作表征：左右手各 24 維動作表示，其中包含 9 維腕部位姿（3D 位置 + 6D 旋轉）以及五根手指的 3D 指尖位置，總計 48 維。

在訓練效率方面，團隊做出了一個關鍵取舍：預訓練階段的核心目標是讓 VLM 習得操作語義與視覺表征，而非精確的運動控制，因此僅預測單步動作即可，無需預測完整的動作序列。具體實現上，研究團隊采用 FAST tokenizer 將連續動作離散化，將每條 48 維動作壓縮為約 20 個 token。

2. 后訓練：在真機數據上學習精確控制

預訓練賦予了 VLM 操作語義理解與視覺表征能力。接下來的問題是：如何將這些高層能力轉化為關節級的精確控制？

Ψ? 的做法是凍結已訓練好的 VLM 參數，從零訓練動作專家模塊 —— 以 VLM 提取的隱層特征為條件，通過 Flow Matching 學習生成精確的關節空間動作序列。動作專家采用 MM-DiT 架構，在這一階段發揮了關鍵作用：模型利用 flow 時間步特征分別調制動作（A）特征和視覺 — 語言（VL）特征，并在每個 Transformer Block 中使動作 token 與 VL token 進行聯合的全局注意力計算。

這一階段使用跨任務的真實人形機器人數據進行訓練，為后續特定任務的微調打下了堅實基礎。

3. 微調：少量數據快速習得復雜技能

在擁有預訓練的 VLM 與后訓練得到的動作專家之后，整個模型可以在少量領域內遙操作數據上進行端到端微調，從而快速習得長時域、高靈巧度的全身操作能力。

04 模型架構篇：三大系統各司其職，

解耦大小腦實現全身控制

圖3 Ψ? 的模型架構

Ψ? 在模型架構上同樣遵循 “解耦” 的設計理念。考慮到視覺理解、動作生成與底層運動控制屬于不同層級的問題，系統將這些能力拆分為三個協同模塊：視覺語言策略、動作專家以及底層控制器。三者分工協作，從高層語義理解到低層控制逐級完成決策與執行。

System-2：視覺語言骨干網絡

Ψ? 的高層策略以視覺語言模型（VLM）作為 “大腦”，負責理解視覺場景與語言指令。具體實現上，團隊選用了當前性能領先的 Qwen3-VL-2B-Instruct 作為該模塊的基座模型。

System-1：多模態擴散 Transformer 動作專家

在 VLM 提取的視覺 — 語言特征條件引導下，一個約 5 億參數的動作專家負責預測全身動作序列（動作片段，action chunk）。該模塊采用基于 Flow Matching 的多模態擴散 Transformer（MM-DiT）架構。相比普通的 DiT 動作頭，MM-DiT 能夠更高效地融合動作特征與視覺 — 語言特征，從而實現更精準的動作生成。

System-0：強化學習運動控制器

動作專家輸出的全身動作中，上半身的 28 個自由度關節角直接下發執行；下半身的 8 維高層動作指令（包含俯仰角、身體高度、線速度等）則傳遞給 System-0—— 一個基于強化學習的底層跟蹤策略。該模塊采用現成的 AMO 控制器，負責將這些高層指令映射為 15 個自由度下半身關節角（3 個腰部 + 12 個腿部自由度）。

三個系統協同配合，最終輸出 43 個自由度的全身控制動作，實現人形機器人的靈巧操作與穩定移動。

05 模型部署篇：實時動作輸出，

一倍速絲滑執行各類任務

在人形機器人任務中，模型不僅需要生成精確動作，還需要滿足實時控制的要求。然而，大規模視覺 — 語言 — 動作模型往往存在推理延遲，容易導致機器人動作不連續，并可能出現抖動。Ψ? 通過在訓練階段引入實時動作分塊（RTC）機制，使模型在推理時能夠平滑銜接動作序列，從而實現穩定、流暢的實時控制。

圖 4 Ψ? 展示的真機技能：倒水、握住把手、推車一氣呵成

訓練時實時動作分塊（Training-time RTC）

人形機器人需要流暢、快速響應的控制能力，尤其是在執行需要長時域規劃的精細操作任務時。然而，目前主流的視覺 — 語言 — 動作模型（VLA）普遍參數量達到數十億級，這不可避免地帶來了推理延遲，導致機器人出現 “不自然的走走停?！?行為。

為此，Ψ? 團隊在訓練階段引入了實時動作分塊（Real-Time Chunking，RTC）機制。RTC 的核心思想是：每次預測下一段動作時，模型會將上一段已提交執行的動作塊作為條件輸入。這樣，模型能夠輸出連貫一致的未來動作序列。

為了讓訓練過程真實反映實際推理中的延遲情況，團隊在訓練時隨機對前 d 個動作 token 去除擴散噪聲，并在損失計算中將其屏蔽。其中，d 在 0 到 d_max 之間均勻采樣，d_max 表示以時間步為單位的最大推理延遲上限。

06 真機評測：八項任務實測，

平均成功率超基線 40%

為了驗證模型在真實環境中的泛化能力與穩定性表現，Ψ? 在多個真實場景中的長時域操作任務上進行了系統性評測。實驗結果表明，在僅使用約 800 小時人類視頻數據和 30 小時真機數據進行訓練的情況下，Ψ? 在整體成功率上仍顯著領先現有基線方法。

圖 5 Ψ? 展示的真機任務，轉身倒水、擦碗、疊碗

如圖 4～8 所示，Ψ? 在八個真實場景的長時域操作任務上進行了評估，涵蓋了日常生活中的多種場景 —— 從抓取放置、推物、擦拭等基礎交互，到需要精細手指協調的靈巧操作（如擰水龍頭、勾出薯片托盤），再到涉及軀干旋轉、下蹲等全身動作，以及行走和轉向的移動任務，任務難度跨度極大。

在評估協議方面，每個任務收集了 80 條遙操作軌跡，所有基線模型均在相同數據集上進行了微調。每個任務由 3 到 5 個子任務組成，在報告整體成功率的同時，也單獨統計了每個子任務的成功率。

圖6 與基線模型的評估實驗結果對比

如圖 6 所示，Ψ? 模型在所有基線方法中表現最為突出，在八個長時域靈巧移動操作任務中均保持最穩定的性能。尤其值得一提的是，它的平均整體成功率比排名第二的GR00T-N1.6—— 最新發布的人形機器人基礎模型 —— 高出至少 40%，而這些基線方法通常使用的訓練數據規模超過 Ψ? 的 10 倍。

圖 7 Ψ? 展示的真機任務：擰水龍頭，給人類遞水果籃

Ψ? 的優異表現源于其分階段訓練范式：模型首先在大規模人類第一人稱操作視頻上進行視覺語言預訓練，從而學習與操作任務相關的視覺語義與動作先驗。隨后，利用高質量的人形機器人真機數據訓練動作專家，使模型在機器人關節空間中建立精確的控制能力。通過這種逐步對齊的學習過程，高層語義理解可以自然過渡到低層運動控制，從而在復雜長時域操作任務中實現穩定且高效的表現。

圖 8 Ψ? 展示的真機任務：抽出薯片筒，扔垃圾，雙手抱物下蹲

07 結論

這一結果有力地說明了一個關鍵洞察：有效的 scaling 并非單純堆積數據，而是用合適的數據，以正確的方式進行 scaling。具體而言，高質量的第一人稱人類操作數據與領域特定的真機軌跡數據的組合，能夠帶來顯著優異的性能表現。

更重要的是，這僅僅是一個開始。未來，隨著模型記憶能力的增強、更靈巧的機械手的引入，以及觸覺等多模態感知的加入，我們有理由相信，機器人將逐步具備更強的理解、學習與適應能力。它們不僅能夠完成單一任務，還將能夠在復雜的真實世界中持續學習、協作與進化。我們期待，這一方向的探索能夠推動通用機器人邁向一個更加開放、充滿可能性的未來。

作者簡介：

PSI-0項目由南加州大學 Physical Superintelligence Lab（PSI Lab，https://psi-lab.ai）與 WorldEngine 合作完成。該工作由南加州大學計算機科學助理教授王越指導，主要作者包括南加州大學博士生魏松林、李博謙、景弘毅，以及本科生趙振宇。

PSI Lab 致力于構建能夠在真實人類環境中安全、自主運行的物理智能體，推動人形機器人從實驗室走向日常生活。圍繞這一目標，實驗室持續開展機器人數據引擎、學習算法與系統部署等方向的研究，重點關注多模態數據構建、world model 與VLA、全身控制以及靈巧操作等關鍵問題，并強調算法研發與真實機器人系統落地的緊密結合。