π0.7的泛化能力有多強(qiáng)？零樣本純靠口述就能用空氣炸鍋

當(dāng)你在電商平臺下單購入一臺全新的空氣炸鍋，快遞到了，拆開包裝，你隨手把說明書扔在一邊，轉(zhuǎn)頭告訴家里的服務(wù)機(jī)器人，“把那個紅薯放進(jìn)空氣炸鍋里烤一下。”

放在之前，機(jī)器人從未見過這款炸鍋，沒有對應(yīng)的操作程序，最可能的結(jié)局就是系統(tǒng)報錯，任務(wù)失敗。想讓它學(xué)會用新電器，工程師必須重新收集演示數(shù)據(jù)、重新訓(xùn)練模型，一個完整的流程將耗費(fèi)數(shù)周乃至數(shù)月。

但現(xiàn)在，這個困局正在被打破。2026 年 4 月 16 日，總部位于美國舊金山的明星機(jī)器人 AI 公司 Physical Intelligence（簡稱 PI 或 π）發(fā)布了其最新模型 π0.7。在一段令研發(fā)團(tuán)隊(duì)成員都感到意外的演示視頻中，這個從未被明確訓(xùn)練過“如何使用空氣炸鍋”的模型，僅憑一步步的語言指引，就引導(dǎo)機(jī)器人打開炸鍋蓋、放入食材、合上機(jī)器，順利完成這個它在訓(xùn)練數(shù)據(jù)中幾乎沒有見過的任務(wù)。

PI 是誰？

PI 成立于 2024 年初，總部位于舊金山。公司核心創(chuàng)始團(tuán)隊(duì)堪稱 “全明星陣容”：聯(lián)合創(chuàng)始人謝爾蓋·萊文（Sergey Levine）是加州大學(xué)伯克利分校（UC Berkeley）機(jī)器人學(xué)習(xí)方向的知名教授，專注研究機(jī)器人強(qiáng)化學(xué)習(xí)與模仿學(xué)習(xí)十余年；切爾西·芬恩（Chelsea Finn）來自斯坦福大學(xué)，是元學(xué)習(xí)領(lǐng)域的頂尖學(xué)者；卡羅爾·豪斯曼（Karol Hausman）與布萊恩·伊希特（Brian Ichter）均來自 Google DeepMind，在大型機(jī)器人模型方向積累了深厚的工業(yè)界經(jīng)驗(yàn)。

圖 | Sergey Levine（來源：UC Berkeley）

謝爾蓋曾對外簡潔地描述公司的目標(biāo)：PI 的使命就是“把 ChatGPT 搬進(jìn)機(jī)器人里”，開發(fā)能夠控制任意機(jī)器人、完成任意任務(wù)的通用基礎(chǔ)模型。這個定位決定了 PI 的商業(yè)邏輯：不造硬件，專為機(jī)器人提供“大腦”。PI 的模型可以授權(quán)給各家機(jī)器人廠商，成為整個行業(yè)的底層智能引擎。

資本市場對這一邏輯給出了極為積極的回應(yīng)。2024 年 3 月完成 7,000 萬美元種子輪融資后，PI 在兩年內(nèi)又相繼完成 4 億美元 A 輪融資和 6 億美元 B 輪融資，估值來到 56 億美元，成為全球具身智能賽道估值最高的純模型公司之一。而最近的 2026 年 3 月，有消息傳出，PI 正洽談新一輪約 10 億美元融資，估值有望超過 110 億美元，較四個月前幾乎翻番。

π0 家族演進(jìn)史：從開源原型到通用大腦

讓我們把時間線拉回 2024 年 10 月，彼時發(fā)布的 π0 是 PI 的開山之作。這是一個約 30 億參數(shù)的視覺-語言-動作（VLA）模型，基座模型是谷歌的預(yù)訓(xùn)練視覺-語言模型 PaliGemma，并在來自7種不同機(jī)器人平臺、68 項(xiàng)任務(wù)的數(shù)據(jù)上進(jìn)行訓(xùn)練。

π0 采用了一種稱為“流匹配”的動作生成方式，能以 50Hz 的頻率實(shí)時生成平滑的運(yùn)動軌跡，具備基本的跨機(jī)器人泛化能力。2025 年 2 月，PI 將 π0 的代碼與權(quán)重完全開源，迅速成為機(jī)器人基礎(chǔ)模型社區(qū)的重要參考基線。

圖 | π0 的訓(xùn)練框架（來源：Physical Intelligence）

2025 年 11 月發(fā)布的 π0-FAST 則在 π0 的基礎(chǔ)上引入"快速動作空間分詞器"（FAST），這代模型改善了語言指令的跟隨能力，但推理計算成本也隨之提升約 4~5 倍。在幾乎同期亮相的 π0.6 中，PI 為之引入了一套名為RECAP（基于優(yōu)勢條件策略的經(jīng)驗(yàn)與糾錯強(qiáng)化學(xué)習(xí)）的算法，將專項(xiàng)任務(wù)的吞吐量翻倍，同時大幅降低了長時間運(yùn)行的失敗率。但 π0.6 的本質(zhì)仍是“專家模型”，每個任務(wù)需要單獨(dú)訓(xùn)練，單獨(dú)優(yōu)化。

直到 π0.7 問世，才成為這個故事最關(guān)鍵的轉(zhuǎn)折點(diǎn)。作為一系列迭代模型中最新、能力最強(qiáng)的一代，PI 不再追求“為每項(xiàng)任務(wù)訓(xùn)練最佳專家”，而是試圖用一個單一通用模型，在不進(jìn)行任何任務(wù)特定微調(diào)的情況下，直接匹配甚至超越所有專家模型的表現(xiàn)，同時還展現(xiàn)出此前機(jī)器人模型從未真正實(shí)現(xiàn)的組合泛化能力。

全新的多模態(tài)提示框架與罕見的組合泛化能力

舉一個經(jīng)典例子，如果一個大語言模型既能將英文翻譯成法文，也能將輸出格式化為 JSON，它就能自然地完成"將英文翻譯成法文并以 JSON 格式輸出"這個新任務(wù)，盡管它可能從未見過這種組合的訓(xùn)練樣本。這種將已有技能重新排列組合、解決新問題的能力，就是組合泛化。

在機(jī)器人領(lǐng)域，這種能力一直是一個理想化卻難以實(shí)現(xiàn)的愿景。現(xiàn)有的 VLA 模型雖然能理解多樣的語義概念，但在實(shí)際執(zhí)行層面的表現(xiàn)基本停留在“模式記憶”階段：見過的任務(wù)能做，沒見過的就不行。想要完成新任務(wù)，必須重新收集數(shù)據(jù)、重新訓(xùn)練或微調(diào)專項(xiàng)模型。

π0.7 的出現(xiàn)，為機(jī)器人模型突破泛化限制帶來了一絲曙光。而其實(shí)現(xiàn)組合泛化的核心技術(shù)路徑，是一套全新的多模態(tài)提示框架。

在舊的訓(xùn)練策略中，給機(jī)器人的指令往往只有一個維度：做什么（語言描述任務(wù)目標(biāo)）。但 π0.7 的訓(xùn)練將指令擴(kuò)展成了一個多維度的上下文包，其中既有描述任務(wù)目標(biāo)及子步驟的語言指令、描述如何執(zhí)行任務(wù)的具體參數(shù)和控制模態(tài)標(biāo)簽，也包括一個內(nèi)置輕量級視覺模型自動生成的視覺子目標(biāo)圖像。

圖｜π0.7 的多模態(tài)提示框架（來源：Physical Intelligence）

這套多模態(tài)提示框架解決了一個之前被低估的核心問題：數(shù)據(jù)多樣性與質(zhì)量的矛盾。在以往的訓(xùn)練中，不同來源的數(shù)據(jù)往往無法混用，因?yàn)樗鼈兊膱?zhí)行風(fēng)格、速度、質(zhì)量參差不齊，混合訓(xùn)練反而會讓模型學(xué)到僅僅達(dá)到“平均水平”的劣質(zhì)策略，執(zhí)行效果也差強(qiáng)人意。

π0.7 的解決方案是為每條訓(xùn)練數(shù)據(jù)添加顯式的元數(shù)據(jù)標(biāo)注，低質(zhì)量的自動采集數(shù)據(jù)被標(biāo)注為“低質(zhì)量/低速度”，優(yōu)質(zhì)的人類演示被標(biāo)注為“高質(zhì)量/高速度”。模型在訓(xùn)練時學(xué)會了根據(jù)指令要求，選擇對應(yīng)風(fēng)格的行為。推理時，只需在 Prompt 中指定“高質(zhì)量、快速執(zhí)行”，模型就會調(diào)用與該標(biāo)簽對應(yīng)的最佳行為模式。

這一設(shè)計使 π0.7 能夠?qū)⑦^去無法有效利用的數(shù)據(jù)全部納入訓(xùn)練，包括質(zhì)量較低的自動數(shù)據(jù)、來自不同機(jī)器人平臺的數(shù)據(jù)，甚至人類操作視頻等，大幅擴(kuò)展了有效訓(xùn)練數(shù)據(jù)的規(guī)模與多樣性。

從系統(tǒng)層面看，π0.7 使用了用 Gemma3 4B 作為基座模型，推理流程可以分為幾個環(huán)節(jié)：在感知層，機(jī)器人的 RGB-D 攝像頭持續(xù)流式傳輸圖像，與機(jī)器人當(dāng)前的運(yùn)動歷史一同輸入系統(tǒng)。接著，系統(tǒng)將二者輸入一個 50 億參數(shù)量級的 Transformer 模型，結(jié)合語言指令與視覺子目標(biāo)圖像進(jìn)行綜合理解。

隨后，高層策略模型根據(jù)任務(wù)指令，自動分解并生成語言子目標(biāo)序列，選擇性地調(diào)用世界模型生成對應(yīng)的視覺子目標(biāo)圖像。行動專家模塊則在約 100 毫秒內(nèi)預(yù)測未來 50 步的動作序列，通過硬件抽象層將數(shù)據(jù)轉(zhuǎn)換為各機(jī)器人平臺專用的關(guān)節(jié)指令，同時在力度和速度范圍內(nèi)實(shí)施安全約束。整套系統(tǒng)可自動適配或靈活切換多種控制模式，如關(guān)節(jié)控制、末端執(zhí)行器控制等，無需重新訓(xùn)練。

僅需動動嘴，模型就能自己學(xué)會控制新機(jī)器、完成新任務(wù)

在 PI 公布的論文中，研究人員展示了三個實(shí)用案例。其中最令人印象深刻、也最具想象空間的實(shí)驗(yàn)就是用自然語言教會機(jī)器人使用空氣炸鍋。

PI 的研究人員首先用一個直接指令測試模型，零樣本地讓機(jī)器人把紅薯放進(jìn)空氣炸鍋。結(jié)果是機(jī)器人做了若干次錯誤嘗試，終究未能順利完成任務(wù)，按照現(xiàn)有模型的水平，屬于意料之中。

隨后，研究人員換了一個策略：對機(jī)器人進(jìn)行逐步的語言引導(dǎo)，就像你教一個第一次用這個電器的朋友：先告訴它打開抽屜，再告訴它放入食材，再告訴它關(guān)上，以此類推。在語言一步步引導(dǎo)下，機(jī)器人成功完成了這個它從未被專門訓(xùn)練過的任務(wù)。

最后一步更為關(guān)鍵。當(dāng)研究人員用這種語言引導(dǎo)的方式多次走完流程之后，他們用這些語言指令序列微調(diào)了一個高層策略模型，該模型能夠自動生成完成任務(wù)所需的語言子目標(biāo)序列。此后，機(jī)器人無需人工逐步引導(dǎo)，可以完全自主地完成空氣炸鍋任務(wù)。換言之，模型從“被語言引導(dǎo)著做事”，進(jìn)化到了“用語言引導(dǎo)自己做事”。

研究人員專門追溯了訓(xùn)練數(shù)據(jù)來源，結(jié)果只找到兩條和空氣炸鍋高度相關(guān)的片段：機(jī)器人關(guān)閉空氣炸鍋抽屜的操作，以及開源數(shù)據(jù)集中一個同款機(jī)械臂放置塑料瓶的片段。這些片段的操作場景與真正完成任務(wù)時的運(yùn)動軌跡差異很大，但模型仍然將其內(nèi)化，并成功遷移到了新任務(wù)上。

第二個實(shí)驗(yàn)展示的是 π0.7 的跨機(jī)器人本體遷移能力。

PI 使用了名為UR5e雙臂系統(tǒng)的機(jī)器人平臺，這種機(jī)器人操作起來極為困難：兩條粗重的機(jī)械臂慣性大、夾爪精度低。在 PI 的訓(xùn)練數(shù)據(jù)中，幾乎沒有其執(zhí)行疊衣服任務(wù)的記錄。

但當(dāng)研究人員用另一套靜態(tài)雙手機(jī)器人收集數(shù)據(jù)并喂給 π0.7，命令它自主控制這臺 UR5e 疊衣服時，它也順利完成了。兩臺機(jī)器人在體型、姿態(tài)和結(jié)構(gòu)上差異巨大，π0.7 在 UR5e 上采用了與原始訓(xùn)練機(jī)器人完全不同的運(yùn)動策略，這意味著它能夠?qū)崿F(xiàn)真正意義上的技能遷移與適應(yīng)。

（來源：Physical Intelligence）

量化驗(yàn)證顯示，π0.7 在 UR5e 上疊衣服的成功率，與已在原始機(jī)器人上積累了平均 375 小時遠(yuǎn)程操作經(jīng)驗(yàn)的專業(yè)人員、首次切換到 UR5e 時的“零樣本”成功率相當(dāng)。

第三個結(jié)果或許是最能改變行業(yè)預(yù)期的。此前，PI 的 π0.6 版本通過專項(xiàng)強(qiáng)化學(xué)習(xí)，在疊衣服、制作咖啡、組裝紙箱等特定任務(wù)上分別訓(xùn)練了專門的“專家模型”。為每個任務(wù)分配一個專家，是當(dāng)時取得最佳性能的最優(yōu)策略。

π0.7 用一個單一通用模型，在這些任務(wù)上直接與這些專家進(jìn)行了對比。結(jié)果是：π0.7 在成功率上與所有專家模型持平，在某些任務(wù)的吞吐量上甚至超過了專家模型。除了以上這些意在精確評估模型某項(xiàng)能力的具體控制實(shí)驗(yàn)，π0.7 在削黃瓜皮、做花生醬三明治、擦玻璃等靈巧任務(wù)上也表現(xiàn)出色，我們離全能家務(wù)機(jī)器人又近了一步。

（來源：Physical Intelligence）

PI 的研究科學(xué)家阿什溫·巴拉克里希納（Ashwin Balakrishna）感慨道，π0.7 能做到的已經(jīng)遠(yuǎn)超預(yù)期：“此前我只要深入了解訓(xùn)練數(shù)據(jù)的內(nèi)容，就能猜到模型能力的邊界，但 π0.7 顛覆了這一切，隨便買一個齒輪組，問它能轉(zhuǎn)動這個齒輪嗎，它都能做到。”

具身智能的“GPT 時刻”，還有多遠(yuǎn)？

早期的大型語言模型需要針對每個具體的下游任務(wù)進(jìn)行大量微調(diào)，才能取得最佳性能，直到 GPT 系列模型的出現(xiàn)改變了這一范式：通過足夠大規(guī)模、足夠多樣的預(yù)訓(xùn)練，模型可以在不針對特定任務(wù)微調(diào)的情況下直接完成多種語言任務(wù)，并展現(xiàn)出組合泛化在內(nèi)的涌現(xiàn)能力。

機(jī)器人領(lǐng)域如今正處在一個類似的早期階段，即需要針對每項(xiàng)任務(wù)訓(xùn)練對應(yīng)的專家模型。但 PI 的聯(lián)合創(chuàng)始人給出了判斷：一旦機(jī)器人模型越過組合泛化的能力門檻，其能力的增長速度就將不再與數(shù)據(jù)量線性相關(guān)，而會呈現(xiàn)超線性增長。

難道，拐點(diǎn)已至？PI 的研究人員在論文全篇中使用了非常審慎的措辭，他們坦承，π0.7 展示的是組合泛化的“初步跡象”，模型目前還無法響應(yīng)類似“給我烤片面包”等高層級模糊指令，仍需人類將其分解為具體步驟。同時，提示工程的質(zhì)量對結(jié)果影響巨大，一次糟糕的引導(dǎo)就可能導(dǎo)致成功率從 95% 暴跌至 5%。

謝爾蓋曾拒絕給出機(jī)器人模型真正落地的預(yù)期時間表，只表示，“進(jìn)展比我兩年前預(yù)期的要快”。現(xiàn)在看來，這句話或許是最值得行業(yè)認(rèn)真對待的一句話：π0.7 展示的是方向，而非終點(diǎn)。未來，機(jī)器人的“可用性”可能只需要一個足夠通用的模型，和足夠清晰的語言表達(dá)。

參考內(nèi)容：

https://www.pi.website/blog/pi07

運(yùn)營/排版：何晨龍