機器人看人類第一人稱視頻自學，5種工具8種異構靈巧手上手就會

未來，機器人有望通過刷視頻就能學會干活了？并非下載程序，也不是工程師編代碼，而是通過觀察人類操作物體的過程就能自己上手。

最近，清華大學許華哲助理教授、趙昊助理教授與上海期智研究院等團隊合作，實現了讓機器人“看人干活”來學習技能。他們避開了成本高昂且難以擴展的遙操作數據采集進行預訓練，構建了一套機器人數據-模型-采集裝置基礎平臺 UniDex。

該平臺提供了將海量人類第一人稱視頻轉化成機器人訓練數據的全流程（注：第一人稱視頻是指，人類自身佩戴相機拍自己如何完成動作的視頻，例如沖咖啡、掃地、按噴壺等）。并且，不同型號的靈巧機械手學會了使用日常工具，例如剪刀、噴壺、鼠標等，在真實環境下平均任務完成進度超過 80%。

以機器人學習切菜為例，可以這樣來理解這項研究：傳統的遙操作數據采集訓練方法就像請私教一對一教切菜，不僅成本高而且換個機器人可能就不適用了。

而 UniDex 方法就像讓機器人先觀察上千個美食博主第一視角錄制的視頻自學切菜，然后人類再用幾分鐘糾正一下握刀姿勢，結果不僅成本更低，機器人切得比私教效果更好，即便換不同的刀具（不同類型的機械手），也無需重新訓練照樣可以穩定操作。

這意味著，工廠中的機械臂換成靈巧手可能不需要重新編程；家庭服務機器人看到主人如何開抽屜，自己就能基于觀察學習并掌握新技能；甚至未來機器人看過 TikTok 上的維修教程的視頻后，有望直接上手修東西。

（來源：arXiv）

相關論文題目為《UniDex：基于第一人稱人類視頻的通用靈巧手控制機器人基礎套件》（UniDex: A Robot Foundation Suite for Universal Dexterous Hand Control from Egocentric Human Videos）[1]，目前已被 CVPR 接收，相關代碼、模型均已開源。

圖丨相關論文（來源：arXiv）

重塑動作空間：如何讓靈巧手像人手一樣“本能”協作？

當前大部分范式本質上都是教機器人干活。例如 VLA 和世界模型等都可歸為模仿學習，核心在于高質量數據。

盡管遙操作數據包含執行-觀察-反饋的閉環，但存在一種本體分離，即執行主體是機器人，感官決策則依賴于人類。而在人類數據中，執行、觀察、反饋均來自同一本體，動作更自然、更快，也能完成更復雜操作。

以 System 類比來說，遙操作像 System 2，而人類自身數據則像 System 1，有更本能的快速反應。因此，用人類數據學習能獲得更自然的動作。

研究團隊開啟這項研究，來自一個想法：既然靈巧手的設計源自人手，那人類直接“教”機器人做事是否可行呢？

他們的做法是：先將人類視頻和動作轉換為機器人數據從中學習預訓練動作空間，再針對不同任務通過簡單后訓練對齊，讓策略變得可用。

研究團隊從四個公開的 RGB-D 人類操作數據集中篩選出涵蓋多樣場景的第一人稱視角的日常任務視頻，包括使用手機、開牛奶盒、用鏟子翻炒、解魔方等。

但一個不容忽視的現實問題是，無論從運動學，還是從形態方面，人手和靈巧手之間均存在顯著差距：人手五指可能比靈巧手長、關節分布也不相同，并且人手的靈活性更高，能夠完成復雜的動作，例如使用剪刀、噴壺、點鼠標等。

圖丨完整的人機轉換流程（來源：arXiv）

為此，研究人員提出了人機協同重定向程序（human-in-the-loop retargeting procedure），優先讓人手與機械手的指尖軌跡對齊，手掌等部位則通過引入優化讓其在空間中自主調整，形成更符合真實操作習慣的運動軌跡。

目前多數方法使用靈巧手重定向庫中的向量重定向，這類基于優化的方式更適合遙操作。但在離線數據編輯場景下，對齊指尖的方法比向量方法在操作軌跡的真實性方面提供更強的保障。

（來源：arXiv）

該方法一次整體校準每類數據集和每種機械手，然后對剩余數據進行微調處理。在此基礎上，研究團隊構建了 UniDex-Dataset，該數據集涵蓋了 5 萬條以上完整操作軌跡、900 萬幀圖像-點云-動作配對數據，并覆蓋 8 種不同型號的靈巧手（主動自由度從 6 維到 24 維不等）。

該論文第一作者、清華大學博士生張谷對 DeepTech 解釋道：“我們之所以選用帶有三維信息的視頻數據集，是因為現在大部分操作，比如 VLA、二指夾爪都依賴于兩個腕部以及頭部攝像頭，只用二維輸入在涉及空間距離感知的情況下，容易識別不準。”

因此，帶有三維深度信息的視頻數據僅通過第一人稱視角即可完成大量操作。同時，三維信息在 human-in-the-loop retargeting 時可輔助更精準的空間位置判斷，從而提高轉換數據的質量。

圖丨張谷（來源：張谷）

經過基本標定后，整個機械手的數據相對合理。但考慮到數據質量，研究人員對涉及到物體和手交互較多的片段進行二次檢查和人工調整，從而讓整體數據更加合理。

一套策略搞定 8 種機械手，任務進度達 81%

數據構建完成，接下來研究人員解決的問題是訓練模型。他們提出了一套統一動作空間 FAAS（Function-Actuator-Aligned Space）策略，核心思路是：將功能相同的關節映射到動作空間的同一維度，從而能夠讓不同靈巧手的控制具有一定的功能語義性，以在不同的靈巧手之間更好地進行策略遷移和統一。

例如，將不同手型中功能一致的指根彎曲自由度，映射到動作空間的同一維度上。這樣，低自由度靈巧手學會抓握動作后，可以直接將訓練策略遷移到高自由度靈巧手，避免了為不同類型靈巧手重復訓練的工作。

（來源：arXiv）

借助 FAAS 作為動作參數化方式，研究人員在 UniDex 數據集上預訓練了一種三維 VLA 策略 UniDex-VLA，并通過任務演示進行微調。在預訓練階段，研究人員已在整個數據集摻雜了各種不同類型的機械手數據。

在 FAAS 策略加持下，可實現零樣本跨數據遷移，有利于機械手迭代后快速保留原有訓練，并將不同類型機械手訓練的策略遷移到目標機械手。

在真實機器人實驗中，研究團隊還搭建了一套硬件平臺，涵蓋了 Franka 機械臂、Inspire 手、Wuji 手和 Oymotion 手，并設計了 5 項具有挑戰性的日常工具任務，包括沖咖啡、掃地、澆花、剪袋子、用鼠標，每項任務的微調數據僅采集 50 條真實操作軌跡。

（來源：arXiv）

結果顯示，相較于擴散策略、3D 擴散策略等基線方法，UniDex-VLA 在所有任務中均取得了優異的平均任務完成進度，最高實現 81%。即便與當前業界具有代表性的 VLA 模型 π0 的 38% 相比，也具有明顯的優勢。在最難的任務“用剪刀剪袋子”方面，該方法比此前最好的方法提升了 84.6%。

模型泛化能力的表現同樣值得關注。研究團隊將原本在 Inspire 手上訓練好的“沖咖啡”策略，直接部署到 Wuji 手和 Oymotion 手上，在未經微調的條件下，成功率實現了 40% 到 60%；同樣實驗條件下，基線方法幾乎全部失效。

“我們的實驗結果證明，通過結合 FAAS 動作空間和大規模預訓練，能夠讓模型學會更通用的手部控制邏輯。”張谷表示。

（來源：arXiv）

除了數據集和模型，研究團隊還設計了一套便攜式數據采集系統 UniDex-Cap。這個系統將 Apple Vision Pro 和 Intel RealSense L515 深度相機固定在同一支架上，提供了采集裝置和轉換的腳本。

相比傳統遙操作方式，UniDex-Cap 采集人類演示的速度提升約 5 倍。在實驗中，該團隊通過人機數據訓練中等難度任務，發現人類演示數據與真實機器人數據比例大概在 2：1 左右，即兩條人類演示數據可替代一條真實機器人數據，顯著降低了后訓練階段的數據采集和微調的成本。

機器人學習的“數據金字塔”已經堆好了

從人類數據學習的策略，已成為當下越來越多人的共識方向之一。研究團隊認為，未來人類數據可能會呈現一種金字塔的形式：最底層是無標簽的人類視頻，中間層是帶有動作標注的人類視頻，最上層是精細的動作標簽，包括帶反饋的人類數據。

隨著金字塔層數上升，成本和精度越高，同時獲得的外界信息也越多。如文章開頭中提到的刷視頻學習技能，便位于人類數據金字塔最底層，即沒有任何動作標注的純視頻信息。

張谷指出，隨著 3D 視覺和算法方面的進步，通過視頻信息能夠了解整個空間以及機械手在空間中的動作軌跡，再結合本次研究中的數據轉換 pipeline，有望通過純視頻形式讓機器人直接學會高層次的語義理解和低層次的動作執行。

未來，在 UniDex 方法中引入觸覺等模態對齊，有望讓從人類學習的方法呈現一套覆蓋更多的場景、更多任務類型以及泛化性更好的策略，從而促進向更大規模和更通用的方向發展。此外，該方法也適用于靈巧手專屬的工具使用場景。

接下來，研究團隊將進一步提高人類數據到機械手數據的轉換效率。另一方面，盡管模型在手型遷移方面已獲得初步驗證，但研究人員還將深入探索，面對更多未曾見過的機械結構，是否可以繼續保持穩定。

這項研究相當于給靈巧手領域構建了一套完整的基礎設施，未來研究者不用再從零開始攢數據、調模型，而是基于 UniDex 直接進行二次開發。長遠來看，有望加速靈巧手更快走向日常生活的應用場景。如果這一方向成立，那么未來最強的機器人訓練集，可能來自大量的人類視頻數據。

參考資料：

1.相關論文：https://arxiv.org/abs/2603.22264

2.項目地址：https://github.com/unidex-ai/UniDex

運營/排版：何晨龍