![]()
本文的作者均來自北卡羅來納大學(xué)教堂山分校。本文的第一作者為博士生衛(wèi)振宇,主要研究方向?yàn)榭缰悄荏w的靈巧操作;第二作者為博士生姚云超;通訊作者為助理教授丁明宇。
在機(jī)器人操作領(lǐng)域,一個(gè)長(zhǎng)期懸而未決的核心問題始終困擾著研究者:
面對(duì)形態(tài)各異的靈巧手,我們是否注定要為每一種手型單獨(dú)設(shè)計(jì)表示方式與控制策略?
現(xiàn)實(shí)世界中的靈巧手在結(jié)構(gòu)和形態(tài)上存在著極大的差異 —— 有的手指數(shù)量不同,有的關(guān)節(jié)拓?fù)涓鳟悾杂啥确植疾⒉唤y(tǒng)一,驅(qū)動(dòng)方式和感知配置更是各不相同。幾乎每一款新靈巧手的出現(xiàn),都意味著要重新定義動(dòng)作空間、重新采集交互數(shù)據(jù),并針對(duì)該手型單獨(dú)訓(xùn)練和反復(fù)調(diào)試控制模型。這種高度依賴 “具體手型” 的研究路徑,不僅顯著抬高了開發(fā)成本,也在很大程度上限制了靈巧操作算法在真實(shí)場(chǎng)景中的復(fù)用能力和規(guī)模化落地。
靈巧操作之所以長(zhǎng)期被認(rèn)為是機(jī)器人領(lǐng)域中最具挑戰(zhàn)性的方向之一,原因并不只在于其本身具備高自由度,更深層的問題在于:“手” 始終缺乏一種統(tǒng)一、且具備良好泛化能力的描述方式。
不同靈巧手在關(guān)節(jié)數(shù)量、結(jié)構(gòu)拓?fù)湟约斑\(yùn)動(dòng)約束上的巨大差異,使得策略學(xué)習(xí)往往與具體手型緊密綁定,模型難以遷移,系統(tǒng)也難以擴(kuò)展。如何在不犧牲操作精度和靈活性的前提下,抽象出一種能夠覆蓋多種靈巧手的通用表示,并在此基礎(chǔ)上構(gòu)建統(tǒng)一的動(dòng)作空間,始終是該領(lǐng)域尚未徹底解決的關(guān)鍵問題。
![]()
近期,北卡羅來納大學(xué)教堂山分校的研究團(tuán)隊(duì)提出了 One Hand to Rule Them All。與以往側(cè)重于特定任務(wù)或單一靈巧手的研究不同,這項(xiàng)工作從更底層的表示層出發(fā),嘗試為不同靈巧手構(gòu)建一個(gè)統(tǒng)一、規(guī)范且具備泛化能力的描述空間。在這一框架中,“手” 本身被作為模型的條件輸入,不同手型可以共享同一套動(dòng)作表達(dá)與策略結(jié)構(gòu)。這一思路為靈巧操作系統(tǒng)的可擴(kuò)展性和通用性提供了新的可能,也為未來實(shí)現(xiàn)跨手型、跨設(shè)計(jì)的機(jī)器人學(xué)習(xí)奠定了重要基礎(chǔ)。
![]()
- 論文標(biāo)題:One Hand to Rule Them All: Canonical Representations for Unified Dexterous Manipulation
- 項(xiàng)目主頁:https://zhenyuwei2003.github.io/OHRA/
- 論文鏈接:https://arxiv.org/abs/2602.16712
- 代碼鏈接:https://github.com/zhenyuwei2003/OHRA
一、引言
靈巧操作是機(jī)器人實(shí)現(xiàn)高水平抓取、在手操作以及工具使用等復(fù)雜任務(wù)的核心能力。然而,不同靈巧手在自由度數(shù)量、關(guān)節(jié)布局與運(yùn)動(dòng)學(xué)結(jié)構(gòu)上存在顯著差異,使得現(xiàn)有方法往往深度依賴特定的硬件設(shè)計(jì),難以在不同手型之間泛化。這種結(jié)構(gòu)依賴性嚴(yán)重制約了數(shù)據(jù)、模型與控制策略的復(fù)用,也成為靈巧操作規(guī)模化發(fā)展的關(guān)鍵瓶頸。
當(dāng)前,大多數(shù)靈巧操作方法通常默認(rèn)手部結(jié)構(gòu)是固定不變的。即便在學(xué)習(xí)框架中引入了靈巧手的三維幾何信息(例如點(diǎn)云表示),策略仍然強(qiáng)烈依賴具體的關(guān)節(jié)維度和運(yùn)動(dòng)學(xué)拓?fù)洌沟媚P驮诳缡诌w移時(shí)性能明顯下降。另一方面,雖然 URDF 可以完整刻畫手部的幾何與運(yùn)動(dòng)學(xué)屬性,但其層級(jí)化、非統(tǒng)一的組織方式并不適合直接作為學(xué)習(xí)模型的輸入,也難以支持在不同手型之間定義一致的動(dòng)作空間。
為緩解跨手泛化難題,近期已有研究開始探索跨靈巧手的學(xué)習(xí)范式,例如以人手作為中介表示,或通過顯式建模接觸關(guān)系來實(shí)現(xiàn)抓取策略的遷移。然而,這類方法要么依賴人形假設(shè),擴(kuò)展性受到限制;要么僅適用于特定任務(wù)場(chǎng)景(如抓取),難以推廣到更通用的靈巧操作問題。總體來看,當(dāng)前仍缺乏一種統(tǒng)一、可擴(kuò)展且動(dòng)作定義一致的靈巧手表示框架。
針對(duì)上述挑戰(zhàn),我們提出了一種規(guī)范化(Canonical)的靈巧手表示方法,將具有不同自由度數(shù)量、不同手指配置以及不同運(yùn)動(dòng)學(xué)結(jié)構(gòu)的靈巧手,統(tǒng)一映射到一個(gè)共享的參數(shù)空間和標(biāo)準(zhǔn)化的 URDF 形式中。該表示在保留原始手部運(yùn)動(dòng)學(xué)特性與功能能力的同時(shí),引入了統(tǒng)一的動(dòng)作維度,使得學(xué)習(xí)到的策略能夠在不同手型之間自然地共享與遷移。
在這一規(guī)范化表示的基礎(chǔ)上,我們進(jìn)一步學(xué)習(xí)了一個(gè)結(jié)構(gòu)化的手部形態(tài)潛空間,并據(jù)此訓(xùn)練了以手部形態(tài)為條件的跨靈巧手抓取策略。實(shí)驗(yàn)結(jié)果表明,該方法不僅能夠在多種不同靈巧手之間實(shí)現(xiàn)有效的策略共享,還可以在未見過的手型上實(shí)現(xiàn)零樣本泛化;無論是在仿真環(huán)境還是真實(shí)機(jī)器人實(shí)驗(yàn)中,均表現(xiàn)出穩(wěn)定且魯棒的抓取性能。
![]()
圖 1 不同靈巧手的規(guī)范化 URDF 與原始 URDF 對(duì)比,展示其在初始姿態(tài)與抓取姿態(tài)下在形態(tài)與運(yùn)動(dòng)學(xué)上的一致性
二、規(guī)范化表征設(shè)計(jì)
如果想讓不同靈巧手真正 “用同一套方法學(xué)會(huì)操作”,首先要解決的不是策略本身,而是手該如何被描述。
現(xiàn)實(shí)中,靈巧手通常通過 URDF 來定義其幾何和運(yùn)動(dòng)學(xué)結(jié)構(gòu),但這種描述方式更多服務(wù)于仿真與控制,而非學(xué)習(xí)本身。不同手型在坐標(biāo)系約定、關(guān)節(jié)組織方式上的差異,往往會(huì)引入額外的運(yùn)動(dòng)學(xué)歧義,使得模型即便面對(duì)相似的動(dòng)作意圖,也會(huì)得到完全不同的輸入與控制接口。如圖 2 所示,這類不一致在跨手學(xué)習(xí)時(shí)尤為明顯。
![]()
圖 2 URDF 的坐標(biāo)系不一致問題。左:不同來源的 URDF 采用不同的全局坐標(biāo)方向;右:局部關(guān)節(jié)坐標(biāo)軸定義不統(tǒng)一,導(dǎo)致運(yùn)動(dòng)學(xué)歧義。
為此,我們?cè)O(shè)計(jì)了一種參數(shù)化的規(guī)范化 URDF 表征方式。通過固定運(yùn)動(dòng)學(xué)拓?fù)洳⒔y(tǒng)一坐標(biāo)定義,不同靈巧手的結(jié)構(gòu)差異被映射到同一規(guī)范框架之下,從而消除由建模習(xí)慣帶來的表示不一致問題。這一規(guī)范結(jié)構(gòu)以人手為啟發(fā),支持最多五指、22 個(gè)自由度,能夠覆蓋現(xiàn)有主流靈巧手的設(shè)計(jì)形式。在保證表達(dá)能力的同時(shí),我們系統(tǒng)性地去除了與具體硬件實(shí)現(xiàn)強(qiáng)相關(guān)的冗余差異,使不同手型在該表示下具備良好的可比性。
![]()
圖 3 規(guī)范化 URDF 結(jié)構(gòu)示意(以右手為例)。左:網(wǎng)格與坐標(biāo)系可視化;右:運(yùn)動(dòng)學(xué)骨架圖。
在幾何層面,手掌與手指均采用膠囊體進(jìn)行抽象,以降低不必要的幾何復(fù)雜度,同時(shí)保留關(guān)鍵的運(yùn)動(dòng)學(xué)關(guān)系,為后續(xù)的學(xué)習(xí)過程提供更加穩(wěn)定的輸入基礎(chǔ)。
在規(guī)范化 URDF 之上,我們進(jìn)一步引入了一組緊湊且可解釋的參數(shù),用于描述靈巧手的整體形態(tài)與運(yùn)動(dòng)學(xué)特征。這些參數(shù)涵蓋手掌尺寸、手指長(zhǎng)度、指根分布位置以及關(guān)節(jié)活動(dòng)范圍等關(guān)鍵信息,使手部結(jié)構(gòu)可以被表示為固定維度的向量,從而自然地作為條件輸入引入學(xué)習(xí)模型。
為了將現(xiàn)有靈巧手模型高效映射到這一規(guī)范表示中,我們實(shí)現(xiàn)了一套自動(dòng)化的 URDF 解析與生成流程。該流程能夠從原始 URDF 中提取規(guī)范參數(shù),并據(jù)此生成對(duì)應(yīng)的規(guī)范化模型,實(shí)現(xiàn)原始表示與規(guī)范表示之間的雙向轉(zhuǎn)換,為跨手型的策略復(fù)用提供了可靠的工程支撐。
最后,基于規(guī)范化 URDF 所定義的固定拓?fù)浣Y(jié)構(gòu),我們構(gòu)建了統(tǒng)一的動(dòng)作空間。所有靈巧手均在同一 22 維關(guān)節(jié)空間中進(jìn)行控制,對(duì)于不存在的關(guān)節(jié)則采用失活方式處理。通過這一設(shè)計(jì),不同自由度配置的靈巧手可以共享同一套動(dòng)作語義,使單一策略能夠在多種手型之間直接遷移。
三、實(shí)驗(yàn)
為系統(tǒng)評(píng)估所提出規(guī)范化表示在表達(dá)能力、物理一致性以及跨手泛化能力方面的有效性,我們從多個(gè)互補(bǔ)角度對(duì)其進(jìn)行了驗(yàn)證。整體實(shí)驗(yàn)設(shè)計(jì)圍繞以下四個(gè)核心問題展開:
1)該表示是否能夠形成連續(xù)且具有物理意義的形態(tài)空間;
2)是否能夠忠實(shí)保留原始手部的運(yùn)動(dòng)學(xué)與控制特性;
3)是否支持不同靈巧手之間的策略共享;
4)是否能夠在未見過的手型上實(shí)現(xiàn)零樣本泛化。
規(guī)范化參數(shù)的隱空間學(xué)習(xí)
為評(píng)估規(guī)范化參數(shù)化表示在刻畫不同靈巧手形態(tài)方面的能力,我們首先學(xué)習(xí)了一個(gè)手部形態(tài)的隱空間表示。具體而言,我們以規(guī)范化參數(shù)向量為輸入,訓(xùn)練一個(gè)變分自編碼器(VAE),將高維的手部形態(tài)參數(shù)映射至低維潛變量空間,并通過解碼器重構(gòu)對(duì)應(yīng)的規(guī)范化 URDF 參數(shù)。
在實(shí)驗(yàn)過程中,我們?cè)跐摽臻g中對(duì)不同靈巧手的表示進(jìn)行線性插值,并將解碼后的結(jié)果可視化為對(duì)應(yīng)的手部模型。實(shí)驗(yàn)結(jié)果表明,隨著潛變量的連續(xù)變化,手指數(shù)、手指長(zhǎng)度以及關(guān)節(jié)配置均呈現(xiàn)出平滑且一致的過渡趨勢(shì)。這一現(xiàn)象說明,所提出的規(guī)范化參數(shù)表示能夠?qū)W習(xí)到一個(gè)連續(xù)、結(jié)構(gòu)化且具有明確物理語義的形態(tài)流形,從而為后續(xù)以手部形態(tài)為條件的策略學(xué)習(xí)奠定了良好基礎(chǔ)。
![]()
圖 4 兩種靈巧手在隱空間中的插值結(jié)果,展示自由度、手指布局與整體幾何結(jié)構(gòu)的平滑變化。
規(guī)范化 URDF 的物理一致性
為驗(yàn)證規(guī)范化 URDF 在動(dòng)態(tài)操作任務(wù)中的物理一致性與保真性,我們?cè)趦深惥哂写硇缘牟僮魅蝿?wù)中,對(duì)規(guī)范化模型與原始 URDF 進(jìn)行了系統(tǒng)對(duì)比評(píng)估,分別包括在手內(nèi)物體旋轉(zhuǎn)與抓取策略重放。
在手內(nèi)物體旋轉(zhuǎn)任務(wù)中,我們分別基于原始 URDF 與規(guī)范化 URDF 訓(xùn)練控制策略,并比較其在物體姿態(tài)變化幅度與控制穩(wěn)定性方面的表現(xiàn)。實(shí)驗(yàn)結(jié)果如表 1 所示,兩種模型在重定向成功率以及最終姿態(tài)誤差等關(guān)鍵指標(biāo)上表現(xiàn)高度接近,表明規(guī)范化過程并未顯著削弱原始模型的操作能力。
![]()
表 1 規(guī)范化 URDF 和 原始 URDF 訓(xùn)練手內(nèi)旋轉(zhuǎn)策略結(jié)果對(duì)比
在抓取策略重放實(shí)驗(yàn)中,我們進(jìn)一步評(píng)估規(guī)范化 URDF 與原始 URDF 之間的雙向映射一致性。具體而言,我們?cè)趦煞N表示之間進(jìn)行抓取策略的雙向遷移:一方面,將基于規(guī)范化 URDF 生成的抓取預(yù)測(cè)映射至原始 URDF 上執(zhí)行;另一方面,將基于原始 URDF(使用 D(R, O) Grasp 模型)生成的抓取預(yù)測(cè)映射至規(guī)范化 URDF 上執(zhí)行,并分別評(píng)估其抓取穩(wěn)定性與接觸行為的一致性。
![]()
表 2 抓取策略在規(guī)范化 URDF 與原始 URDF 之間遷移時(shí)的成功率對(duì)比
綜合上述實(shí)驗(yàn)結(jié)果可以看出,在兩種映射方向下,抓取成功率與接觸行為均保持高度一致。這表明規(guī)范化 URDF 在統(tǒng)一結(jié)構(gòu)與動(dòng)作空間的同時(shí),能夠在運(yùn)動(dòng)學(xué)與動(dòng)力學(xué)層面忠實(shí)保留原始靈巧手模型的關(guān)鍵物理特性,為后續(xù)跨靈巧手的學(xué)習(xí)與遷移提供了可靠的表示基礎(chǔ)。
跨靈巧手抓取策略學(xué)習(xí)
在統(tǒng)一的規(guī)范化表示與動(dòng)作空間下,我們進(jìn)一步評(píng)估抓取策略在不同靈巧手之間共享與遷移的能力。得益于規(guī)范化 URDF 所帶來的統(tǒng)一關(guān)節(jié)拓?fù)洹㈥P(guān)節(jié)索引順序以及動(dòng)作維度,不同結(jié)構(gòu)的靈巧手可以在同一動(dòng)作空間中進(jìn)行控制,從而使單一抓取模型能夠在多種手型上進(jìn)行聯(lián)合訓(xùn)練。
具體而言,抓取策略以物體的幾何觀測(cè)與手部形態(tài)條件作為輸入,并在規(guī)范化動(dòng)作空間中直接預(yù)測(cè)抓取配置。其中,手部形態(tài)條件由規(guī)范化參數(shù)的隱空間表示提供,使模型在生成抓取時(shí)能夠顯式感知當(dāng)前靈巧手的結(jié)構(gòu)約束,而無需針對(duì)不同手型設(shè)計(jì)專用的網(wǎng)絡(luò)結(jié)構(gòu)或動(dòng)作映射模塊。
![]()
圖 5 基于規(guī)范化表示的跨靈巧手抓取策略流程
在實(shí)驗(yàn)中,我們選取了 Allegro、Barrett 與 Shadow Hand 三種在手指數(shù)、自由度數(shù)量及結(jié)構(gòu)設(shè)計(jì)上差異顯著的靈巧手進(jìn)行統(tǒng)一訓(xùn)練,并分別在各手型上評(píng)估抓取成功率。需要強(qiáng)調(diào)的是,該實(shí)驗(yàn)的目的并非提出新的抓取算法,而是驗(yàn)證規(guī)范化 URDF 作為統(tǒng)一下游動(dòng)作空間的表達(dá)能力。實(shí)驗(yàn)結(jié)果表明,即使采用結(jié)構(gòu)相對(duì)簡(jiǎn)單的抓取模型,借助規(guī)范化表示,仍能夠在不引入手型特定網(wǎng)絡(luò)結(jié)構(gòu)或復(fù)雜工程設(shè)計(jì)的前提下,在多種靈巧手上生成高質(zhì)量抓取。
![]()
表 3 抓取表現(xiàn)對(duì)比
進(jìn)一步地,我們比較了所有靈巧手統(tǒng)一訓(xùn)練與針對(duì)每種靈巧手獨(dú)立訓(xùn)練兩種策略學(xué)習(xí)方式在抓取任務(wù)中的表現(xiàn)。對(duì)比結(jié)果如表 4 所示,統(tǒng)一訓(xùn)練模型在所有手型上的抓取成功率均優(yōu)于對(duì)應(yīng)的獨(dú)立訓(xùn)練模型。這一結(jié)果表明,規(guī)范化 URDF 所定義的共享動(dòng)作空間能夠有效促進(jìn)不同手型之間的經(jīng)驗(yàn)共享,使結(jié)構(gòu)差異顯著的靈巧手能夠相互受益于彼此的數(shù)據(jù),從而顯著提升跨具身學(xué)習(xí)的泛化能力。
![]()
表 4 統(tǒng)一訓(xùn)練(Unified)和獨(dú)立訓(xùn)練(Specific)的抓取成功率對(duì)比
LEAP Hand 的零樣本抓取泛化
為評(píng)估手部形態(tài)條件化在零樣本場(chǎng)景下的泛化能力,我們選用了模塊化的 LEAP Hand 構(gòu)造大規(guī)模靈巧手變體,并在未見過的手部結(jié)構(gòu)上系統(tǒng)性地測(cè)試抓取性能。通過改變各手指的連桿數(shù)量,我們生成了一組在手指數(shù)、自由度配置以及運(yùn)動(dòng)學(xué)結(jié)構(gòu)上差異顯著的 LEAP Hand 變體。其中,原始設(shè)計(jì)記為 leap_3333,數(shù)字分別表示拇指、食指、中指和小指的連桿數(shù)量。
在規(guī)范化表示框架下,不同 LEAP Hand 變體僅需修改對(duì)應(yīng)的形態(tài)參數(shù)即可完成建模,使得大規(guī)模手型實(shí)例化與統(tǒng)一抓取評(píng)估成為可能。抓取策略僅在部分 LEAP Hand 變體上進(jìn)行訓(xùn)練,并在訓(xùn)練過程中從未出現(xiàn)的新手型上直接測(cè)試,以評(píng)估其零樣本泛化能力。
![]()
表 5 不同 LEAP Hand 變體的抓取成功率對(duì)比(下劃線表示零樣本泛化結(jié)果)
實(shí)驗(yàn)結(jié)果如表 5 所示,引入手部形態(tài)條件的抓取模型在未見手型上的零樣本抓取成功率與已見手型相當(dāng),表明基于規(guī)范化表示作為條件輸入,策略能夠在無需額外微調(diào)的情況下直接適配新的手部結(jié)構(gòu)。進(jìn)一步地,在形態(tài)差異更為顯著的簡(jiǎn)化手型上,零樣本模型在多數(shù)變體上的抓取成功率甚至優(yōu)于對(duì)應(yīng)的手型特定模型,展現(xiàn)出良好的跨形態(tài)泛化能力。
![]()
表 6 零樣本泛化模型與單獨(dú)訓(xùn)練模型的抓取成功率對(duì)比
為了驗(yàn)證形態(tài)條件在抓取中的關(guān)鍵作用,我們?cè)谕评黼A段人為施加錯(cuò)誤的手部形態(tài)條件,并評(píng)估其對(duì)抓取性能的影響。實(shí)驗(yàn)結(jié)果如表 7 所示,錯(cuò)誤的形態(tài)條件會(huì)顯著降低抓取成功率,且這一影響在零樣本設(shè)置下尤為明顯。進(jìn)一步的梯度可視化結(jié)果表明,模型能夠根據(jù)手部結(jié)構(gòu)差異,自動(dòng)關(guān)注對(duì)抓取成功起關(guān)鍵作用的手指,說明形態(tài)條件在策略決策過程中被顯式利用。
![]()
表 7 不同手部形態(tài)條件下在 leap_3303 上的抓取成功率
![]()
圖 5 規(guī)范化參數(shù)梯度可視化結(jié)果
綜合以上結(jié)果,LEAP Hand 實(shí)驗(yàn)表明,規(guī)范化表示與手部形態(tài)條件能夠有效支撐抓取策略在結(jié)構(gòu)差異顯著的靈巧手之間實(shí)現(xiàn)穩(wěn)健的零樣本泛化。
真機(jī)靈巧手抓取實(shí)驗(yàn)
為進(jìn)一步驗(yàn)證所提出方法在真實(shí)系統(tǒng)中的可行性及其 sim-to-real 遷移能力,我們將基于規(guī)范化表示訓(xùn)練得到的抓取策略部署至真實(shí)機(jī)器人平臺(tái)。實(shí)驗(yàn)系統(tǒng)由 Franka Research 3 機(jī)械臂、LEAP Hand 靈巧手以及 RealSense L515 深度相機(jī)構(gòu)成,測(cè)試對(duì)象為一組形態(tài)各異的日常物體,并在多種 LEAP Hand 變體上進(jìn)行評(píng)估。
![]()
圖 6 測(cè)試物體集合及不同 LEAP Hand 變體的真實(shí)抓取示例
在實(shí)驗(yàn)中,我們分別評(píng)估了兩類模型:一類是在規(guī)范化靈巧手?jǐn)?shù)據(jù)集上訓(xùn)練得到的模型;另一類是在訓(xùn)練過程中從未見過目標(biāo)手型的零樣本泛化模型。實(shí)驗(yàn)結(jié)果如表 8 所示,訓(xùn)練模型在真實(shí)環(huán)境中取得了較高的抓取成功率,表明規(guī)范化表示在真實(shí)系統(tǒng)中能夠有效保留原始手部模型的關(guān)鍵動(dòng)力學(xué)特性,并支持可靠的 sim-to-real 遷移。
![]()
表 8 真機(jī)實(shí)驗(yàn)的抓取成功率
更為重要的是,零樣本泛化模型在真實(shí)系統(tǒng)中的抓取成功率與訓(xùn)練模型接近,顯示出穩(wěn)定而一致的跨形態(tài)泛化能力。這一結(jié)果進(jìn)一步表明,手部形態(tài)條件能夠在面對(duì)未見手型時(shí)有效引導(dǎo)抓取策略的生成,從而使統(tǒng)一訓(xùn)練的策略具備面向真實(shí)世界部署的潛力。
四、總結(jié)
本文提出了一種靈巧手的規(guī)范化表示框架,將結(jié)構(gòu)異構(gòu)的靈巧手統(tǒng)一映射到共享的參數(shù)空間與動(dòng)作空間中,為跨具身學(xué)習(xí)提供了一種可擴(kuò)展、可復(fù)用的表示基礎(chǔ)。通過連續(xù)的形態(tài)參數(shù)化,該表示能夠顯式刻畫不同靈巧手之間的結(jié)構(gòu)差異,并支持以手部形態(tài)為條件的策略學(xué)習(xí);與此同時(shí),統(tǒng)一的動(dòng)作空間使得數(shù)據(jù)與策略得以在不同手型之間高效共享,顯著降低了對(duì)手型定制化設(shè)計(jì)的依賴。
基于該規(guī)范化表示,我們實(shí)現(xiàn)了與具體手部結(jié)構(gòu)解耦的抓取策略,并在多種靈巧手以及未見過的手型上系統(tǒng)驗(yàn)證了其零樣本泛化能力。實(shí)驗(yàn)結(jié)果表明,規(guī)范化 URDF 在保持原始手部模型運(yùn)動(dòng)學(xué)與動(dòng)力學(xué)一致性的同時(shí),能夠有效支撐跨形態(tài)的策略遷移,使統(tǒng)一訓(xùn)練的模型在無需額外微調(diào)的情況下適配新的手部結(jié)構(gòu),避免了對(duì)手型特定網(wǎng)絡(luò)結(jié)構(gòu)或復(fù)雜工程設(shè)計(jì)的依賴。
更進(jìn)一步地,該規(guī)范化表示框架及其背后的設(shè)計(jì)原則并不局限于靈巧手抓取任務(wù),也有望推廣至更廣泛的機(jī)器人具身形式與操作場(chǎng)景,例如類人機(jī)器人、多形態(tài)末端執(zhí)行器以及更復(fù)雜的操作任務(wù)。我們希望這一工作能夠?yàn)榭蓴U(kuò)展的跨具身操作學(xué)習(xí)提供通用基礎(chǔ),并推動(dòng)具身智能與機(jī)器人操作研究向更通用、更可遷移的方向發(fā)展。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.