在仿真軟件中收集高質(zhì)量的靈巧操作數(shù)據(jù)要求輸入設(shè)備能夠真實(shí)地捕捉人手運(yùn)動的全部動作。MANUS手套,現(xiàn)在原生集成到英偉達(dá)NVIDIA Isaac實(shí)驗(yàn)室2.3版本中,以直接解決該需求。在演示中,操作員使用MANUS手套遠(yuǎn)程操作Sharpa Wave,這是NVIDIA Isaac Lab內(nèi)的一個(gè)22自由度靈巧機(jī)械手,將自然的手部運(yùn)動轉(zhuǎn)化為毫米級保真度的實(shí)時(shí)機(jī)器人關(guān)節(jié)控制。
![]()
靈巧手操作中的數(shù)據(jù)質(zhì)量瓶頸
模擬優(yōu)先的機(jī)器人策略培訓(xùn)具有成本更低、迭代更快、部署管道更安全等優(yōu)勢。然而,經(jīng)過培訓(xùn)的政策的質(zhì)量受到演示數(shù)據(jù)質(zhì)量的限制。對于需要高度協(xié)調(diào)的多手指控制的靈巧操作任務(wù),大多數(shù)遙操作輸入設(shè)備達(dá)不到要求。基于視覺的手部跟蹤會帶來遮擋誤差和延遲,而低自由度控制器無法捕捉復(fù)雜操作任務(wù)所需的細(xì)微手指運(yùn)動。
從人手到機(jī)器人的訓(xùn)練過程
MANUS手套旨在以毫米級的精度捕捉手部運(yùn)動的全范圍,在長時(shí)間的操作過程中保持穩(wěn)定,沒有漂移。NVIDIA Isaac Lab 2.3提供了原生支持,它將高保真手部跟蹤數(shù)據(jù)直接傳輸?shù)椒抡嬷校送ǔ档蛿?shù)據(jù)收集管道速度的設(shè)置。
![]()
在用例中,操作員佩戴MANUS手套在Isaac Lab里遙控1:1擬人化的22自由度機(jī)器人Sharpa Wave。手部配置直接映射到機(jī)器人關(guān)節(jié)位置,以創(chuàng)建一個(gè)更符合人類運(yùn)動學(xué)的遠(yuǎn)程操作界面。
錄制的數(shù)據(jù)被直接輸入到Isaac Lab Mimic進(jìn)行增強(qiáng)和等比例縮放,然后輸入到模仿學(xué)習(xí)管道,這些過程都在將優(yōu)先在模擬中進(jìn)行,然后再進(jìn)行實(shí)際部署。
操縱策略所依賴的精度
![]()
MANUS數(shù)據(jù)手套能實(shí)時(shí)捕捉手掌和每一根手指細(xì)微動作,提供靈巧操作研究所需的精確、穩(wěn)定、無遮擋的手部跟蹤數(shù)據(jù),可原生集成到NVIDIA Isaac實(shí)驗(yàn)室工作流程中。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.