頭號玩家照進(jìn)現(xiàn)實！NTU發(fā)布世界模型交互新范式，攻克主動操作難題

新智元報道

編輯：LRST

【新智元導(dǎo)讀】南洋理工大學(xué)MMLab團(tuán)隊推出Hand2World，讓AI世界模型真正「伸手」互動。只需在空中比劃手勢，模型就能生成逼真第一人稱交互視頻，實時響應(yīng)調(diào)整。它摒棄舊有遮擋誤導(dǎo)，用3D手部結(jié)構(gòu)與射線編碼解耦手與頭運動，首次實現(xiàn)閉環(huán)持續(xù)交互。基于單目視頻全自動標(biāo)注，為AR、機器人交互鋪路。世界模型不再只是「 看」，而是能「觸」。

Sora能生成逼真的視覺世界，Genie 3能讓你在3D場景中自由探索——但你始終只能「看」，沒法伸手進(jìn)去抓一下桌上的杯子。

當(dāng)下的世界模型已經(jīng)擁有了「眼睛」和「腿」——能感知環(huán)境、能移動視角，卻始終缺少一雙「手」。

能看能動但不能交互，是世界模型從被動觀察邁向主動操控的最后一道坎。而人類與物理世界交互的最原生接口，就是手勢。

南洋理工大學(xué)MMLab團(tuán)隊提出了Hand2World[1]——給一張場景照片，用戶只需在空中做出手勢動作，AI 就能生成手伸進(jìn)場景里抓杯子、翻書、開盒子的逼真第一人稱視頻。而且這不是一次性生成：用戶可以邊看生成結(jié)果邊調(diào)整手勢，模型實時跟進(jìn)——形成真正的閉環(huán)交互。

論文地址：https://arxiv.org/abs/2602.09600

項目主頁：https://hand2world.github.io

為什么現(xiàn)有方法搞不定？

想象你訓(xùn)練了一個 AI，讓它看了上萬段人手抓杯子的視頻。現(xiàn)在給它一只在空氣中揮舞的手——它就無所適從了。因為訓(xùn)練數(shù)據(jù)里手永遠(yuǎn)被杯子、書本擋著一半，AI 從沒見過「完整的手」長什么樣。結(jié)果面對完整手形，它反而憑空生出了不存在的遮擋物。

這就是所有基于 2D 手部 mask 方法的致命傷——訓(xùn)練時看到的是殘缺的手，推理時卻收到完整的手，分布直接錯配。下圖清楚地展示了這一點：上排訓(xùn)練場景中 mask 被物體截斷，下排憑空手勢中 mask 完整，現(xiàn)有方法（如 CosHand）因此產(chǎn)生嚴(yán)重偽影。

mask分布錯配 vs Hand2World的遮擋不變條件信號

雪上加霜的是，第一人稱視頻中手部運動和佩戴者的頭部轉(zhuǎn)動在畫面上完全糾纏——模型分不清「是手在動還是頭在動」，背景就會跟著手一起漂移。

近期也有工作嘗試推進(jìn)第一人稱世界模型——如PlayerOne[2]通過第一人稱與第三人稱相機同步配對來建模自我運動，取得了重要進(jìn)展。

但這一路線既限制了數(shù)據(jù)的可擴(kuò)展性，也使實際應(yīng)用受限。能否僅從單目視頻出發(fā)，同時解決上述所有問題？這正是Hand2World的研究出發(fā)點。

Hand2World怎么做到的？

方法流程圖

讓模型「看見」完整的手

Hand2World徹底拋棄了2D mask。它從單目視頻中恢復(fù)完整的 3D 手部 mesh（MANO 模型），投影到圖像平面，渲染為「填充輪廓 + 線框疊層」的復(fù)合信號。無論手是否被物體遮擋，這個控制信號的格式始終一致。

關(guān)鍵 insight：遮擋關(guān)系不是硬編碼在輸入信號里的，而是交給生成模型根據(jù)場景上下文自行推斷。線框疊層還能在手掌朝向相機、手指相互遮擋時提供額外的關(guān)節(jié)結(jié)構(gòu)信息——這是純輪廓做不到的。

分清「手在動」還是「頭在動」

移除相機建模模塊后，F(xiàn)VD從218直接飆到815——背景開始跟著手一起漂移。

Hand2World 用逐像素的 Plücker 射線嵌入顯式編碼相機運動，通過一個輕量級adapter以加法方式注入擴(kuò)散模型。這一招將手部關(guān)節(jié)運動和頭部自運動徹底解耦。

相機控制消融對比。無相機條件時（上排）背景嚴(yán)重漂移，加入Plücker射線后（中排）與真實視頻（下排）高度一致。

閉環(huán)交互，無限續(xù)寫

Hand2World將雙向擴(kuò)散教師模型蒸餾為因果自回歸生成器，通過 KV cache 維持時序連貫，支持流式輸出。這使得整個系統(tǒng)形成閉環(huán)——用戶邊看邊調(diào)整手勢，模型持續(xù)響應(yīng)，交互可以無限進(jìn)行下去。

實驗結(jié)果

三個數(shù)據(jù)集全面領(lǐng)先

在ARCTIC、HOT3D、HOI4D三個第一人稱交互數(shù)據(jù)集上均取得最優(yōu)結(jié)果。以 ARCTIC 為例：

• FVD：908 →218（降幅76%）

• 相機軌跡誤差：0.13 →0.07（降幅42%）

• DINO 語義相似度：0.80 →0.88

• 深度一致性：Depth-ERR 從 22.51 降至16.14

蒸餾后的Hand2World-AR性能接近教師模型（FVD 232），單卡A100達(dá)8.9FPS。

具身智能的數(shù)據(jù)飛輪：全自動單目標(biāo)注

Hand2World 的訓(xùn)練數(shù)據(jù)從哪來？與 PlayerOne等依賴多目同步采集的方案不同，團(tuán)隊開發(fā)了一套全自動的單目標(biāo)注流水線——不需要多目相機陣列，不需要人工標(biāo)注，直接從普通的第一人稱視頻中自動提取手部 mesh、相機軌跡和訓(xùn)練數(shù)據(jù)對。這意味著任何一段現(xiàn)成的 egocentric 視頻都可以被轉(zhuǎn)化為訓(xùn)練信號——為具身智能的大規(guī)模數(shù)據(jù)收集提供了真正可擴(kuò)展的方案。

從「看見世界」到「觸碰世界」

作為將手勢交互引入世界模型的一次初步嘗試，Hand2World 構(gòu)建了一套從數(shù)據(jù)標(biāo)注到閉環(huán)生成的完整系統(tǒng)。在視頻生成能力快速提升的當(dāng)下，這套系統(tǒng)有望應(yīng)用于 AR/MR 眼鏡手勢交互、機器人手-物交互數(shù)據(jù)合成、以及從單張照片構(gòu)建可交互虛擬環(huán)境。

當(dāng)世界模型不再只是被動地生成畫面，而是能響應(yīng)用戶的每一個手勢并持續(xù)演化——從「看見世界」到「觸碰世界」的距離，或許比我們想象的更近。

參考資料：

[1] Wang et al., "Hand2World: Autoregressive Egocentric Interaction Generation via Free-Space Hand Gestures," arXiv:2602.09600, 2026.

[2] Tu et al., "PlayerOne: Egocentric World Simulator," Advances in Neural Information Processing Systems (NeurIPS), 2025.