生成式AI助力無線視覺系統透視遮擋物體技術突破

麻省理工學院的研究人員經過十多年的研究，開發出了一套能夠讓機器人通過"透視"障礙物來發現和操作隱藏物體的技術。該技術利用能夠穿透表面的無線信號，這些信號會從隱藏的物體上反射回來。

現在，研究人員正在利用生成式人工智能模型來克服長期以來限制先前方法精度的瓶頸。這一新方法能夠產生更精確的形狀重建，從而提高機器人可靠抓取和操作被遮擋物體的能力。

這項新技術通過反射的無線信號構建隱藏物體的部分重建圖像，然后使用專門訓練的生成式AI模型來填補其形狀的缺失部分。

研究人員還推出了一個擴展系統，該系統使用生成式AI準確重建整個房間，包括所有家具。該系統利用從一個固定雷達發送的無線信號，這些信號會從在空間中移動的人體上反射。

這克服了許多現有方法的一個關鍵挑戰，即需要將無線傳感器安裝在移動機器人上來掃描環境。與一些流行的基于攝像頭的技術不同，他們的方法保護了環境中人員的隱私。

這些創新可以讓倉庫機器人在發貨前驗證包裝物品，消除產品退貨造成的浪費。它們還可以讓智能家居機器人了解某人在房間中的位置，提高人機交互的安全性和效率。

"我們現在所做的是開發了生成式AI模型，幫助我們理解無線反射。這開啟了許多有趣的新應用，但從技術上講，這也是能力的質的飛躍，從能夠填補我們之前無法看到的空白，到能夠解釋反射并重建整個場景，"電氣工程和計算機科學系副教授、麻省理工學院媒體實驗室信號動力學小組主任、這些技術兩篇論文的資深作者Fadel Adib說。"我們正在使用AI來最終解鎖無線視覺。"

克服鏡面反射難題

Adib團隊此前已經演示了使用毫米波信號來創建被隱藏的3D物體的精確重建，比如埋在一堆物品下面的丟失錢包。

這些波長與Wi-Fi中使用的信號類型相同，可以穿過干式墻、塑料和紙板等常見障礙物，并從隱藏物體上反射。

但毫米波通常以鏡面反射的方式反射，這意味著波在撞擊表面后會向單一方向反射。因此，表面的大部分區域會將信號反射到遠離毫米波傳感器的地方，使這些區域實際上變得不可見。

"當我們想要重建一個物體時，我們只能看到頂部表面，無法看到底部或側面，"Dodds解釋說。

研究人員之前使用物理原理來解釋反射信號，但這限制了重建3D形狀的準確性。

在新論文中，他們通過使用生成式AI模型來填補部分重建中缺失的部分，從而克服了這一局限性。

"但挑戰在于：如何訓練這些模型來填補這些空白？"Adib說。

通常，研究人員使用極大的數據集來訓練生成式AI模型，這是像Claude和Llama等模型表現如此出色的原因之一。但沒有足夠大的毫米波數據集可用于訓練。

相反，研究人員調整了大型計算機視覺數據集中的圖像，以模擬毫米波反射的特性。

"我們模擬了鏡面反射的特性和從這些反射中獲得的噪聲，這樣我們就可以將現有數據集應用到我們的領域。收集足夠的新數據來做這件事可能需要數年時間，"Lam說。

研究人員將毫米波反射的物理特性直接嵌入到這些調整后的數據中，創建了一個合成數據集，用于教授生成式AI模型執行合理的形狀重建。

完整的系統名為Wave-Former，它基于毫米波反射提出一組潛在的物體表面，將它們輸入生成式AI模型以完成形狀，然后細化表面直到實現完整重建。

Wave-Former能夠生成約70個日常物體的忠實重建，如罐子、盒子、餐具和水果，比最先進的基線方法提高了近20%的準確率。這些物體被隱藏在紙板、木材、干式墻、塑料和織物后面或下面。

識別"幽靈"信號

團隊使用相同的方法構建了一個擴展系統，該系統通過利用房間中移動人體的毫米波反射來完全重建整個室內場景。

人體運動產生多徑反射。一些毫米波從人體反射，然后再次從墻壁或物體反射，最后回到傳感器，Dodds解釋說。

這些二次反射產生所謂的"幽靈信號"，即原始信號的反射副本，隨著人的移動而改變位置。這些幽靈信號通常被當作噪聲丟棄，但它們也包含有關房間布局的信息。

"通過分析這些反射隨時間的變化，我們可以開始對周圍環境有一個粗略的理解。但試圖直接解釋這些信號在準確性和分辨率方面會受到限制，"Dodds說。

他們使用類似的訓練方法來教授生成式AI模型解釋這些粗略的場景重建并理解多徑毫米波反射的行為。該模型填補空白，細化初始重建直到完成場景。

他們使用100多個由單個毫米波雷達捕獲的人體軌跡測試了他們的場景重建系統RISE。平均而言，RISE生成的重建比現有技術精確約兩倍。

未來，研究人員希望提高重建的粒度和細節。他們還希望為無線信號構建大型基礎模型，就像GPT、Claude和Gemini為語言和視覺構建的基礎模型一樣，這可能會開啟新的應用。

這項工作得到了美國國家科學基金會、麻省理工學院媒體實驗室和亞馬遜的部分支持。

Q&A

Q1：Wave-Former系統是什么？它如何工作？

A：Wave-Former是麻省理工學院開發的無線視覺系統，能夠通過毫米波信號"透視"遮擋物來重建隱藏物體。它首先基于毫米波反射提出潛在物體表面，然后使用生成式AI模型完成形狀重建，最后細化表面直到實現完整重建，準確率比現有方法提高近20%。

Q2：毫米波信號為什么能透過障礙物看到隱藏物體？

A：毫米波信號與Wi-Fi使用的信號類型相同，具有穿透干式墻、塑料和紙板等常見障礙物的能力，并能從隱藏物體表面反射回來。研究人員通過分析這些反射信號的特征，結合生成式AI模型來重建被遮擋物體的完整3D形狀。

Q3：RISE系統如何重建整個房間場景？

A：RISE系統利用人體在房間中移動時產生的多徑毫米波反射來重建室內場景。當毫米波從人體反射后再次從墻壁或物體反射回傳感器時，會產生"幽靈信號"。系統通過分析這些信號隨時間的變化模式，使用生成式AI模型理解房間布局并完成場景重建。