李飛飛一篇論文，ChatGPT、Claude全部是”智障”

最近一篇論文讓我反復觀看，那就是李飛飛聯(lián)合西北大學教授做了一個測試，將ChatGPT、Claude、DEEPSEEK等主流一線模型做了一個基線測試。

” “Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces”

研究團隊設(shè)計了一個 空間推理測試集 VSI-Bench ，包含：

• 5000+ 視頻空間問答任務(wù)

• 需要模型理解：

• • 物體位置

  • 空間移動

  • 距離關(guān)系

  • 環(huán)境結(jié)構(gòu)

論文測試了多種大模型，例如：

• GPT 系列

• 多模態(tài)模型

• 視覺語言模型

從而得出結(jié)論

1. LLM的空間理解能力遠低于人類

2. 語言推理技巧（CoT、Tree-of-Thought）幾乎無幫助

3. 模型缺乏真正的 “world model / 空間認知結(jié)構(gòu)”

并且語言推理技巧也幾乎完全落后人類

• 語言推理技巧（CoT、Tree-of-Thought）幾乎無幫助

• 模型缺乏真正的 “world model / 空間認知結(jié)構(gòu)”

LLM模型無法做空間的底座

為什么現(xiàn)在的AI模型無法生成空間系統(tǒng)了，因為他就沒有辦法去理解空間操作能力，這就導致我們現(xiàn)在做vision Pro的開發(fā)，當程序員想用AI編碼工具生成，幾乎無法完成。

被迫只能手動寫代碼，在現(xiàn)在空間計算里面，因為他們記不住在視頻里面的內(nèi)容，也很難分辨出空間里面的物體。

在論文里舉例，如果現(xiàn)在的常識是在3D圖形旋轉(zhuǎn)一圈之后，看下AI模型能不能識別，而這種只是拿著標準答案來測試；于是他們用真實的家庭識別來測試，或者工廠或者辦公室。

空間智能有4個能力，分別是視覺能力、語言能力、時間處理、空間推理，其中

1.視覺感知（visual perception）

模型需要：

• 識別物體

• 識別形狀

• 識別位置

例如：

桌子、椅子、門、窗戶

2.語言能力（linguistic intelligence）

模型要理解問題。

例如：桌子在沙發(fā)左邊還是右邊？

3.時間處理（temporal processing）

視頻是：

時間序列

模型要理解：

• 物體移動

• 相機移動

• 人的路徑

這是最難的部分。

模型要理解：

• 距離

• 方向

• 相對位置

例如：

桌子在椅子前面

而這點現(xiàn)在大模型做不到，主要是因為大模型現(xiàn)在只有tokens sequence，所以LLM不會真正理解房間結(jié)構(gòu)、路徑、距離。

最后就是通過空間智能之后，加上時間的維度就是空間記憶，比如在記憶里面人類可以記住物體的位置，完整的房間布局結(jié)構(gòu)。

而機器人要想能夠自主運動，就是需要空間模型，而當前時間是沒有空間模型的，都是LLM，這也是為什么vision Pro與AndroidXR會成為下一代革命，當真正使用空間設(shè)備的人多了之后，就可以快速生成更多高質(zhì)量的空間數(shù)據(jù)，就可以完成空間智能模型的訓練了。

今天的分享就到這里