李飛飛發(fā)布全新世界模型

來(lái)源：市場(chǎng)資訊

（來(lái)源：OpenCV與AI深度學(xué)習(xí)）

視覺(jué)/圖像重磅干貨，第一時(shí)間送達(dá)!

夢(mèng)瑤 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

李飛飛世界模型新成果又又又來(lái)了！

World Labs直接一口氣放出了兩款新模型：Marble 1.1和Marble 1.1-Plus。

主打一個(gè)——幾分鐘，就能把真實(shí)地點(diǎn)「搬」進(jìn)3D世界～（開(kāi)眼啦.jpg)

例如，隨手拍幾張房間的多視角照片然后喂給模型，我們就能得到一個(gè)能自由查看、帶空間感的完整3D房間：

哪怕只有一張普通照片，它也能直接往外長(zhǎng)出一個(gè)超超超大視野的3D世界，是不是有點(diǎn)VR眼鏡的效果了！

還沒(méi)完，因?yàn)槌四苡闷矫嫔?D世界外——

模型還能將原本高糊的畫(huà)面提高清晰度，提高畫(huà)面亮度對(duì)比度，最后生成一個(gè)視覺(jué)細(xì)節(jié)更豐富的視覺(jué)效果：

網(wǎng)友看到這效果，真·蚌埠住了，直言：這簡(jiǎn)直是每個(gè)室內(nèi)設(shè)計(jì)師的夢(mèng)想?。?/p>

（你還真別說(shuō)，我第一反應(yīng)也是感覺(jué)好適合家裝行業(yè)用??？？）

Marble 1.1系列模型一手實(shí)測(cè)

雖說(shuō)兩款模型都屬于Marble 1.1字輩兒的同系列模型，但是吧，倆模型在生成能力上還是各有側(cè)重點(diǎn)的。

具體區(qū)別我也幫大家淺淺總結(jié)了一下：

*Marble 1.1模型：更偏向畫(huà)質(zhì)優(yōu)化，重點(diǎn)提升光照和明暗對(duì)比，前代里常見(jiàn)的過(guò)曝、泛白這類問(wèn)題會(huì)明顯減少。

*Marble 1.1-Plus模型：更偏向空間生成，能在原有平面圖基礎(chǔ)上自動(dòng)補(bǔ)出更大的3D覆蓋范圍，拉出一個(gè)更完整、更開(kāi)闊的大世界。

（省流版：1.1更適合拿來(lái)提畫(huà)質(zhì)，1.1-Plus更適合拿來(lái)做更大范圍的3D世界）

使用方法也非常簡(jiǎn)單，我們直接在Marble官網(wǎng)中選擇對(duì)應(yīng)的模型就可以使用了。

（而且我發(fā)現(xiàn)即便是新用戶也默認(rèn)有幾千積分，大概可以生成個(gè)4次的樣子？？?。。?/p>

話不多說(shuō)，我們直接實(shí)測(cè)走起，先來(lái)考一下Marble 1.1的畫(huà)面處理能力如何！

這次我給Marble 1.1喂了一張ChatGPT生成的《我的世界》同款風(fēng)格的視覺(jué)平面圖，長(zhǎng)這樣子：

△ 參考圖

大概等了3～5分鐘，一個(gè)可以360度自由切換視角、空間感很強(qiáng)的3D游戲世界就被roll出來(lái)了，be like：

△ Marble 1.1輸出效果

前面我們也提到過(guò)，Marble 1.1模型最大的亮點(diǎn)就是「畫(huà)質(zhì)」上的體現(xiàn)。

從這組輸入輸出的對(duì)比來(lái)看，成片后的分辨率并沒(méi)有啥問(wèn)題，而且?guī)缀蹩梢哉f(shuō)是1:1還原，畫(huà)面里也沒(méi)有冒出特別明顯的噪點(diǎn)。

不僅如此生成結(jié)果在色彩表現(xiàn)上更飽滿一點(diǎn)，空間里的光感也更完整了，整體質(zhì)感還是非常ok的??！

我們干脆趁熱打鐵，同一張圖，我們?cè)賮G給Marble 1.1-Plus，康康模型會(huì)整出什么花活～

（狠狠吐槽一下：1.1-Plus模型的生成等待時(shí)間比1.1翻了一倍…）

(我等，我等，我狂等）

△ Marble 1.1-Plus輸出效果

咋說(shuō)呢，從整體的視覺(jué)延展度度確實(shí)感覺(jué)比1.1模型更好。

同樣一張圖，Marble 1.1-Plus拉出來(lái)的空間尺度會(huì)更大一些，畫(huà)面往遠(yuǎn)處鋪開(kāi)的感覺(jué)也更明顯。（大家覺(jué)著呢）

but——問(wèn)題也來(lái)了。

和剛才1.1的結(jié)果放在一起對(duì)比之后，會(huì)發(fā)現(xiàn)1.1-Plus在畫(huà)質(zhì)細(xì)節(jié)上反而稍微吃虧一點(diǎn)，整體看上去有一點(diǎn)發(fā)糊？？

（省流版：如果是單純玩玩的話，建議大家那點(diǎn)免費(fèi)的積分留著給Marble 1.1吧…)

官方和實(shí)測(cè)案例看過(guò)了，接下來(lái)我們看看網(wǎng)友們用兩個(gè)模型都玩出了啥東西～

先看下面這位網(wǎng)友，直接用Marble 1.1把自己的工作室做成了一個(gè)超大3D空間，你別說(shuō)，甚至有點(diǎn)像游戲里的密室逃脫游戲？？

再看下面這位網(wǎng)友，直接生成了一個(gè)巨大無(wú)比的家居倉(cāng)庫(kù)，那種一眼望不到頭的空間感一出來(lái)，壓迫感居然還挺強(qiáng)，甚至有點(diǎn)驚悚片現(xiàn)場(chǎng)的意思了：

畫(huà)風(fēng)，朝著更離譜的方向發(fā)展了。

比如這位朋友，直接roll出來(lái)了個(gè)真實(shí)的拳擊游戲競(jìng)技場(chǎng)，真實(shí)感狠狠拿捏住了（但這個(gè)巨型人頭屬實(shí)把我嚇了一跳?。?/p>

當(dāng)然除了實(shí)測(cè)效果外，大家很關(guān)心的「定價(jià)問(wèn)題」也值得說(shuō)說(shuō)。

官方定價(jià)頁(yè)面顯示，Marble 1.1的生成消耗均為1,500積分，和上一代價(jià)格保持一致。

換句話說(shuō)就是同樣的積分，換來(lái)新一代模型，性價(jià)比明顯更高？？

但是對(duì)于需要生成更大視野范圍的1.1-Plus來(lái)說(shuō)嘛，則需要在原本積分基礎(chǔ)上再消耗一些credit…

此外，關(guān)于如何上手這些模型官方也給出了一些建議——建議新用戶直接從Marble 1.1開(kāi)始使用。

所以我們也不難看出，World Labs自身也認(rèn)為1.1已經(jīng)能完全接替1.0標(biāo)準(zhǔn)版的位置了。（我猜）

API方面呢，目前默認(rèn)調(diào)用的仍是上一代Marble 1.0，但官方表示后續(xù)會(huì)將默認(rèn)模型切換為Marble 1.1，大家可以蹲蹲。

另外，此前的Marble-0.1-plus、Marble-0.1-mini等舊命名后續(xù)會(huì)逐步移除，并統(tǒng)一映射到1.0系列：

OMT

其實(shí)如果我們把這次新發(fā)布的Marble 1.1放回到World Labs自己的技術(shù)路線里看，它其實(shí)更接近他們這兩年反復(fù)強(qiáng)調(diào)的一個(gè)關(guān)鍵詞——spatial intelligence（空間智能）。

從這次發(fā)布的兩個(gè)新模型的表現(xiàn)來(lái)看，也確實(shí)能感覺(jué)到模型在「空間能力」上的明顯提升：

Marble 1.1讓輸出畫(huà)質(zhì)質(zhì)量更強(qiáng)，Marble 1.1-Plus讓空間覆蓋范圍更廣，也算是對(duì)技術(shù)路線又一次比較具體的落地展現(xiàn)了。

當(dāng)然了，問(wèn)題嘛，也很明顯。

大家也發(fā)現(xiàn)了，那就是現(xiàn)階段的世界模型，似乎還很難完美兼顧 「大空間」與「高畫(huà)質(zhì)」……

像Marble 1.1-Plus這種能大范圍擴(kuò)展空間的模型，面對(duì)輸入圖之外的未知區(qū)域，本質(zhì)上是在做智能腦補(bǔ)。

為了保證龐大場(chǎng)景的邏輯自洽，模型往往不得不采用更保守、平滑的生成策略，世界一旦做大，模型要處理的信息量就會(huì)成倍往上走。

那代價(jià)嘛，就是——《糊圖》。

當(dāng)然了，成本問(wèn)題也是一方面，按照現(xiàn)在的定價(jià)，模型只能在空間范圍和畫(huà)質(zhì)細(xì)節(jié)之間找平衡擇其一了…

（期待有二者兼得的那一天…)

模型確實(shí)是好模型，也確實(shí)很好玩，感興趣的友友可以直接上手試試～

[1]體驗(yàn)鏈接：marble.worldlabs.ai

[2]https://docs.worldlabs.ai/api/models

[3]https://docs.worldlabs.ai/marble/models