人工智能的數(shù)據(jù)之“困”，誰(shuí)能帶來(lái)更優(yōu)解？

算力誠(chéng)可貴，數(shù)據(jù)價(jià)更高。

當(dāng)我們沉浸在算力競(jìng)賽的角力之際，或許應(yīng)該牢記AI大咖Andrew Ng的警句：“數(shù)據(jù)不是石油，它是土壤——粗暴開(kāi)采只會(huì)留下荒漠，精心培育才能長(zhǎng)出森林。”

的確，隨著Deepseek R1等大模型水平的突飛猛進(jìn)，人工智能走向普惠化已不再是水中花、鏡中月，而是觸手可及的美好。接下來(lái)，大模型即將開(kāi)啟真正進(jìn)入到千行百業(yè)的序幕，數(shù)據(jù)的價(jià)值有望得以全面釋放的同時(shí)，與數(shù)據(jù)相關(guān)的一系列新挑戰(zhàn)也接踵而至。

根本原因在于，當(dāng)下的數(shù)據(jù)架構(gòu)已然不適應(yīng)人工智能快速發(fā)展帶來(lái)的各種需求，而現(xiàn)代化的數(shù)據(jù)架構(gòu)，就像是那把打開(kāi)未來(lái)智能之門(mén)的金鑰匙，決定著這場(chǎng)人工智能變革的走勢(shì)。

正如Hammerspace全球市場(chǎng)高級(jí)副總裁 Molly Presley所言：“人工智能時(shí)代，解鎖數(shù)據(jù)價(jià)值，才有解鎖更多商業(yè)價(jià)值的可能。人工智能的快速發(fā)展，會(huì)帶來(lái)截然不同的工作負(fù)載需求，而這一切需要一個(gè)面向AI時(shí)代的新數(shù)據(jù)存儲(chǔ)架構(gòu)，并且最好能在不推翻現(xiàn)有環(huán)境的基礎(chǔ)上融入，真正解決數(shù)據(jù)孤島、數(shù)據(jù)管理、存儲(chǔ)利用率等新挑戰(zhàn)。”

AI時(shí)代，數(shù)據(jù)架構(gòu)迎來(lái)巨變

2025年伊始，百模大戰(zhàn)的喧囂猶然在耳，關(guān)于數(shù)據(jù)的討論又沸沸揚(yáng)揚(yáng)。前有VAST DATA等一眾公司關(guān)于針對(duì)人工智能對(duì)象存儲(chǔ)與文件存儲(chǔ)孰優(yōu)孰劣的激烈討論，后有Deepseek對(duì)于數(shù)據(jù)重要性的關(guān)鍵啟示。所有這一切都表明：隨著大模型持續(xù)進(jìn)步，人工智能應(yīng)用的下半場(chǎng)重點(diǎn)看數(shù)據(jù)。

數(shù)據(jù)價(jià)值要想全面釋放，先進(jìn)的數(shù)據(jù)架構(gòu)務(wù)必先行。數(shù)據(jù)無(wú)疑是企業(yè)在未來(lái)市場(chǎng)競(jìng)爭(zhēng)中構(gòu)建差異化能力的關(guān)鍵所在，而數(shù)據(jù)架構(gòu)又是其中最為重要的拼圖。事實(shí)上，在人工智能技術(shù)快速發(fā)展的今天，很多企業(yè)依然主要沿用橫向擴(kuò)展NAS或者HPC文件系統(tǒng)及數(shù)據(jù)架構(gòu)來(lái)應(yīng)對(duì)AI工作負(fù)載的需求，隨著企業(yè)在各類業(yè)務(wù)場(chǎng)景中部署與應(yīng)用大模型，傳統(tǒng)數(shù)據(jù)架構(gòu)均不可避免遇到瓶頸，面臨著以下數(shù)據(jù)挑戰(zhàn)：

其一、由于不同數(shù)據(jù)協(xié)議、生命周期、地域等多個(gè)維度因素，新的數(shù)據(jù)孤島開(kāi)始大量誕生，尤其是非機(jī)構(gòu)化數(shù)據(jù)的孤島，幾乎上一套HPC/AI集群，即意味著一個(gè)數(shù)據(jù)孤島的誕生，加上人工智能涉及數(shù)據(jù)環(huán)節(jié)眾多，往往需要大量的數(shù)據(jù)遷移、復(fù)制，無(wú)形中增加了數(shù)據(jù)管理的難度，數(shù)據(jù)保護(hù)更是缺位嚴(yán)重。

例如，AI/DL工作負(fù)載在數(shù)據(jù)管道層面涉及到數(shù)據(jù)采集、數(shù)據(jù)清洗、訓(xùn)練、推理、精調(diào)和應(yīng)用等多個(gè)流程，并且需要訪問(wèn)完整的數(shù)據(jù)集，而非結(jié)構(gòu)化數(shù)據(jù)往往又散布在多個(gè)存儲(chǔ)類型和位置，導(dǎo)致“復(fù)制泛濫”現(xiàn)象頻發(fā)。

其二、傳統(tǒng)數(shù)據(jù)架構(gòu)的缺陷在人工智能時(shí)代在持續(xù)放大。面對(duì)人工智能的工作負(fù)載，橫向擴(kuò)展NAS雖然具備豐富的企業(yè)級(jí)功能特性，但是在性能上瓶頸明顯且成擴(kuò)展成本昂貴；而HPC文件系統(tǒng)雖然具備出色的性能表現(xiàn)，但在數(shù)據(jù)遷移、數(shù)據(jù)保護(hù)等企業(yè)級(jí)功能方面卻不足。

“以存儲(chǔ)利用率為例，隨著NVMe SSD容量越來(lái)越大，本地部署的GPU設(shè)備必然會(huì)面臨著存儲(chǔ)利用效率的問(wèn)題。”Molly Presley直言道。

其三、大部分企業(yè)的數(shù)據(jù)架構(gòu)缺乏云端敏捷和自動(dòng)化，本地?cái)?shù)據(jù)架構(gòu)與云端的對(duì)接困難，很難靈活高效地使用云端的算力資源，數(shù)據(jù)流通與協(xié)作更是奢望，加上涉及數(shù)據(jù)管理、數(shù)據(jù)保護(hù)等工具，使得數(shù)據(jù)管理與數(shù)據(jù)治理工作復(fù)雜，亟待走向自動(dòng)化與高效化。

“行業(yè)當(dāng)前沿用橫向擴(kuò)展NAS和HPC文件系統(tǒng)的做法，后面面臨的挑戰(zhàn)會(huì)越來(lái)越大。人工智能時(shí)代，先進(jìn)的數(shù)據(jù)架構(gòu)必須做減法?！盡olly Presley表示，“Hammerspace的解決方案是Hyperscale NAS（超大規(guī)模NAS）架構(gòu)，兼顧了橫向擴(kuò)展NAS和HPC文件系統(tǒng)各自的優(yōu)勢(shì)，并且之后成功在Meta等重磅級(jí)客戶環(huán)境中得到了驗(yàn)證與應(yīng)用。”

什么才是面向人工智能時(shí)代的數(shù)據(jù)架構(gòu)

“人工智能時(shí)代，新數(shù)據(jù)架構(gòu)必須采用數(shù)據(jù)為中心的架構(gòu)，讓數(shù)據(jù)成為全局資源?！盡olly Presley如是說(shuō)。

那么，如何才能稱之為“以數(shù)據(jù)為中心的數(shù)據(jù)架構(gòu)”？

Hammerspace認(rèn)為，數(shù)據(jù)分散化已成為常態(tài)，未來(lái)的趨勢(shì)是數(shù)據(jù)移動(dòng)，而非計(jì)算移動(dòng)，數(shù)據(jù)應(yīng)能自由流動(dòng)并隨需部署至最適合的計(jì)算資源上。

因此，Hammerspace創(chuàng)新思路始于：以基于開(kāi)放標(biāo)準(zhǔn)協(xié)議的超大規(guī)模NAS架構(gòu)（Hyperscale NAS）為基礎(chǔ)，幫助企業(yè)構(gòu)建起全局?jǐn)?shù)據(jù)環(huán)境；同時(shí)，打破數(shù)據(jù)孤島，提供統(tǒng)一的命名空間和數(shù)據(jù)訪問(wèn)入口，讓企業(yè)用戶們無(wú)需關(guān)注數(shù)據(jù)底層的各類操作，在任何位置即可完成數(shù)據(jù)的訪問(wèn)和應(yīng)用；另外，采用數(shù)據(jù)編排（Data Orchestration）技術(shù)來(lái)動(dòng)態(tài)調(diào)整數(shù)據(jù)訪問(wèn)路徑，優(yōu)化存儲(chǔ)和訪問(wèn)性能，確保數(shù)據(jù)能夠根據(jù)預(yù)定義的規(guī)則和實(shí)時(shí)工作負(fù)載需求進(jìn)行高效訪問(wèn)。

“數(shù)據(jù)與計(jì)算的緊耦合很容易形成數(shù)據(jù)重力，傳統(tǒng)的‘計(jì)算移動(dòng)到數(shù)據(jù)’理念不再適用?！盡olly Presley介紹道，“數(shù)據(jù)需要根據(jù)計(jì)算資源來(lái)進(jìn)行靈活調(diào)度，從而打破數(shù)據(jù)與計(jì)算等基礎(chǔ)設(shè)施的緊耦合?！?/p>

除了超大規(guī)模NAS架構(gòu)，數(shù)據(jù)編排技術(shù)也是Hammerspace產(chǎn)品中的核心技術(shù)。與業(yè)界廣為認(rèn)知的數(shù)據(jù)編織（Data Fabric）不同，數(shù)據(jù)編排技術(shù)目的是實(shí)現(xiàn)對(duì)數(shù)據(jù)的有效管理和調(diào)度流動(dòng)，將數(shù)據(jù)移動(dòng)到最合理的位置，從而實(shí)現(xiàn)“數(shù)據(jù)定義”。

Molly Presley表示：“數(shù)據(jù)編織是在統(tǒng)一環(huán)境中通過(guò)全局命名空間將數(shù)據(jù)聚合起來(lái)，而數(shù)據(jù)編排并不是一個(gè)關(guān)于數(shù)據(jù)的視圖，而是一項(xiàng)讓數(shù)據(jù)自由移動(dòng)的技術(shù)，讓數(shù)據(jù)更加貼近需求?！?/p>

同時(shí)，Tier 0技術(shù)也是Hammerspace產(chǎn)品矩陣中的一項(xiàng)關(guān)鍵技術(shù)。眾所周知，GPU算力在當(dāng)下依然是極為稀缺的資源，如何提升GPU利用率，充分發(fā)揮GPU算力性能就成為當(dāng)前所有用戶都面臨的挑戰(zhàn)。對(duì)此，Hammerspace的Tier 0技術(shù)通過(guò)將GPU服務(wù)器本地NVMe存儲(chǔ)整合為共享資源池，不僅大幅提升本地GPU服務(wù)器存儲(chǔ)的利用率，同時(shí)優(yōu)化了本地?cái)?shù)據(jù)的訪問(wèn)性能，更將GPU存儲(chǔ)資源納入全局?jǐn)?shù)據(jù)環(huán)境，幫助企業(yè)真正構(gòu)建起一個(gè)全局?jǐn)?shù)據(jù)平臺(tái)。

事實(shí)上，Hammerspace的產(chǎn)品理念已經(jīng)在人工智能巨頭Meta的業(yè)務(wù)中得到成功驗(yàn)證與應(yīng)用。在Meta一個(gè)擁有3.2萬(wàn)個(gè)GPU的AI集群中，Meta并沒(méi)有改變現(xiàn)有基礎(chǔ)設(shè)施，在融入Hammerspace產(chǎn)品之后，進(jìn)行了包括Llama2/Llama3等大模型的訓(xùn)練工作，不僅很好地滿足了AI集群對(duì)于性能的苛刻要求，還滿足AI開(kāi)發(fā)者對(duì)于GPU資源的高效調(diào)度與便捷訪問(wèn)。

隨著Meta、Blue Origin、JellyFish、Los Alamos實(shí)驗(yàn)室等重量級(jí)用戶采用了Hammerspace的產(chǎn)品，Hammerspace最近幾年間名聲鵲起，其“以數(shù)據(jù)為中心”的架構(gòu)理念、強(qiáng)大且靈活的產(chǎn)品正在贏得越來(lái)越多用戶的青睞和認(rèn)同。

針對(duì)中國(guó)市場(chǎng)，Hammerspace打算這么干

作為一家初創(chuàng)企業(yè)，Hammerspace同樣在加速全球的業(yè)務(wù)布局。

日前，Hammerspace已正式成立亞太區(qū)，計(jì)劃重點(diǎn)開(kāi)拓包括中國(guó)、印度、韓國(guó)、日本、東盟等國(guó)家及地區(qū)的市場(chǎng)。其中，中國(guó)作為當(dāng)前全球人工智能創(chuàng)新最為活躍的市場(chǎng)，Hammerspace如何在中國(guó)市場(chǎng)布局引發(fā)高度關(guān)注。

在產(chǎn)品層面，Hammerspace在中國(guó)市場(chǎng)將采用預(yù)配置設(shè)備的銷(xiāo)售形式，這樣的方式更便于部署與使用，有利于用戶們能夠快速上手Hammerspace的產(chǎn)品。

”我們非常高興地宣布，我們已與Hammerspace達(dá)成了一項(xiàng)針對(duì)亞洲地區(qū)市場(chǎng)的戰(zhàn)略合作協(xié)議。通過(guò)將Hammerspace的突破性技術(shù)與Hammerspace Asia公司在企業(yè)交付和市場(chǎng)知識(shí)方面的卓越能力相結(jié)合，我們將為整個(gè)區(qū)域的組織賦能，幫助他們解鎖新的效率，擴(kuò)展AI項(xiàng)目，并以前所未有的方式推動(dòng)創(chuàng)新。這一合作伙伴關(guān)系的建立，標(biāo)志著我們?cè)谕顿Y和致力于為客戶提供創(chuàng)新業(yè)務(wù)解決方案方面，邁出了重要的一步。” Hammerspace Asia中國(guó)區(qū)業(yè)務(wù)負(fù)責(zé)人李睿先生表示。

Molly Presley介紹，Hammerspace的產(chǎn)品除了AI場(chǎng)景外，也非常適合關(guān)注數(shù)據(jù)合規(guī)、數(shù)據(jù)治理、數(shù)據(jù)隱私保護(hù)等場(chǎng)景的行業(yè)用戶。

在生態(tài)層面，Hammerspace非常重視中國(guó)市場(chǎng)的本地技術(shù)生態(tài)，除了與硬件合作伙伴的合作之外，還會(huì)重視行業(yè)上層應(yīng)用側(cè)的各類合作伙伴，通過(guò)與合作伙伴緊密合作來(lái)更好地幫助企業(yè)全面釋放數(shù)據(jù)價(jià)值。

“Hammerspace軟件產(chǎn)品是完全硬件中立的，并且具有充分的靈活性，我們之后會(huì)在服務(wù)、支持等方面給予中國(guó)市場(chǎng)最大的支持。”Molly Presley如是說(shuō)。

綜合觀察，隨著人工智能技術(shù)走向普惠化，數(shù)據(jù)架構(gòu)層面的挑戰(zhàn)刻不容緩。Gartner最新報(bào)告認(rèn)為，企業(yè)在AI就緒的準(zhǔn)備中，對(duì)于數(shù)據(jù)相關(guān)方面的投資未來(lái)可能獲得20倍以上的效率提升。顯然，在傳統(tǒng)數(shù)據(jù)架構(gòu)瓶頸日趨凸顯的情況下，Hammerspace帶來(lái)的“以數(shù)據(jù)為中心”的架構(gòu)理念正迅速獲得業(yè)界的認(rèn)同，其產(chǎn)品也正成為人工智能時(shí)代解決數(shù)據(jù)挑戰(zhàn)的更優(yōu)解。