DGX spark 雙擊并聯，AI產品經理的大模型微調開始

最近小龍蝦爆火之后，除了帶火Macmini 之外，還有Mac studio ultra 512GB，幾乎在小黃魚要翻倍的價格才能買到。

而蘋果即可做普通辦公使用，還能夠做服務器、也能夠做大模型，就導致現在機器不斷漲價，這也導致去年開始發(fā)貨的英偉達DGX spark 也開始漲價了。

趁著內存還沒有漲價到這么高，我?guī)е膱F隊也就優(yōu)先選擇了Dgx spark來作為GPU 服務器的底座，來作為接下來腦機接口大模型的訓練底座。

當然現在在全球還沒有哪一個團隊公開選擇用DGX spark 并聯2臺以上作為GPU底座使用，而我們團隊將以腦機接口科研出發(fā)，探索如何進行2臺以上的并聯，并且來對比和市面上的其他4090GPU能耗、性能對比。

如下畢竟相比4090 ，這臺機器的GB10在帶寬是瓶頸，沒有辦法進行模型訓練有多高，但是功耗確實我們團隊所選擇的核心原因。

因為在實驗室環(huán)境，沒有專業(yè)的機房導致這種4090級別的顯卡沒有辦法在普通工作環(huán)境跑起來。

項目

GB10（NVIDIA Grace Blackwell Superchip）RTX 4090

架構

Blackwell GPU + Grace CPU (AI 專用 SoC)

Ada Lovelace（消費/游戲/創(chuàng)意）

CUDA 核心

≈6,144（與 RTX 5070 級別）

16,384

顯存容量

128?GB LPDDR5X 統(tǒng)一內存

24?GB GDDR6X

顯存帶寬

≈273?GB/s

≈1,010?GB/s

典型用途

專業(yè) AI、大模型推理/訓練候選

游戲、創(chuàng)意、深度學習推理/訓練

TDP / 功耗

約 140?W（低）

約 450?W（高）

FP32 理論算力

約 29.7 TFLOPS

約 82.6 TFLOPS

AI 取向規(guī)格

Blackwell Tensor 核（FP4/FP8）

強大的 Tensor Cores

實際基準

缺乏統(tǒng)一公開性能數據

消費級最強單卡之一

雖然在顯存帶寬上，GB10的DGX spark 模型訓練能力弱，但是有一點是能效比優(yōu)勢巨大，耗電少，就可以在家里安裝與部署，而不是要專門的特別電線來供電。

所以在家庭與學校實驗室，帶寬就降低，因此才會有如此低的功耗。但是也就方便了模型訓練與模型推理。

唯一的壞處就是慢了點，因為帶寬問題就導致計算慢，但是這也是現在科研團隊適合使用的，因為他們有足夠的時間來訓練，而不趕時間。

其次統(tǒng)一內存120GB，讓其可以部署更多模型，完成推理，從而進行微調，這也是現在DGX spark的優(yōu)勢。

小龍蝦本地算力跑通了再租賃

針對現在很多開源的模型，很多開發(fā)者要調試首先要反復調試與部署，這就會消耗很多tokens了，再說系統(tǒng)跑通與用戶測試。

像現在小龍蝦這樣，反復的測試就會需要消耗不少算力，所以對于個人來說花費幾萬來購買一個GPU實際是非常不劃算的，因為幾萬塊錢相當于一臺頂配Mac 或者筆記本電腦了。總之現在有GPU非常適合科研團隊去嘗試使用，但是這需要公司投入資源。

大模型微調，很少有AI產品的團隊會做

這一點其實很少有團隊會做。從現在來看，很多 AI 團隊主要停留在部署大模型階段，而真正進入到模型微調（Fine-tuning）的團隊只占很小一部分，可能不到10%。因為模型微調不僅需要算力資源，還需要數據工程、訓練框架以及算法經驗等綜合能力。

因此，目前能夠真正開展大模型微調工作的團隊，大多集中在：

• 高校計算機實驗室

• 科研院所課題組

• 互聯網公司 AI 團隊

很多普通 AI 產品團隊通常只做模型調用，而不會涉及模型訓練與優(yōu)化。

模型訓練（微調）的主要工作內容如下：

• 訓練數據準備：數據收集、清洗、標注與格式整理

• 模型選擇：選擇合適的基礎模型（如 Llama、Qwen、DeepSeek 等）

• 微調方式設計：如 LoRA、QLoRA 等低成本微調方式

• 訓練環(huán)境搭建：配置 GPU、CUDA、深度學習框架

• 模型訓練：參數設置、訓練迭代與顯存優(yōu)化

• 模型評估：通過 benchmark 或業(yè)務測試驗證效果

• 模型優(yōu)化：根據結果繼續(xù)調整數據或訓練策略

模型部署的工作內容如下：

搜索模型 → 下載模型 → 部署成功 → 運行推理 → 封裝為 API 即可。

整體流程相對簡單，主要工作集中在：

• 模型選擇與下載

• 推理環(huán)境配置

• 啟動模型服務

• 封裝 API 接口

• 接入到業(yè)務系統(tǒng)

由此這也是我們團隊選擇DGX spark的原因。

今天的分享就在這兒，后續(xù)我會帶著團隊分享我們做AI模型訓練的案例與經驗

題圖來自 Unsplash ，基于 CC0 協議， 如有侵權，請聯系pmtalk123刪除

“分享產品經理改變世界的點滴”

產品顧問｜ 產品咨詢｜培訓合作

請?zhí)砑游⑿?strong>PMxiaowanzi

最近我的原創(chuàng)

最近我的視頻原創(chuàng)

每日案例拆解庫，AI等產品打卡群

我創(chuàng)建的產品設計打卡社群，加入后365天，每天體驗一款APP。提升產品設計能力，同時有1300份體驗報告幫助你找到競品

在這里你可以隨時查詢到你想找的各類競品行業(yè)APP，無須自己親自下載就可以馬上得到APP的一手產品優(yōu)化、交互設計、功能描述信息。

從優(yōu)化&建議、商業(yè)模式、運營、功能描述、交互設計、產品定位至少6個維度，體驗一款應用。

平均1天1塊錢，掃碼購買即可加入

連續(xù)體驗48款應用，通過后原路退回

報名后添加星球助理

PMTalk123