全新 NVIDIA Nemotron 3 Super 將代理式 AI 吞吐量提升 5 倍

一款全新的開放 1,200 億參數(shù)混合式 MoE (mixture?of?experts) 模型，專為 NVIDIA Blackwell 進行了優(yōu)化，可解決拖慢自主智能體工作流的長時推理和上下文爆炸的成本難題。

NVIDIA Nemotron 3 Super 于近日發(fā)布，其為一款 1,200 億參數(shù)開放模型，擁有 120 億個活躍參數(shù)，旨在大規(guī)模運行復(fù)雜的代理式 AI 系統(tǒng)。

Nemotron 3 Super 樹立了新標準，在 Artificial Analysis 的效率和開放性排名中位居榜首，并在同等規(guī)模的模型中展現(xiàn)出領(lǐng)先的準確性。

該模型還助力 NVIDIA AI-Q 研究智能體在 DeepResearch Bench 和 DeepResearch Bench II 排行榜上取得第一名。這些基準測試旨在衡量 AI 系統(tǒng)在海量文檔中開展全面多步驟研究，并保持推理連貫性的能力。

• 混合架構(gòu)：Nemotron 3 Super 采用了混合 MoE 架構(gòu)，結(jié)合了三項主要創(chuàng)新，與之前的 Nemotron Super 模型相比，實現(xiàn)了高達 5 倍的吞吐量提升和高達 2 倍的準確率提升。

1. 混合架構(gòu)：Mamba 層實現(xiàn) 4 倍顯存與計算效率提升，Transformer 層則提供高級推理能力。
2. 混合專家 (MoE)：在其 1,200 億參數(shù)中，推理時僅激活 120 億參數(shù)。
3. 潛在混合專家架構(gòu)：這是一種新的推理技術(shù)，它以單個專家的成本來激活四個專家，從而顯著提升 token 生成的準確率。
4. 多 token 預(yù)測：能夠同時預(yù)測多個未來的詞語，從而使推理速度提高 3 倍。

• 開放權(quán)重、數(shù)據(jù)和方案：NVIDIA 將 Nemotron 3 Super 的權(quán)重完全開放，并配以寬松許可協(xié)議。開發(fā)者可在工作站、數(shù)據(jù)中心或云端來進行部署和定制。

Nemotron 3 Super 基于前沿推理模型生成的合成數(shù)據(jù)訓(xùn)練而成。NVIDIA 將公布完整的訓(xùn)練方法，其中包括超過 10 萬億個 token 的預(yù)訓(xùn)練和后訓(xùn)練數(shù)據(jù)集，15 個用于強化學(xué)習(xí)的訓(xùn)練環(huán)境以及評估方案。研究人員還可借助 NVIDIA NeMo 平臺對模型進行微調(diào)或構(gòu)建專屬模型。

• 在代理式系統(tǒng)中的應(yīng)用：Nemotron 3 Super 旨在處理多智能體系統(tǒng)中的復(fù)雜子任務(wù)。

一個軟件開發(fā)智能體可以一次性將整個代碼庫加載到上下文中，從而實現(xiàn)端到端的代碼生成和調(diào)試，且無需進行文檔分割。

在金融分析中，它能夠?qū)?shù)千頁的報告加載到顯存中，避免在長對話中重復(fù)推理，從而提高效率。

以上為摘要內(nèi)容，點擊鏈接閱讀完整內(nèi)容：全新 NVIDIA Nemotron 3 Super 將代理式 AI 吞吐量提升 5 倍 | NVIDIA 英偉達博客