重磅，英偉達(dá)將推中國版Groq芯片

據(jù)兩名知情人士周二向路透社透露，英偉達(dá)正在準(zhǔn)備推出一款面向中國市場的Groq人工智能芯片。

英偉達(dá)去年底以 170 億美元收購了人工智能芯片初創(chuàng)公司 Groq，并在本周于加州圣何塞舉行的年度開發(fā)者大會上展示了一系列基于其芯片的新產(chǎn)品。

英偉達(dá)首席執(zhí)行官黃仁勛表示，在獲得美國總統(tǒng)唐納德·特朗普政府的出口許可證和中國客戶的采購訂單后，該公司已重啟其 H200 芯片（目前旗艦芯片的前身）的生產(chǎn)。與此同時，英偉達(dá)也開始著手為中國市場開發(fā)芯片版本。

英偉達(dá)計(jì)劃利用Groq的芯片進(jìn)行推理，即人工智能系統(tǒng)回答問題、編寫代碼或?yàn)橛脩魣?zhí)行任務(wù)。在本周英偉達(dá)展示的產(chǎn)品中，該公司計(jì)劃將即將推出的Vera Rubin芯片（該芯片無法在中國銷售）與Groq芯片結(jié)合使用。

盡管英偉達(dá)在人工智能系統(tǒng)訓(xùn)練市場占據(jù)主導(dǎo)地位，但在推理市場卻面臨著更為激烈的競爭。包括百度在內(nèi)的多家中國人工智能巨頭，已經(jīng)生產(chǎn)出自己的推理芯片。

一位消息人士告訴路透社，準(zhǔn)備銷往中國的芯片并非降級版本，也不是專門為中國市場制造的。該消息人士稱，新版本可以適配其他系統(tǒng)，并補(bǔ)充說，Groq芯片預(yù)計(jì)將于5月上市。

英偉達(dá)終于承認(rèn)為何斥資 200 億美元收購 Groq

作為一個行業(yè)，我們幾乎還沒完全適應(yīng)融合機(jī)架級計(jì)算系統(tǒng)。這個概念其實(shí)已經(jīng)存在十多年了，但直到現(xiàn)在才開始真正普及，因?yàn)槿斯ぶ悄芸梢猿袚?dān)解耦的成本，而人工智能對延遲的敏感性又推動了這些解耦組件的緊密融合。

但對規(guī)模越來越大的 AI 超級計(jì)算機(jī)的需求促使英偉達(dá)將所有設(shè)備都組裝起來，隨著今年下半年即將交付的新一代系統(tǒng)，所有設(shè)備都將被組裝起來：Vera-Rubin 計(jì)算機(jī)架、Vera CPU 機(jī)架、Spectrum-X 機(jī)架、BlueField-4 STX 存儲機(jī)架，以及現(xiàn)在的 Groq LP30 低延遲推理機(jī)架。

去年12月底，英偉達(dá)斥資200億美元“收購”了Groq的大部分開發(fā)團(tuán)隊(duì)，并獲得了其LPU數(shù)據(jù)流引擎的底層技術(shù)授權(quán)，用于人工智能推理。我們當(dāng)時預(yù)期英偉達(dá)會迅速部署由前谷歌員工喬納森·羅斯（Jonathan Ross）開發(fā)的張量流處理器。羅斯在離開谷歌后，創(chuàng)建了一種完全可調(diào)度、可編程的張量處理單元。隨著GenAI（人工智能世代）的興起，這些處理器被更名為語言處理單元（LPU），但其架構(gòu)并未改變。如今，英偉達(dá)正與三星合作，將第三代LP30芯片推向市場。英偉達(dá)聯(lián)合創(chuàng)始人兼首席執(zhí)行官黃仁勛在GTC 2026大會的開幕主題演講中表示，該芯片將于今年下半年發(fā)布，很可能在第三季度。

英偉達(dá)沒有浪費(fèi)任何時間，因?yàn)樗緵]有時間可以浪費(fèi)。Groq原本有望在低延遲推理領(lǐng)域取得進(jìn)展，就像Cerebras Systems和SambaNova Systems一樣，后者專注于超高帶寬SRAM內(nèi)存而非相對較低的計(jì)算能力，從而在大量計(jì)算引擎上實(shí)現(xiàn)快速推理。在速度至關(guān)重要的領(lǐng)域，這些系統(tǒng)制造商以及數(shù)十家試圖大規(guī)模解決推理問題的初創(chuàng)公司，就像一群食人魚涌向亞馬遜河（指亞馬遜河，而非書商和云服務(wù)公司）里一頭肥牛。因此，英偉達(dá)不得不迅速行動……

因此，Vera以200億美元巨資收購了Groq。由于直接收購可能需要一到兩年的時間，而且可能無法通過全球反壟斷監(jiān)管機(jī)構(gòu)的審查，因此無法直接完成。于是，Groq被立即整合到Vera-Rubin平臺中?？紤]到黃仁勛在主題演講中提到，低延遲、高價(jià)代幣的生成應(yīng)該占人工智能集群計(jì)算量的25%左右，這個平臺或許應(yīng)該被稱為Vera-Rubin-Groq平臺。

還記得英偉達(dá)在 2025 年 9 月預(yù)覽的Rubin CPX 大型上下文計(jì)算引擎嗎？它基于 Rubin 架構(gòu)的變體，并配備了更便宜、更容易獲得的 GDDR7 顯存。

英偉達(dá)人工智能與高性能計(jì)算副總裁伊恩·巴克在GTC 2026大會前的一次電話會議上談到系統(tǒng)發(fā)布時表示：“我們發(fā)現(xiàn)了一個絕妙的想法，那就是將LPU和LPX集成到我們的Rubin平臺中，以優(yōu)化解碼。這是我們目前的工作重點(diǎn)，我們很高興能將這項(xiàng)技術(shù)推向市場。”

換句話說，取消 Rubin CPX 項(xiàng)目。

黃仁勛將我們推測為“Rubin”R200 GPU加速器的設(shè)備，與我們推測為“Alan-3”Groq LP30推理加速器的設(shè)備并排放置。其中一臺是通用型動態(tài)調(diào)度計(jì)算引擎，它非常擅長批量處理大量推理任務(wù)，并通過HBM堆疊內(nèi)存進(jìn)行流水線式處理，延遲合理，并支持多個并發(fā)用戶。（這應(yīng)該就是GPU。）另一臺則是一機(jī)架或更多機(jī)架相對較小的、專用于推理的、靜態(tài)調(diào)度的確定性計(jì)算引擎，它們協(xié)同工作，支持少量用戶（大多數(shù)情況下可能只有一個用戶），并將模型權(quán)重（而非數(shù)據(jù)）分布到其聚合SRAM中，使得隨著機(jī)器數(shù)量的增加，生成令牌的響應(yīng)時間會相應(yīng)縮短。GPU負(fù)責(zé)處理大量數(shù)據(jù)，而LPU則負(fù)責(zé)加速。它們可以與Dynamo推理堆棧協(xié)同工作，從而在不同的吞吐量和延遲范圍內(nèi)提供更均衡的推理性能帕累托曲線。

以下是 R200 和 LP30 芯片的進(jìn)給量和速度：

更全面的比較需要考慮這些系統(tǒng)的完整內(nèi)存層次結(jié)構(gòu)，包括主機(jī)處理器中的閃存和主內(nèi)存，但您應(yīng)該明白我的意思。此外，我們將性能歸一化到 FP8 浮點(diǎn)運(yùn)算次數(shù)，這表明在相同的數(shù)據(jù)精度下，性能差距為 21 倍。如果您的 AI 工作負(fù)載的解碼部分可以利用 FP4 處理（這是一個相當(dāng)大的假設(shè)），那么 R200 的理論峰值性能將是 LP30 的 42 倍。

但仔細(xì)看看GPU的復(fù)雜度，它與成本成正比——R200的大部分物料清單都將用于支付HBM4堆疊式內(nèi)存以及將其連接到GPU所需的中介層的成本。因此，我們必須考慮到，這款速度型芯片的延遲不僅會低于普通芯片，而且在實(shí)現(xiàn)合理交互水平的情況下，每個令牌的成本也可能更低。

隨著我們從人類與聊天機(jī)器人互動過渡到自主人工智能系統(tǒng)之間相互對話，以更快的速度、更復(fù)雜的推理能力執(zhí)行任務(wù)，并因此處理數(shù)量級更大的令牌，最需要考慮的是，類似 Groq、Cerebras 和 SambaNova 這樣的架構(gòu)將變得更加重要。我們需要開發(fā)專門針對自主人工智能推理的 Google TPU 和 Amazon Trainium 的變體，在不犧牲內(nèi)存容量的前提下，更好地平衡內(nèi)存帶寬和計(jì)算能力。

我們將深入探討硬件方面的問題。請放心，目前我們只是在回顧黃仁勛和巴克闡述的策略，您需要重點(diǎn)關(guān)注的是兩條帕累托性能曲線，它們分別展示了先前、當(dāng)前和未來一致性GPU內(nèi)存域系統(tǒng)的性能，以及將Groq設(shè)計(jì)的LP30加入其中后的性能變化。目標(biāo)是利用黃仁勛構(gòu)想的推理領(lǐng)域中的推理核心，覆蓋從免費(fèi)到高級的各種層級，這是一種合理的理解方式。

以下是 Hopper NVL8、Grace-Blackwell NVL72 和 Vera-Rubin NVL72 系統(tǒng)在吞吐量（每秒每兆瓦的令牌數(shù)）和交互性（每秒每個用戶的令牌數(shù)）方面的比較：

顯而易見，NVSwitch 帶來的更大共享 GPU 內(nèi)存域有助于將性能曲線從 Hopper 拉長到 Blackwell，但隨著 Rubin GPU 的升級，內(nèi)存、內(nèi)存帶寬和計(jì)算能力的提升只能使性能曲線向上移動，而無法向右拉伸。Nvidia 最終會擴(kuò)大內(nèi)存域，但不會是在 2026 年的硬件世代。

現(xiàn)在，當(dāng)您將 Groq LP30 添加到系統(tǒng)組合中時，就會發(fā)生這種情況：目標(biāo)客戶群體是中高端客戶，隨著越來越多的 LP30 被添加到系統(tǒng)中進(jìn)行推理，系統(tǒng)將逐步擴(kuò)展到利潤非常豐厚的超高端客戶群體：

那么，這條驚人的曲線說明了什么呢？讓我用通俗易懂的方式解釋一下。如果你只是做一些對響應(yīng)時間要求不高的簡單推理，比如聊天機(jī)器人與語速較慢的人類對話，或者幾個智能體幫助自動化各種人類工作，那么 Vera-Rubin 算法就足夠用了。但在智能體人工智能的世界里，需要生成的令牌數(shù)量極其龐大，而且令牌生成的延遲必須很低，才能保證大量的智能體完成任務(wù)——任何延遲都意味著損失金錢，還不如把這些錢燒掉，扔到數(shù)據(jù)中心或者紐約證券交易所——那么，絕對沒有人會選擇 CPU-GPU 混合系統(tǒng)來做這種解碼工作。

這就是為什么英偉達(dá)斥資 200 億美元收購了 Groq 的頂尖技術(shù)。

我現(xiàn)在只能說，AMD 與 Cerebras 的聯(lián)合創(chuàng)始人關(guān)系非常密切。

Vera-Rubin 架構(gòu)指的是 88 核“Vera”CV100 Arm 服務(wù)器處理器，搭配定制的“Olympus”內(nèi)核和“Rubin”R200 GPU 加速器，共有七種不同的芯片，構(gòu)成五種不同類型的機(jī)架式系統(tǒng)，可以在 Vera-Rubin AI 超級計(jì)算機(jī)中進(jìn)行混合搭配。

黃仁勛展示了 1 GW “Hopper” H100 GPU 容量與 X86 處理器搭配，并體現(xiàn)在 HGX NVL8 系統(tǒng)中（八個 GPU 在縱向網(wǎng)絡(luò)上共享內(nèi)存，使用 InfiniBand 進(jìn)行橫向擴(kuò)展）與我們推測的 VR200 NVL72 機(jī)架級系統(tǒng)集群（GPU 的 72 路內(nèi)存共享）的對比。

在這個對比中，只需一半數(shù)量的GPU就能實(shí)現(xiàn)13.3倍的AI處理性能提升。公平地說，H100只能將精度降低到FP8，而R200將支持FP4格式（就像之前的“Blackwell”GPU一樣）。因此，這13.3倍的性能提升中有兩倍來自于精度的降低。而且，F(xiàn)P4格式的應(yīng)用并非僅限于基準(zhǔn)測試——人們正在調(diào)整模型，以在將數(shù)據(jù)量（以及處理精度）減半的情況下，將結(jié)果的精度控制在FP8的幾個百分點(diǎn)以內(nèi)。人們正在生產(chǎn)環(huán)境中進(jìn)行這種權(quán)衡。

但問題在于，如果你只需要一半數(shù)量的GPU，但單價(jià)卻翻了三四倍，那么英偉達(dá)就能通過銷售至少兩倍的設(shè)備來大幅提升營收，但你的IT預(yù)算并不會減少。如果你的AI工作負(fù)載正在擴(kuò)展——而這幾乎是必然的——那么你的IT預(yù)算也會增加。但其他所有部署AI的IT機(jī)構(gòu)的預(yù)算也會增加，如今需求再次遠(yuǎn)遠(yuǎn)超過供應(yīng)，迫使價(jià)格進(jìn)一步上漲，從而推高英偉達(dá)的營收和利潤，使其遠(yuǎn)超在不受限制的環(huán)境下可能達(dá)到的水平。

當(dāng)推理之王真好。

但差點(diǎn)就成了推理之王的，是谷歌 TPU 的締造者、以及公認(rèn)的更優(yōu)秀的 Groq 架構(gòu)的締造者喬納森·羅斯。羅斯剛剛收到了一份無法拒絕的收購要約，我認(rèn)為 Cerebras 也很有可能收到類似的要約。英特爾錯失了收購 SambaNova Systems 的機(jī)會——但或許現(xiàn)在還有時間和資金達(dá)成交易。

（來源：內(nèi)容來自半導(dǎo)體行業(yè)觀察綜合）