馬斯克發(fā)布 Grok 3 背后：模型好不好難說，但數(shù)據(jù)中心很壕

被馬斯克稱為"全世界最聰明模型"的 Grok 3 如約而至。

北京時間今天中午，馬斯克在各種宣傳后終于發(fā)布了 Grok 3。

核心信息如下：

1. 模型信息：本次發(fā)布的 Grok 3 是模型家族，包括原版及精簡版 Grok 3 mini 和各自的推理測試版（Reasoning Beta）。

2. 測試結(jié)果：Grok 3 模型測試版在數(shù)學、科學和編程三個方面表現(xiàn)優(yōu)異，得分超過GPT-4o、Deepseek-V3等基礎(chǔ)模型，Chatbot Arena打榜第一。推理版兩個模型的測評結(jié)果均超過o1、Deepseek-R1，Grok-3 mini Reasoning 模型在科學和編程方面還要略高于 Grok-3 Reasoning Beta 模型。

3. 如何使用：官方表示Grok 3 支持在 Grok 網(wǎng)頁版、Grok App 和 X 平臺上直接發(fā)起聊天，暫時沒有 API 版本，預計會在未來幾周內(nèi)提供。

Grok 3 發(fā)布后，X 平臺已經(jīng)出現(xiàn)一些網(wǎng)友反饋。「四木相對論」收集了一部分 case。

先看一個正面案例。

提示詞：用 Python 寫一個旋轉(zhuǎn)的超立方體中彈跳的球。

這里 Grok 3 表現(xiàn)不錯。它對超立方體進行了正確的3D建模，并保證在旋轉(zhuǎn)時模型完整且沒有變形。小球符合物理規(guī)律的彈跳運動，并且還擁有區(qū)別于立方體顏色的紅色。

但也有網(wǎng)友發(fā)現(xiàn)，Grok 3 的代碼能力不穩(wěn)定——同一段提示詞測試 Grok 3、o3-mini、DeepSeek-R1，只有 o3-mini 實現(xiàn)需求。

提示詞：Write code for a beautiful ball bouncing inside a circle, now instead of 1 ball make it 100

另外，它還是算不清 9.8 和 9.11 到底哪個大、DeepSeek 中一共有多少個 “e”（打開推理模式后可以解決這個問題）。

AI 大神 Andrej Karpathy 綜合評價稱， Grok 3 表現(xiàn)出接近 OpenAI 最強模型（o1-pro）的能力，尤其在思維功能方面有所突破，超越 DeepSeek-R1 和 Gemini 2.0 Flash Thinking。

但他也提及，Grok 3 在一些復雜推理、信息查詢?nèi)蝿?wù)上仍會出現(xiàn)錯誤，并且在“復雜倫理問題”方面過于敏感，也缺乏幽默感。

（Andrej Karpathy 的 X 帖）

由于 Grok 3 目前未向廣泛用戶開放，效果難以公允評價，但 xAI 在大模型圈最大的特點依然未改變：

它是全球最花力氣投入算力資源的大模型公司之一，某種程度上代表了預訓練 Scaling Law 的邊界。

這次發(fā)布中，馬斯克同樣自豪地聲稱，Grok 3 之所以能在很短的時間內(nèi)超越 Grok 2，是因為背后有強大的技術(shù)團隊和數(shù)據(jù)中心支持。

在馬斯克的觀點里，訓練最優(yōu)秀的模型需要超級規(guī)模的數(shù)據(jù)中心。

他也是這樣踐行的。

過去大半年里，xAI 首先花費了 122 天建成 10 萬卡的 Colossus 超算集群。但團隊很快發(fā)現(xiàn)這不夠，于是又用短短 92 天將Colossus 的規(guī)模從 10 萬卡擴建到 20 萬卡。通常，這些工作需要花費4年左右的時間。

在首個服務(wù)器機架進入數(shù)據(jù)中心19天后，下一代 Grok 模型——目前看就是 Grok 3——已經(jīng)開始訓練。

今天 Grok 3 的發(fā)布會中，馬斯克身著印有《艾爾登法環(huán)》中角色 Malenia 的T恤登場。Malenia 的經(jīng)典臺詞是“I have never known defeat”。（“我從未經(jīng)歷過失敗。”）

（Grok 3發(fā)布直播中，馬斯克的T恤）

（游戲《艾爾登法環(huán)》中的 Malenia 角色）

Grok 3背后：巨多的卡和效率奇跡

作為馬斯克對 AI 全力以赴的證明，Colossus 已經(jīng)鼎鼎大名——過去半年，它以超快的建設(shè)速度和巨大的算力資源引領(lǐng)行業(yè)。

Colossus 所在的數(shù)據(jù)中心坐落在美國田納西州孟菲斯市中心附近。

它原本是家用電器制造工廠。被馬斯克為 xAI 征用后，這座工廠被改造成了專門用于訓練大模型的、世界上規(guī)模最大的服務(wù)器集群。

去年一開始披露的信息是，Colossus 配備了10萬顆 GPU（主要是 H100）。最新情況是，它已經(jīng)擁有20萬顆 GPU（包括額外5萬塊 H100與5萬塊 H200）。"Grok 3 的計算資源是 Grok 2 的10倍。"馬斯克說。

（馬斯克還曾提出30萬塊的目標）

談到這個項目，英偉達 CEO 黃仁勛數(shù)度贊不絕口。他曾在播客中感慨，Colossus 的進展"讓大家輾轉(zhuǎn)難眠"。他覺得，全世界唯有馬斯克一人具備舉世無雙的、對工程、建筑、大型系統(tǒng)構(gòu)建以及資源調(diào)配的獨到能力。

這個世界上資源最多的 AI 數(shù)據(jù)中心，搭建速度快到不可思議。

從2024年9月第一周開始運營倒推，第一期擁有10萬張卡的 Colossus，從開始到完成只用了122天。

黃仁勛形容它的搭建“創(chuàng)造了一項工程奇跡”——普通數(shù)據(jù)中心需要四年時間，才能完成馬斯克在 Colossus 項目里19天的工作。

為了讓 Colossus快速投產(chǎn)，馬斯克進行了一些"非常規(guī)"操作（對他來說或許很常規(guī)）。

比如，馬斯克在還沒從電網(wǎng)獲得足夠電力的情況下，就啟動了 Colossus 的建設(shè)。在等待地方當局增加100兆瓦電力的請求的同時，他引入了移動天然氣渦輪機作為臨時的電力補充。

這些輪機的有害空氣污染物（HAP）排放量超過美國環(huán)保署設(shè)定的上限，引起了不小的爭議。就在Grok 3發(fā)布的今天，Colossus所在的孟菲斯市，還有大批市民在游行反對馬斯克。

另外，Colossus 的現(xiàn)場調(diào)度也非常緊湊。在一次現(xiàn)場探訪中，有項目承包商透露，多數(shù)建筑還沒來得及砌墻，但承包商正在場外預制大部分組件，以便到場后迅速組裝。

而且，為保證建設(shè)速度，馬斯克還拋棄了一些大名鼎鼎的合作伙伴。

比如甲骨文。去年春夏 xAI 和甲骨文還處于甜蜜期，但當甲骨文表示由于馬斯克的選址電力供應(yīng)不足（原本選在孟菲斯的 Electrolux），難以按期望的計劃完成安裝任務(wù)時，雙方的蜜月就結(jié)束了。

最終，馬斯克選擇帶著xAI獨立完成建造數(shù)據(jù)中心這項任務(wù)。

Colossus中的高科技

在2024年10月底，國際權(quán)威評測媒體 ServeTheHome（簡稱STH）實地探訪，揭開了 Colossus 的神秘面紗。

*ServeTheHome專注對服務(wù)器、存儲、網(wǎng)絡(luò)和高端工作站硬件進行評測，同時也涉及優(yōu)秀開源項目的評測，旨在為IT專業(yè)人士提供最新的服務(wù)器、存儲和網(wǎng)絡(luò)趨勢的指南，幫助他們更好地了解和應(yīng)用這些技術(shù)。

透過他們的鏡頭，能看到這個超級計算中心應(yīng)用的前沿技術(shù)。

Colossus 的基本構(gòu)建模塊是來自超微（Supermicro）的液冷機架。

每個機架配備八臺 4U 服務(wù)器（共計64 塊 NVIDIA H100 GPU）、一個超微冷卻劑分配單元（CDU）及相關(guān)硬件。

（超微 4U 通用 GPU 液冷服務(wù)器）

這些機架不僅冷卻性能優(yōu)異，而且維護簡便。

• 冷卻性能：每個機架都設(shè)有一個使用專門冷卻液的流體循環(huán)系統(tǒng)，為所有 GPU 服務(wù)器提供冷卻服務(wù)。同時配有后門熱交換器，可以抽取多余的熱量。

• 維護：每個冷卻模塊都配備了冗余的泵和電源，如果任何一個部件發(fā)生故障，都可以在不關(guān)閉整個機架的情況下進行現(xiàn)場更換。
• 
  機架背面，配有用于 GPU 和 CPU 復合體的 400GbE 連接光纖，以及用于管理網(wǎng)絡(luò)的銅纜。它們都安裝在自己的托盤上，可以輕松更換而不需要移除機架。此外，每個服務(wù)器配備了四個電源，這些電源支持熱插拔，并通過三相 PDU 進行供電。

（移除一個超微 CDU 泵）

另外，現(xiàn)場仍能看到大量傳統(tǒng) CPU 計算節(jié)點。處理和數(shù)據(jù)操作任務(wù)仍是CPU 的強項，xAI 希望讓 GPU 盡可能多的運行 AI 訓練或推理工作負載，而不是其他任務(wù)。

Colossus 的電力及配套設(shè)備也值得一提。它采用了規(guī)模龐大的液冷式 AI 服務(wù)器機架，因此也需要配備強力的電源和用水設(shè)施。

在機房內(nèi)，部署著由一組冷水和熱水管組成的巨大循環(huán)水管。冷卻水會被這些設(shè)備帶入集群中循環(huán)——熱量從 GPU 以及后門熱交換器傳遞到冷卻水中，然后熱水被帶到水管設(shè)備外的冷卻器中，冷卻后再次通過設(shè)備循環(huán)。

（Colossus中的水管）

特斯拉推出的 Megapack 的集裝箱也在 Colossus 出現(xiàn)了。

要知道，AI 服務(wù)器并不總是全天候以 100% 的額定功率運行，它們的能耗呈現(xiàn)出明顯的高峰和低谷，xAI 發(fā)現(xiàn)，Colossus 毫秒級的功率峰值和下降幅度相當大。

而 Megapack 相當于“巨型充電寶+智慧能源管家”，能讓儲能設(shè)備的峰值平穩(wěn)，有助于確保整個數(shù)據(jù)供電的穩(wěn)定，也能讓xAI利用不同時段電力價格差，更好地控制成本。

砸錢之路漫漫

即便已經(jīng)擁有全世界資源最多的AI數(shù)據(jù)中心，xAI持續(xù)投入資源的消息依舊層出不窮。

田納西州孟菲斯市商會透露，馬斯克未來計劃將把Colossus擴容5倍，最終整合超過100萬個 GPU。

恰好就在Grok3發(fā)布四天前，The Information報道，xAI 正在考慮建立第二個數(shù)據(jù)中心。彭博社同樣報道稱，xAI 即將與服務(wù)器制造商戴爾達成協(xié)議，購買價值 50 億美元搭載英偉達最新芯片 Blackwell GB200 的服務(wù)器。

馬斯克的融資之路也在同步推進。彭博社曝出 xAI 正在接洽紅杉資本、Andreessen Horowitz 和 Valor Equity Partners 等投資方，希望在一輪融資中籌集 100 億美元，這將使它的估值達到 750 億美元。

即便 DeepSeek 讓不少信奉"大力出奇跡"的美國同行遭受了難熬的一個月，但這條砸錢之路，馬斯克看起來是走定了。

https://www.theinformation.com/briefings/musk-looks-for-another-data-center-for-xai-nears-5-billion-chip-deal-with-dell?rc=d4lanv

https://finance.yahoo.com/news/dell-nears-5-billion-ai-181759925.html

https://www.servethehome.com/inside-100000-nvidia-gpu-xai-colossus-cluster-supermicro-helped-build-for-elon-musk/

https://techcrunch.com/2025/02/15/xais-colossus-supercomputer-raises-health-questions-in-memphis/

https://www.datacenterdynamics.com/en/news/xai-elon-musk-memphis-colossus-gpu/

https://view.inews.qq.com/k/20241116A07PUZ00