震驚！谷歌AI芯片性能暴增4倍，英偉達遭遇強敵！

谷歌云正在努力推出其所謂的迄今為止最強大的人工智能基礎設施。11月7日谷歌云推出了第七代張量處理單元（TPU） Ironwood和擴展的基于Arm的計算選項，旨在滿足對人工智能模型部署的激增需求——該公司將其描述為從訓練模型到為數十億用戶服務的推理服務根本性行業轉變。

谷歌最新的定制人工智能加速器芯片——TPU 芯片 Ironwood將在未來幾周內全面上市。Claude 系列模型背后的人工智能安全公司 Anthropic 披露了獲得多達 100 萬個此類 TPU 芯片的計劃，這是對該技術的驚人驗證，該承諾價值數百億美元，是迄今為止已知最大的人工智能基礎設施交易之一。

此舉凸顯了云提供商之間為控制人工智能驅動的基礎設施層而進行的競爭日益的激烈，盡管人們對該行業能否維持當前資本支出速度的質疑越來越大。谷歌的方法——構建定制芯片，而不是僅僅依賴英偉達占主導地位的 GPU 芯片——相當于長期押注，即從芯片設計到軟件的垂直整合將提供卓越的經濟性和性能。

谷歌云新TPU定位于AI推理服務，而不僅僅是訓練

谷歌新TPU定位于“推理時代”，公司將資源從訓練前沿人工智能模型轉移到將它們部署到每天為數百萬或數十億個請求提供服務的生產應用程序中。

當今的前沿模型，包括谷歌的 Gemini、Veo 和 Imagen 以及 Anthropic 的 Claude，都在TPU張量處理單元上訓練和服務。對于許多組織來說，重點正在從訓練這些模型轉向支持與它們進行有用的、響應迅速的交互。

這種轉變對基礎設施的要求具有深遠的影響。訓練工作負載通常可以容忍批處理和較長的完成時間，而推理（實際運行經過訓練的模型以生成響應的過程）需要始終如一的低延遲、高吞吐量和堅定不移的可靠性。需要 30 秒才能響應的聊天機器人或經常超時的編碼助手，無論底層模型的功能如何，都變得無法使用。

代理工作流程（人工智能系統采取自主行動而不是簡單地響應提示）帶來了特別復雜的基礎設施挑戰，需要專門的人工智能加速器和通用計算之間的緊密協調。

Ironwood 的架構內部：9,216 個芯片作為一臺超級計算機工作

Ironwood 不僅僅是對谷歌第六代 TPU 的漸進式改進。根據該公司共享的技術規范，與前代產品相比，它在訓練和推理工作負載方面提供了4倍多的性能——谷歌將這一優勢歸因于系統級協同設計方法，而不是簡單地增加晶體管數量。

該架構最顯著的特點是其規模。單個 Ironwood“吊艙”——一個緊密集成的 TPU 芯片單元，充當一臺超級計算機——可以通過谷歌專有的芯片間互連網絡連接多達 9,216 個單獨的芯片，運行速度為每秒 9.6 太比特。從這個帶寬的角度來看，它大致相當于在不到兩秒鐘的時間內下載整個美國國會圖書館。

這種巨大的互連結構允許 9,216 個芯片共享對 1.77 PB 高帶寬內存的訪問——內存足夠快，可以跟上芯片的處理速度。這大約相當于 40,000 部高清藍光電影的工作內存，可由數千個處理器同時訪問。“就上下文而言，這意味著 Ironwood Pods 可以提供比下一個最接近的競爭對手多 118 倍的 FP8 ExaFLOPS，”谷歌在技術文檔中表示。

該系統采用光電路交換技術，充當“動態、可重構結構”。當單個組件出現故障或需要維護時（在這種規模下是不可避免的），OCS 技術會在幾毫秒內自動圍繞中斷重新路由數據流量，從而使工作負載能夠繼續運行，而不會造成用戶可見的中斷。

這種可靠性重點反映了部署前五代 TPU 的經驗教訓。谷歌報告稱，自 2020 年以來，其液冷系統全機隊正常運行時間保持了約 99.999% 的可用性，相當于每年的停機時間不到六分鐘。

Anthropic 的 10 億美元賭注驗證了谷歌的定制芯片戰略

也許對 Ironwood 能力最重要的外部驗證來自于 Anthropic 對獲取多達 100 萬個 TPU 芯片的承諾——在一個即使是 10,000 到 50,000 個加速器集群也被認為是巨大的行業中，這是一個驚人的數字。

Anthropic表示：“Anthropic 和谷歌有著長期的合作伙伴關系，這一最新的擴張將幫助我們繼續發展定義人工智能前沿所需的計算能力。我們的客戶——從財富 500 強公司到人工智能原生初創公司——依靠 Claude 來完成他們最重要的工作，這種擴展的產能確保我們能夠滿足呈指數級增長的需求。”

根據另一份聲明，Anthropic 將獲得“到 2026 年上線的容量遠遠超過千兆瓦”——足以為一個小城市供電。該公司特別將 TPU 的“性價比和效率”列為做出決定的關鍵因素，以及“使用 TPU 訓練和服務其模型的現有經驗”。

行業分析師估計，承諾訪問 100 萬個 TPU 芯片以及相關的基礎設施、網絡、電源和冷卻，可能代表一份價值數百億美元的多年合同——這是歷史上已知最大的云基礎設施承諾之一。

Anthropic認為：“Ironwood 在推理性能和訓練可擴展性方面的改進將幫助我們高效擴展，同時保持客戶期望的速度和可靠性。”

隱藏的挑戰：為 1 兆瓦服務器機架供電和冷卻

這些發布的背后是谷歌在最近的開放計算項目歐洲、中東和非洲峰會上解決的巨大物理基礎設施挑戰。該公司透露，它正在實施 +/-400 伏直流電力傳輸，能夠支持每個機架高達 1 兆瓦的電力，比典型部署增加了十倍。

人工智能時代需要更強大的電力傳輸能力，到 2030 年，ML 將需要每個 IT 機架超過 500 kW。

谷歌正在與 Meta 和 Microsoft 合作，標準化高壓直流配電的電氣和機械接口。該公司選擇 400 VDC 專門用于利用電動汽車建立的供應鏈，“實現更大的規模經濟、更高效的制造以及更高的質量和規模”。

在冷卻方面，谷歌透露將把第五代冷卻分配單元設計貢獻給開放計算項目。該公司“在過去7年中在 2,000 多個 TPU Pod 上部署了千兆瓦規模的液體冷卻”，整個機隊的可用性約為 99.999%。

在給定的溫度變化下，水每單位體積輸送的熱量大約是空氣的 4,000 倍——這在單個 AI 加速器芯片的耗散功率越來越大 1,000 瓦或更多時至關重要。

TPU挑戰英偉達的 AI 加速器主導地位

谷歌發布公告之際，人工智能基礎設施市場正處于拐點。雖然 Nvidia 在 AI 加速器領域保持著壓倒性的主導地位——估計占據 80-95% 的市場份額——但云提供商越來越多地投資定制芯片，以區分其產品并提高單位經濟效益。

亞馬遜云科技通過基于 Graviton Arm 的 CPU 和 Inferentia / Trainium AI 芯片率先采用了這種方法。Microsoft 已經開發了 Cobalt 處理器，據報道正在開發 AI 加速器。谷歌現在提供主要云提供商中最全面的定制芯片產品組合。

該戰略面臨固有挑戰。定制芯片開發需要巨大的前期投資——通常數十億美元。專業加速器的軟件生態系統落后于 Nvidia 的 CUDA 平臺，后者受益于 15+ 年的開發人員工具。人工智能模型架構的快速發展帶來了風險，即隨著新技術的出現，針對當今模型優化的定制芯片變得不那么重要。

然而，谷歌認為其方法具有獨特的優勢。“這就是我們十年前構建第一個 TPU 的方式，這反過來又解鎖了八年前 Transformer 的發明——正是為大多數現代人工智能提供動力的架構，”該公司指出，他指的是谷歌研究人員在 2017 年發表的開創性論文“注意力就是你所需要的”。

論點是，緊密集成——“模型研究、軟件和硬件開發在一個屋檐下”——使得使用現成組件無法實現的優化成為可能。

除了 Anthropic 之外，其他幾位客戶也提供了早期反饋。開發創意人工智能工具的 Lightricks 報告稱，早期的 Ironwood 測試“讓我們非常熱衷于”為我們的數百萬全球客戶創建“更細致、更精確、更高保真度的圖像和視頻生成”，該公司研究總監 Yoav HaCohen 說。

谷歌的公告提出了將在未來幾個季度出現的問題。該行業能否維持當前的基礎設施支出，主要人工智能公司集體投入數千億美元？定制芯片在經濟上會優于 Nvidia GPU 嗎？模型架構將如何發展？

目前，谷歌似乎致力于幾十年來定義該公司的戰略：構建自定義基礎設施以實現在商用硬件上不可能實現的應用程序，然后將該基礎設施提供給希望在沒有資本投資的情況下具有類似功能的客戶。

隨著人工智能行業從研究實驗室過渡到為數十億用戶提供服務的生產部署，基礎設施層——使這一切運行的芯片、軟件、網絡、電源和冷卻——可能與模型本身一樣重要。

如果 Anthropic 愿意承諾獲得多達 100 萬個芯片有任何跡象的話，那么谷歌對專為推理時代設計的定制芯片的押注可能會在需求達到拐點時得到回報。