Semianalysis：智能體火爆，CPU成為新的“AI瓶頸”

隨著AI智能體和強化學習（RL）的爆發式增長，原本在AI浪潮初期被邊緣化的通用處理器（CPU），正遭遇前所未有的算力擠兌，成為繼GPU之后新的基礎設施瓶頸。

近期，隨著各大科技巨頭財報陸續落地，市場對AI基礎設施的關注點正在發生微妙轉移。投資者不僅緊盯GPU的訂單與交付，更開始尋找AI應用落地帶來的新增長極。

4月8日，知名半導體分析機構SemiAnalysis首席分析師Dylan Patel在一次深度訪談中指出，由于AI工作負載的范式正在從簡單的文本生成向復雜的“智能體（Agents）”和“強化學習（RL）”演進，CPU正面臨極其嚴重的產能短缺。

在AI發展的頭幾年，核心算力需求幾乎全被GPU占據。正如Dylan Patel所言：“在AI的頭幾年，CPU確實嚴重滯后……負載很輕。你發一個字符串，它回一個字符串，簡單的推理，對CPU需求不大。”

然而，這一局面在過去幾個月里發生了顛覆性的變化，核心驅動力正是以OpenAI o1為代表的具備邏輯推理和智能體屬性的新一代模型。

智能體與強化學習推升CPU需求

模型不再僅僅是“生成文本”，而是開始自主執行任務、調用數據庫并自我驗證，這讓CPU的工作量呈指數級上升。

Dylan Patel給出了一個極具沖擊力的數據：

“就在最近六個月吧，代碼智能體的收入在很短的時間內從幾十億美金漲到了超過100億美金。這些智能體的任務時長也大幅增加：比如Claude Code可以連續工作六七個甚至七八個小時……它可以自己去ping、去抓取、以智能體方式自主工作。這也需要大量的CPU。”

與此同時，強化學習的訓練循環變得越來越緊密。未來的AI不僅要做數學題，還要在物理模擬器中導航，這要求生成器（模型）生成的每一步都需要在CPU集群上進行高頻驗證。

“這個循環在過去幾年變得越來越緊……在過去六個月里，我們看到整個云市場的CPU都跑光了。”

市場需求的驟增直接導致了云端算力的枯竭。為了滿足頭部AI實驗室的需求，大型云廠商甚至犧牲了其他業務的穩定性。Dylan Patel直言：

“我不知道你們最近有沒有經常和GitHub打交道，它真的很不穩定……那是因為微軟把他們所有閑置的CPU都賣給了別人。”

這種短缺正在逼迫企業進行極端的工程遷移。據透露，OpenAI此前幾乎只在x86 CPU上運行，但為了獲得算力，他們直接向亞馬遜要存量處理器。

“亞馬遜有大量的ARM CPU，于是他們把整個棧都移植了過去——只要能拿到CPU，到哪里我都愿意移植我的代碼庫。”

關于CPU的市場價格，Dylan Patel說道：

“CPU的利潤率沒那么高，但正在攀升，因為Intel和AMD在漲價而且供應緊張。”

從數據來看，擴容正在全行業上演。“亞馬遜安裝的CPU服務器數量，今年比去年同比增長了3倍。到處都沒有容量了。”

此外，為了不讓昂貴的GPU閑置等待，客戶必須保持CPU“熱池”持續運行，這種商業邏輯進一步放大了對CPU的需求。

硬件淘金熱蔓延：存儲暴漲，3nm產能全線告急

算力的短缺已經沿著產業鏈迅速向上傳導，不僅英特爾和AMD發出了漲價通知，甚至連面向C端的PC市場也受到波及（如蘋果Mac mini脫銷）。

Dylan Patel用一句極其生動的話形容當下的硬件市場：

“通常，出現淘金熱的時候，連拿著壞鎬頭的人也能賣掉他的鎬頭。”

他補充了市場高度關注的存儲和芯片制造環節的漲價數據：

“內存價格在過去一年漲了4倍，而且還會繼續漲。現在SSD價格也漲了3-4倍，而且至少還會再漲60%。”

更令市場擔憂的是晶圓代工產能的擠壓。AI芯片正在吸干臺積電的最先進制程產能：

“AI正在買走所有3納米和2納米的產能……現在所有AI芯片都在往3納米遷移：AMD的MI350系列、亞馬遜和谷歌的Trainium 3和TPU v7、英偉達的Rubin——所有這些都在3納米上。”

這甚至迫使蘋果、高通等移動端巨頭向下遷移，或者讓英偉達將部分訂單轉移至三星。

以下是訪談的文字記錄：

主持人：
大家好。很高興請到Dylan。我第一次看他視頻是一次采訪，他談到：雖然我們有CPU，但我們要討論Neo clouds以及它們為什么有存在的權利。那對我來說非常有意思，因為今天的主題正是：當智能體（agents）已經到來時，新的基礎設施基元是什么？你當時把Neo clouds與超大規模云服務商的不同之處，以及它們為什么應該存在，闡述得非常清楚。能跟我們分享一下嗎？
Dylan Patel：
當然。在AI時代，超大規模云服務商的動作有點慢，對吧？谷歌、亞馬遜、微軟，進入AI領域都有點慢。于是一批全新的公司冒了出來，而且出現了一個新的低門檻——亞馬遜、微軟、谷歌構建的那些復雜軟件，很多其實并不需要。事實上，那些復雜軟件反而拖慢了AI的發展：它們有自定義網絡，但那些網絡對AI并不太友好，更關注可靠性和存儲流量，而不是像在網絡上做all-reduce之類的事情。
所以這些大型云廠商、超大規模云服務商有很多東西，Neo clouds可以直接跳過，然后構建專注、優化的解決方案，并提供更低的成本，因為它們的開銷要低得多——這些Neo clouds里沒有兩萬個谷歌的項目經理坐在會議室里（盡管有些Neo clouds已經開始招聘谷歌的項目經理，從而放慢了速度）。它們在能源上行動迅速，在搭建GPU集群上行動迅速，所以它們能夠開辟出一塊市場。那是早期的那些。自那以后，出現了很多模仿者或追隨者——很多沒有成功，很多正在成功。這實際上就是一場比誰最有能力的戰斗。
主持人：
那么，是不是所有——我想大概有200家左右這樣的Neo clouds，對嗎？——你看到它們之間有差異化嗎？是不是有些只是在復制最早那批的軟件棧？有些在做別的事情？你有沒有看到這些Neo clouds中哪些做法成功、哪些不太成功？
Dylan Patel：
是的，有很多因素能區分它們。我們有一個叫"Cluster Max"的東西，給所有Neo clouds排名。我們會測試各種東西：可觀測性、可靠性、網絡、安全、管理、編排等等，這些都不一樣。比如，有人會測試他們的GPU在用戶空閑時是否工作正常——那是主動健康檢查還是被動健康檢查？風扇轉速是否合適？功耗是否正確？節點是否有問題？網絡是否有問題？性能是否達標？有各種各樣的檢查和測試，因為GPU是不可靠的。還有GPU之上的軟件類型：很多人一開始只做裸金屬，比如微軟與CoreWeave的最初合同全是裸金屬——你只需SSH進去，微軟自己搭建環境。
但隨著發展，人們想要更多：有人想要安裝Slurm，那很簡單；有人想要安裝Kubernetes，稍微難一點，但仍然很簡單；有人想要在Kubernetes上安裝Slurm，因為這樣更容易推送作業等等。現在開始有人做托管Ray服務之類的東西，用于強化學習（RL）。所以有一類Neo clouds在構建這些東西，而另一類Neo clouds則說"我不在乎，我只建GPU，然后以裸金屬方式出租"。成本上也有差異：擁有好軟件的Neo clouds往往收費更高，某種程度上又回到了傳統模式——谷歌、微軟、亞馬遜有好軟件，收費也高得多。而且你會看到很多這類云公司開始嘗試推出推理服務和其他東西。
主持人：
類似地，順著這個思路，我就想說到CPU了。歷史上，我們有客戶要求像OpenClaw那樣的東西——有些人說"我需要我的沙箱或CPU盒子長時間運行，你能給我一個5美元像Hetzner那樣的產品嗎？"我說不行，因為那是裸金屬機器，成本很低。但當你提供更大的軟件產品時，成本就會更高，所以很難與之競爭。所以我猜在Neo clouds里也一樣，正如你提到的，裸金屬的銷售成本比那些往軟件方向走的要低。
我只是好奇它們為什么有存在的權利——這有點像我們做的事情的類比。但真正的問題是，你提到了這一點，我們正在思考的方向是：CPU成了新的瓶頸。以前每個投資人、每個我聊過的人都只談GPU。現在你出了一份大報告講CPU，我心里想"好的，沒錯，謝謝你"。所以你報告里說今年會是瓶頸。那么請從TDR層面高屋建瓴地告訴我們：為什么CPU現在是瓶頸？你看到了什么？
Dylan Patel：
是的，在AI的頭幾年，CPU確實嚴重滯后。它被用于一些存儲、一些檢查點、一些數據預處理和預訓練，但負載很輕。推理方面，模型還不夠好，無法成為智能體——你不能讓它一步步地行動。所以當時沒有能力讓模型去執行動作并把它們串起來，基本上是你發一個字符串，它回一個字符串，簡單的推理，對CPU需求不大。
但過去幾年——其實不光是過去幾年，比如Q*開始，OpenAI有那些風波，然后最終o1預覽版發布——說實話那是15、16個月前的事了（感覺上久遠得多）。o1是第一個這類模型。然后涌現了一大批模型。以前人們會做簡單的事，比如用正則表達式檢查模型輸出，看看是否正確，或者做結構化輸出用于函數調用等等。但隨著時間的推移，對模型的檢查變得規模大得多，并且已經完全集成到訓練中——通過強化學習。
不再只是用正則表達式，而是用各種分類器；不再只是分類器，而是做代碼單元測試和編譯；再進一步，你運行智能體流程，它實際上去調用數據庫之類的，或者與一個對CPU負載很重的環境（如物理模擬或生物模擬）交互。模型輸出內容，然后檢查它——這個環境（強化學習環境）——然后再回去基于它進行訓練。這個循環在過去幾年變得越來越緊。
而最近——就說最近六個月吧——代碼智能體的收入在很短的時間內從幾十億美金漲到了超過100億美金。這些智能體的任務時長也大幅增加：比如Claude Code（或類似模型）可以連續工作六七個甚至七八個小時。在這個過程中，它會調用數據庫，調用各種東西（至少我們用了很多Cron服務器），反正什么都做——它可以自己去ping、去抓取、以智能體方式自主工作。這也需要大量的CPU。所以過去六個月這方面也急劇膨脹。再加上強化學習訓練循環變得越來越緊。因此在過去六個月里，我們看到整個云市場的CPU都跑光了——我不知道你們最近有沒有經常和GitHub打交道，它真的很不穩定。
主持人：
我想你是今天第三個提到這事的人了。
Dylan Patel：
好的。我們一直在檢查GitHub的統計數據：宕機多頻繁？提交失敗多頻繁？情況很糟。那是因為微軟把他們所有閑置的CPU都賣給了別人——要么是內部實驗室自己用，但更多的是外部實驗室。他們和Anthropic、OpenAI簽了合同，所以自己幾乎沒有CPU剩下了。
我們在很多其他公司也看到了同樣的情況。以前，每個CPU服務器對應很多GPU服務器，比如100兆瓦的GPU可能只由1兆瓦甚至更少的CPU來服務。但現在這個比例正在變得非常接近，無論是對于RL訓練還是推理（智能體推理）。然后你就看到所有地方的CPU都跑光了。亞馬遜安裝的CPU服務器數量，今年比去年同比增長了3倍。到處都沒有容量了。這不僅導致GitHub很不穩定，可能其他地方也是。
主持人：
我的意思是，今天我們談論了很多基礎設施相關的事情。每天都能看到某個基礎設施提供商——不管是GitHub還是別的什么（不點名了）——出現宕機，這已經變得很常見了。這可能是CPU短缺的原因，也可能是工作負載規模等原因。
Dylan Patel：
也可能是所有人的基礎設施代碼都是"vibe coded"（憑感覺亂寫）的。
主持人：
對，也可能是所有人的基礎設施代碼都是vibe coded。我不認為全是，但可能有一部分是。我看到很有意思的是，運行在我們這里的CPU工作負載數量——Daytona基本上有三個用例：代碼和命令執行（比如類似cloud code的東西需要跑在CPU上）；還有計算機使用用例，這個我們實際上看到增長非常快。我們今天剛宣布了Windows沙箱，它也跑在CPU上。
如果你需要一個智能體去處理遺留軟件（比如金融、客服等領域，全都在那里）。另外正如你所說，強化學習方面，我們有很多通常用Kubernetes的人，現在開始用我們。但有趣的是，這些負載的規模和體量極其巨大，而且還在極其快速地增長。而我們是世界上最小的云。所以我好奇的是：如果我們這么小的公司都有這么大的量，那么在大規模下會是什么樣子？
而且我們遇到過——我想知道你有沒有這方面的洞察——光是RL，更不用說長時間運行的智能體了（僅就后者而言，我們看到客戶進來，其中一個客戶在昨天6小時內跑了100萬個BCP工作負載。就一個客戶）。那么有多少客戶在做RL？他們都會需要這個。我不知道你有沒有什么見解，但我很好奇。
Dylan Patel：
我的意思是，有些指標相當驚人——100萬vCPU聽起來很瘋狂。但有些人簽的合同和工作負載的規模甚至比這還要離譜。
主持人：
我相信那是因為我們確實很小。
Dylan Patel：
對，是這原因。所以我想，當你再看像Anthropic、OpenAI這樣的公司時，他們已經完全吃掉了多個云的全部容量。最近亞馬遜和OpenAI交易的一大推動力——是的，OpenAI想要錢，他們需要算力，但他們也直接去找亞馬遜說"把你的CPU給我們"。
之前OpenAI的棧幾乎只在x86 CPU上運行，但亞馬遜有大量的ARM CPU，于是他們把整個棧都移植了過去——只要能拿到CPU，到哪里我都愿意移植我的代碼庫。這就能看出人們愿意投入的工程水平了，因為通常開發者都懶得動，直接去別的地方找容量，但現在別的地方也沒有容量了。
主持人：
是的，有意思。我們全是x86，只有這些。我們目前還沒有ARM。但除了這兩家，還有Nvidia有自己的CPU，還有其他人也在造自己的CPU。這些CPU之間也有差異。它們都只是通用CPU嗎？你可能比我懂得多，我超級好奇。
Dylan Patel：
關于CPU的類型。
主持人：
現在種類太多了。以前基本上只有x86和ARM。現在有了不同類型的CPU。是因為大家都跑光了，還是它們在某些方面確實更好？有什么特別的嗎？
Dylan Patel：
通常，出現淘金熱的時候，連拿著壞鎬頭的人也能賣掉他的鎬頭。CPU市場現在非常動態。目前主要是Intel和AMD——我猜你們主要用Intel和AMD的CPU。這兩家都說自己完全賣光了，已經向客戶發了漲價通知。它們甚至不再互相競爭了，只是想著"我能造多少賣多少"。同樣，亞馬遜有Graviton CPU，已經發展到第五、第六代了。Nvidia有Grace和Vera CPU。
但之前沒人真正部署過Grace獨立CPU機箱——Nvidia為了PR做了一些小規模部署，但實際上獨立CPU部署非常少。為什么呢？只是因為它們不夠好。但現在向前看，也許它們的CPU變好了，也許捆綁銷售得更好，但更重要的是因為它們有容量（因為其他人都沒容量了），所以它們能在自己的各種CPU上拿到更多合同，大概今年晚些時候或明年初開始部署。
所以這是一個非常動態的市場。然后微軟和谷歌也開始部署自己的CPU，而且開始上量。Arm幾周后要發布一款CPU，Meta會采用，Cloudflare等幾家公司也會采用。所以會有更多的ARM獨立方案，而不只是Arm授權IP給別家。市場上會出現更多的多樣化——這正是在淘金熱時會發生的。然后我們會看到，當供需缺口逐漸彌合時，到底誰的品質最好、誰能留下來。
主持人：
但看起來需求的規模還是會增長。至少我看到的：第一，RL——似乎RL大部分是在做后訓練，但現在已經有供應商和公司在推銷并創建實時RL的服務。因為你有了一些智能體，你有了一些在后臺是智能體的SaaS，然后它會在一天結束時做RL，基本上是為了從自己的行為中學習。
所以那在增長。另外，這些長時間運行的智能體——如果它們能工作更長時間、解決更多問題，你基本上可以讓它們做更多事情，它們會啟動越來越多的這類智能體，這意味著越來越多的CPU盒子。那么從你的視角看，你理解市場動態，最終可能會收斂，但我感覺在需求縮小之前，它還會變得更寬。
Dylan Patel：
是的，完全是這樣。因為最初所有的RL都是"來做數學證明"，數學證明對資源需求很低。而且模型（生成器）會生成大量輸出，然后把正確答案（或它認為的答案）發給服務器，服務器去驗證。但隨著時間的推移，不再是那樣了：模型會多次提交，或者在它的智能體過程中多次嘗試編譯，或者多次嘗試做單元測試。這增加了生成器（也就是模型）發送給驗證器的頻率，這個循環越來越緊。隨著我們進入更復雜的RL，模型實際上會不斷地驗證自己的輸出。
比如說，想象一下未來一兩年訓練的模型——比如一個機器人模型，在一個世界模型中驗證：視覺語言模型（VLM）在世界上導航，試圖拿起東西、放下東西。每一步都需要被驗證，而物理模型跑在某個CPU集群上。那需要的CPU量會多得瘋狂，遠比你做單元測試或跑數學證明要多。看o1，它基本只能做數學。再看像GPT-5.4或Opus 4.6這樣的模型，它們能做智能體軟件。但當我們進入下一階段——不管是什么——會有能夠理解"我需要系鞋帶，系的時候鞋帶強度是多少？抗拉強度是多少？"的模型。所有這些都需要計算，因為驗證器只是在生成下一步，但每一步都需要更頻繁地被檢查，而且檢查這一步的計算強度也會隨時間增加。
主持人：
但還有另一件事，你可能比我知道得更清楚：GPU的強度決定了它們能并行處理一定數量的CPU盒子。隨著下一代GPU的出現，我覺得它們會比現在能夠啟動、管理或處理更多的CPU，這會給CPU帶來另一個壓力。
Dylan Patel：
是的，肯定是這樣。GPU的功耗也在變得更高，所以一個GPU隨時間推移會對應越來越多的CPU用量。而且GPU每一代都變得更貴，而vCPU價格持平或略有下降。所以規模確實不同了：一個Blackwell對比一個Rubin，性能提升了X倍，價格也提升了X倍。
而CPU呢，你買上一代還是新一代——這一代有192個vCPU，上一代大概是96個，所以你有更多的CPU，但價格上漲的幅度和你獲得的額外vCPU數量是成比例的。所以vCPU的比例會增長，但成本方向可能也是有利于CPU的，但不確定幅度多大。
主持人：
是的，另一個壓力——我們在較大客戶身上看到過：他們GPU有時間配額，他們不希望GPU閑置。所以他們寧愿付錢給一個熱池來運行CPU，這樣當GPU有任務來時，CPU是熱的（實際上在工作）。所以他們會——因為我們做的——大多數CPU某種程度上是便宜的資源（雖然我們不覺得自己便宜），但對于這個場景來說是便宜的資源。這實際上會消耗更多的GPU，因為閑置GPU的成本太高了。
Dylan Patel：
對，這真是一個很有意思的點。商業模式上，沒人——當然有按需GPU，但比如Lambda有5萬多塊GPU，其中只有4000塊是按需的，而且總是賣光。所以實際上沒有人真正有按需GPU。每個人都至少簽長期合同（多月的），大多數情況下是多年的。而CPU的使用方式是可以隨時啟停——這就是為什么大家當初都上云。但在這些工作負載下，GPU生成器（跑在GPU上的模型）生成一堆東西，發給驗證器。如果驗證器沒有準備好等著，GPU就在空轉。你已經為GPU付了錢，如果你不能在CPU那邊瞬時拿到資源，實際上你應該預啟動。你不是在加載模擬器或環境，你是在浪費錢。所以確實如此。
主持人：
不僅如此，一旦這些跑起來，你又會啟動另一個熱池，這樣每一次新的迭代都在持續增長。那么總體來說這意味著什么？我們跳過了RAM，沒談內存。以前GPU是瓶頸，我們測量過，現在是CPU。那么對大多數人來說更切身的是：現在PC很難買，因為超級貴。CPU也會這樣嗎？你剛才提到它們相對便宜且價格持平。市場壓力會推動它們漲價嗎？
Dylan Patel：
是的，PC、筆記本電腦、組裝PC都很難買到。比如Apple的Mac mini基本賣光了。我們買了一大批Mac mini，因為以前用Excel和Windows的人現在想用Claude Code，而OSX顯然開發環境更好。所以人們買了很多Mac mini在部署使用。我覺得整個領域都類似，而數據中心對資源的購買更加缺乏彈性，這也導致價格上漲。GPU一直很貴，英偉達的利潤率一直在70%以上。
CPU的利潤率沒那么高，但正在攀升，因為Intel和AMD在漲價而且供應緊張。內存價格在過去一年漲了4倍，而且還會繼續漲。現在SSD也漲了，所有資源都在漲：SSD價格也漲了3-4倍，而且至少還會再漲60%——沒有DRAM那么多，但也很多。所以綜合來看，Intel和AMD的CPU產能某種程度上可以在PC和數據中心之間轉換，內存和存儲則非常可互換。結果就變成了：去他的普通用戶——你得現在買Mac mini，否則你就永遠脫離不了永久底層階級了，差不多是這種思路。
主持人：
最后一個問題，我們時間快到了。不是財務建議，Intel之前處境非常糟糕，最近開始有起色。但CPU需求會把他們拉出困境嗎？
Dylan Patel：
他們會好一些，但這并不是說公司得救了——公司估值基于未來現金流。而且有一種可能性是他們會得到Apple或其他客戶。更有意思的是，不是因為CPU需求高到Intel能從中獲得一些短期利潤——其他人（AMD、亞馬遜等）會趕上來的，他們會補上自己的產能。更重要的是，AI正在買走所有3納米和2納米的產能，幾年內人們將不得不轉向其他方向。比如英偉達收購Grok，人們編了各種無厘頭理由，一部分是因為他們想要極快的推理，但另一部分是因為Grok是用三星制造的——因為臺積電那邊沒有3納米產能給他們了，他們需要別處流片。
如果AI真的像我們相信的那樣瘋狂，需求像我們相信的那樣瘋狂，明年會更瘋狂。那么只要造出任何像樣的芯片就能賣掉——差不多是這種哲學。顯然他們在架構等方面做了更多事情，但同樣的情況也適用于Apple：臺積電告訴Apple，"嘿，從3納米下來吧，快點遷移到2納米，我能做。"因為所有AI芯片都在3納米上，這需要時間。小型移動芯片比大AI芯片容易制造。現在所有AI芯片都在往3納米遷移：AMD的MI350系列、亞馬遜和谷歌的Trainium 3和TPU v7、英偉達下周要發Rubin——所有這些都在3納米上。臺積電讓Apple下來，讓高通和聯發科下來。這三家公司可能會想"也許我們該用Intel，因為Intel沒有讓我們下來"——但Intel做不了啊。所以大家都很難。
主持人：
我還有很多問題想問，但我們只剩下20秒了。我下一個問題肯定會超時。那就先到這里，非常感謝你來和我們交流。謝謝！