AI Agent 很火，但 Agent Infra 準(zhǔn)備好了嗎？

Infra 軟件的主要使用者，正從人類開(kāi)發(fā)者變成 AI Agent。

a16 今年的年終預(yù)測(cè)中，也明確指出：Agent-native 的基礎(chǔ)設(shè)施將成為未來(lái)的基本門檻。

如今的企業(yè)后端是為「一次人類動(dòng)作對(duì)應(yīng)一次系統(tǒng)響應(yīng)」的 1:1 比例而設(shè)計(jì)的。它的架構(gòu)無(wú)法讓單個(gè)智能體「目標(biāo)」在毫秒級(jí)時(shí)間內(nèi)遞歸展開(kāi)成 5,000 項(xiàng)子任務(wù)、數(shù)據(jù)庫(kù)查詢和內(nèi)部 API 調(diào)用。 2026 年我們將見(jiàn)證「原生智能體」基礎(chǔ)設(shè)施的崛起。下一代系統(tǒng)必須默認(rèn)應(yīng)對(duì)「驚群」模式；冷啟動(dòng)時(shí)間必須縮短，延遲波動(dòng)必須收斂，并發(fā)上限必須躍升數(shù)個(gè)量級(jí)。唯有能承受隨之而來(lái)的工具執(zhí)行洪流的平臺(tái)，才能最終勝出。

但很明顯，當(dāng)下 Agent Infra 的基礎(chǔ)設(shè)施并不完善，不管是代碼的兼容性還是服務(wù)器的啟動(dòng)優(yōu)化，甚至虛擬機(jī)的配置等，都還是為人類開(kāi)發(fā)者的服務(wù)模式。AI Agent 對(duì) Infra 的要求，與人類完全不一樣。

這其中存在很多新的機(jī)會(huì)和可能性。

Agent Infra 的現(xiàn)狀如何，還有哪些問(wèn)題沒(méi)有解決，未來(lái)更多的可能性會(huì)在哪些場(chǎng)景？就這些問(wèn)題，我們與騰訊云 Agent Infra 團(tuán)隊(duì) 和 Dfiy 的技術(shù)人員聊了聊，希望能搞清楚一些事情。

??關(guān)注 Founder Park，最及時(shí)最干貨的創(chuàng)業(yè)分享

超 17000 人的「AI 產(chǎn)品市集」社群！不錯(cuò)過(guò)每一款有價(jià)值的 AI 應(yīng)用。

邀請(qǐng)從業(yè)者、開(kāi)發(fā)人員和創(chuàng)業(yè)者，飛書(shū)掃碼加群：

進(jìn)群后，你有機(jī)會(huì)得到：

• 最新、最值得關(guān)注的 AI 新品資訊；
  

• 不定期贈(zèng)送熱門新品的邀請(qǐng)碼、會(huì)員碼；
  

• 最精準(zhǔn)的AI產(chǎn)品曝光渠道

之所以 Infra 層會(huì)有很大的變化，核心在于，AI Agent 今天的開(kāi)發(fā)和落地范式，與以往的 App 完全不同了。

核心的區(qū)別就是不確定性的存在。

過(guò)去人類寫代碼，是靠大量 if、else 的邏輯判斷來(lái)實(shí)現(xiàn)功能，現(xiàn)在轉(zhuǎn)向了 Agent 的概率性目標(biāo)規(guī)劃。以前寫下一行代碼，機(jī)器嚴(yán)格執(zhí)行；現(xiàn)在則更像一個(gè)老師的角色——通過(guò)提示詞、RAG 這些技術(shù)，給模型提供背景信息，再設(shè)定一些原則去調(diào)教它，讓它自主處理任務(wù)。這是一種更高級(jí)、也更先進(jìn)的控制方式。

傳統(tǒng)軟件工程里，bug 是對(duì)既定規(guī)則的違反，修 bug 就像修水管，哪里壞了補(bǔ)哪里就行；但在 Agent 工程里，失敗往往是模型對(duì)開(kāi)發(fā)者意圖的誤解，或者說(shuō)是概率上的「漂移」。你沒(méi)辦法像修水管一樣去修復(fù)一個(gè) Agent，只能像教育孩子一樣，去引導(dǎo)它、說(shuō)服它、約束它。

一個(gè) AI Agent 的效果，是由模型、范式、提示詞、上下文、工具體系，還有工具調(diào)用的參數(shù)選擇等七八個(gè)因素共同決定的。這次效果不好，到底是模型的問(wèn)題？提示詞的問(wèn)題？還是工具的問(wèn)題？根本說(shuō)不清楚。這些因素環(huán)環(huán)相扣，相互影響的關(guān)系很難明確界定，這完全符合「復(fù)雜系統(tǒng)」的定義。

更關(guān)鍵的是，它還是一個(gè)不確定性的復(fù)雜系統(tǒng)。同一個(gè)問(wèn)題，這一刻問(wèn)和下一刻問(wèn)，哪怕輸入完全一樣，輸出也可能不同。而我們過(guò)去熟悉的微服務(wù)系統(tǒng)，哪怕再?gòu)?fù)雜，調(diào)用關(guān)系都是清晰的，哪里報(bào)錯(cuò)、誰(shuí)的責(zé)任，一目了然。從這個(gè)角度來(lái)說(shuō)，微服務(wù)系統(tǒng)其實(shí)是「簡(jiǎn)單系統(tǒng)」，而且是確定性系統(tǒng)——只要數(shù)據(jù)庫(kù)和數(shù)據(jù)關(guān)系不變，同樣的輸入必然會(huì)得到同樣的輸出。

不只是工作流變了，交付物也完全不同了。以前交付的是確定的功能，能明確界定「行」或「不行」；現(xiàn)在交付的是一種概率性的能力，你很難去定義什么是絕對(duì)的「正確」。

這種差異，對(duì)工程師來(lái)說(shuō)是巨大的挑戰(zhàn)。絕大多數(shù)工程師從入職第一天起，工作就是在確定性系統(tǒng)里進(jìn)一步提升確定性，判斷標(biāo)準(zhǔn)只有「對(duì)」和「錯(cuò)」。但現(xiàn)在我們面對(duì)的是不確定性的復(fù)雜系統(tǒng)，工作方式必須徹底轉(zhuǎn)變。

這種轉(zhuǎn)變主要體現(xiàn)在兩點(diǎn)：

• 第一，從工程思維轉(zhuǎn)向科學(xué)實(shí)驗(yàn)思維。工程思維是預(yù)先設(shè)計(jì)好整個(gè)系統(tǒng)；而科學(xué)實(shí)驗(yàn)思維的核心，是建立一套評(píng)測(cè)體系，把復(fù)雜系統(tǒng)拆解成一個(gè)個(gè)子系統(tǒng)，屏蔽其他子系統(tǒng)的干擾，去單獨(dú)評(píng)測(cè)每個(gè)子系統(tǒng)的影響。只有通過(guò)這種控制變量的方式，一步步摸索，才能駕馭 Agent 的復(fù)雜性。

• 第二，從 Day One 思維轉(zhuǎn)向 Day Two 思維。Day One 思維是代碼上線、提供服務(wù)后，再根據(jù)用戶需求去優(yōu)化；但在 Agent 領(lǐng)域，上線第一天只代表它能跑起來(lái)了，真正的效果優(yōu)化才剛剛開(kāi)始。

Agent 落地遠(yuǎn)不止靠幾個(gè)巧妙的范式，而是需要用工程方法，以確定性去駕馭不確定性，不斷優(yōu)化工程基礎(chǔ)，才能真正落地。也正因此，針對(duì) Agent 的 Infra 層建設(shè)，是一件非常復(fù)雜的事。

而且，Agent Infra 與過(guò)去兩年業(yè)界討論的 AI Infra 也完全不同。

AI Infra 更關(guān)注的是模型的算力、優(yōu)化和推理，如何以最快、最穩(wěn)定的算力服務(wù)讓模型輸出內(nèi)容。

而 Agent Infra 關(guān)注的是項(xiàng)目的最終結(jié)果輸出，上層的邏輯、記憶和工具調(diào)用。如何編排、如何管理記憶、如何調(diào)用各種工具接口，如何更穩(wěn)定在沙盒里運(yùn)行的問(wèn)題。

算力正變成水和電，Agent Infra 才能做出產(chǎn)品服務(wù)的差異化。

02但 Agent Infra 的定義還沒(méi)有完全明確

很明顯，Agent 已經(jīng)成為當(dāng)下 AI 應(yīng)用的主要落地方式，Agent Infra 的前景一片大好。但在騰訊云的專家看來(lái)，Agent Infra 的定義和邊界，目前其實(shí)還沒(méi)有完全定型。

先區(qū)分兩個(gè)概念：一個(gè)是「本質(zhì)復(fù)雜度」，一個(gè)是「偶然復(fù)雜度」。比如企業(yè)要完成一筆交易轉(zhuǎn)賬，這是必須解決的核心問(wèn)題，屬于本質(zhì)復(fù)雜度；而轉(zhuǎn)賬過(guò)程中可能會(huì)涉及到重試機(jī)制、權(quán)限校驗(yàn)、容錯(cuò)處理、數(shù)據(jù)上報(bào)等等，這些是因?yàn)楣ぞ吆头椒ㄟx擇帶來(lái)的附加問(wèn)題，就屬于偶然復(fù)雜度。

整體上來(lái)說(shuō)，Infra 層的核心作用，就是幫企業(yè)解決落地過(guò)程中的偶然復(fù)雜度。問(wèn)題在于，Agent 落地的場(chǎng)景千差萬(wàn)別——醫(yī)療場(chǎng)景要解決數(shù)據(jù)隱私問(wèn)題，代碼場(chǎng)景要解決生成質(zhì)量問(wèn)題，不同場(chǎng)景的偶然復(fù)雜度完全不同，所以 Agent Infra 該解決哪些問(wèn)題，沒(méi)辦法一概而論。

不同的團(tuán)隊(duì)，切入 Agent Infra 的角度不同。騰訊云的思路，是聚焦于所有場(chǎng)景下偶然復(fù)雜度的「最大公共子集」，也就是不管什么行業(yè)、什么場(chǎng)景，開(kāi)發(fā)者都必須面對(duì)的共性問(wèn)題：安全問(wèn)題、執(zhí)行環(huán)境問(wèn)題、工具體系問(wèn)題、記憶問(wèn)題、可觀測(cè)性問(wèn)題。

這些共性問(wèn)題里，工具和安全沙箱的需求尤為突出——畢竟 Agent 的自主運(yùn)行能力，帶來(lái)的安全風(fēng)險(xiǎn)和破壞性太大了。他們從「如何駕馭自主運(yùn)行」這個(gè)點(diǎn)切入，推出了 Agent 沙箱服務(wù)。相當(dāng)于給每個(gè) Agent 配了一臺(tái)專屬「?jìng)€(gè)人電腦」，但又能把它牢牢限制在預(yù)設(shè)的工作范圍內(nèi)。

Agent 沙箱的安全防護(hù)是全方位的：從虛擬化層面限制 Agent 的操作邊界，網(wǎng)絡(luò)層面審計(jì)對(duì)外訪問(wèn)權(quán)限——哪些接口能調(diào)、哪些不能調(diào)；還有憑證層面的管理，給沙箱分配唯一的權(quán)限憑證，就像工牌一樣，既能驗(yàn)證身份，又能管控訪問(wèn)范圍，確保 Agent 只能在指定「工位」上完成指定任務(wù)，不會(huì)去「別的樓層」，不能去做別的事情。

這也是當(dāng)下的 Agent 構(gòu)建過(guò)程中偶然復(fù)雜度里的最公共的問(wèn)題，如何讓用戶更放心地讓 Agent 去處理現(xiàn)實(shí)世界的一系列問(wèn)題。

目前幾個(gè)大的海外云廠商都有推出自己的 Agent Infra 產(chǎn)品，Google Cloud 推出了 Vertex AI Agent Builder，AWS 推出了 Amazon Bedrock AgentCore，Microsoft Azure 則在 8 月份推出 Agent Factory，騰訊云當(dāng)前主打的是剛推出不久的 Agent Runtime 解決方案。各家切入的角度有所不同，但其底層邏輯是相通的，從運(yùn)維出發(fā)，先資源后應(yīng)用和開(kāi)發(fā)，再到安全和智能化，由下至上，先在共性需求上形成堅(jiān)固基礎(chǔ)，然后再向差異性需求拓展。

但本質(zhì)上，云廠商們現(xiàn)在提供的產(chǎn)品基本是從上個(gè)時(shí)代演進(jìn)過(guò)來(lái)的，并不是用全新范式思考的。Agent 尚未像傳統(tǒng) app 那樣大規(guī)模出現(xiàn)，大家現(xiàn)在并不知道完備的 Agent Infra 范式是什么樣子。

換句話說(shuō)，不是看不到范式，而是它本身還不存在。

03今天的 Agent Infra，

主要在服務(wù)哪些場(chǎng)景？

LangChain 最近發(fā)布的 Agent 年度報(bào)告中顯示，客戶服務(wù)、研究與數(shù)據(jù)分析是目前 Agent 最火熱的兩大應(yīng)用方向，用戶日常工作中最常用到的 Agent 主要有 Coding、數(shù)據(jù)處理及深度研究。

這也基本決定了目前的 Agent Infra 主要服務(wù)的場(chǎng)景。

• Vibe Coding：除了專業(yè)的 Coding 軟件外，各類 chatbot 中的應(yīng)用生成功能也提供了 Coding 的功能，并且都轉(zhuǎn)向了云端模式。如 AI 編程、前端頁(yè)面生成、云端 IDE 等。AI 生成的代碼在 云端沙箱環(huán)境 中運(yùn)行，與本地徹底隔離，既能避免入侵風(fēng)險(xiǎn)，又具備更強(qiáng)的 資源彈性與可擴(kuò)展性。

• 深度研究、數(shù)據(jù)處理：辦公 Agent 可以通過(guò)代碼生成的方式完成數(shù)據(jù)清洗、數(shù)據(jù)分析、圖表制作、甚至 PPT 制作。所有代碼均在云端沙箱中運(yùn)行，與本地徹底隔離，既安全可信，又具備彈性算力。

• GUI Agent：依托云端各類 Use Agent 的能力，讓 Agent 能夠在不同環(huán)境中模擬人機(jī)操作，Browser Use Agent、Computer Use Agent、Mobile Use Agent 等，在云沙箱的助力下，覆蓋 Web、桌面和移動(dòng)端場(chǎng)景，成為真正的 虛擬員工。

• 強(qiáng)化學(xué)習(xí)場(chǎng)景：Agent 通過(guò)反復(fù)嘗試、反饋和優(yōu)化逐步掌握復(fù)雜界面操作。

開(kāi)發(fā)者對(duì)于 Agent Infra 層的需求，聚焦在兩點(diǎn)：極致的使用體驗(yàn)，完善的生態(tài)兼容性，盡量降低開(kāi)發(fā)成本。

具體來(lái)說(shuō)，API 的統(tǒng)一兼容就很關(guān)鍵。如果每家廠商的 API 都不一樣，用戶接入時(shí)會(huì)非常痛苦。就像云計(jì)算早期的 S3 對(duì)象存儲(chǔ) API，各家高度統(tǒng)一，用戶用起來(lái)就很方便。騰訊云的沙箱服務(wù)既有騰訊云標(biāo)準(zhǔn)的云 API 版本，也兼容了社區(qū)里像 E2B 這類主流方案，大大降低了用戶的接入門檻。

而且在這種情況下，閉源的系統(tǒng)級(jí)別方案有很大的優(yōu)勢(shì)。因?yàn)闃O致的體驗(yàn)，往往需要多個(gè)環(huán)節(jié)環(huán)環(huán)相扣、深度優(yōu)化才能實(shí)現(xiàn)。

舉個(gè)例子，騰訊云的沙箱服務(wù)能做到全球領(lǐng)先的啟動(dòng)速度——80 毫秒。這個(gè)技術(shù)，即使是代碼全部開(kāi)源，用戶也很難復(fù)刻。這需要從底層的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)層面做鏡像加速、預(yù)熱和分發(fā)；還要在操作系統(tǒng)層面優(yōu)化 cgroup、網(wǎng)絡(luò)設(shè)備命名空間的創(chuàng)建邏輯，破除并發(fā)競(jìng)爭(zhēng)的鎖機(jī)制；在虛擬化層面用快照技術(shù)，避免真實(shí)開(kāi)機(jī)的耗時(shí)；在 OCI 層優(yōu)化進(jìn)程管理，在調(diào)度層實(shí)現(xiàn)多集群、跨地域的智能調(diào)度。

這一系列環(huán)環(huán)相扣的不同層次的技術(shù)相互組合，以及大量的技術(shù)運(yùn)營(yíng)，大量的工程師的維護(hù)，才能給用戶提供這樣的一個(gè)極致的體驗(yàn)。

騰訊內(nèi)部的一些 Agent 產(chǎn)品，從傳統(tǒng)方案切換到 Agent Runtime 沙箱后，成本直接節(jié)省了 90% 以上。

內(nèi)部比較典型的場(chǎng)景有兩類：

Agent 產(chǎn)品內(nèi)的應(yīng)用生成或者數(shù)據(jù)處理功能：在產(chǎn)品內(nèi)生成一段代碼或者分析一份數(shù)據(jù)，點(diǎn)擊「運(yùn)行」按鈕后，后端都會(huì)立刻新建一個(gè)沙箱，把代碼或 Excel 表格放進(jìn)去執(zhí)行。

在騰訊云的實(shí)測(cè)中，全球絕大多數(shù)同類 Agent 產(chǎn)品，點(diǎn)擊運(yùn)行后都需要秒級(jí)等待；而 Agent Runtime 能做到端到端 200 毫秒，這個(gè)時(shí)間包含了沙箱啟動(dòng)、代碼運(yùn)行、數(shù)據(jù)通信的全流程。同時(shí)還能解決安全問(wèn)題——比如不會(huì)出現(xiàn)代碼請(qǐng)求讀取系統(tǒng)文件，Agent 就真的把機(jī)器上系統(tǒng)文件返回給用戶的風(fēng)險(xiǎn)。

第二類是背后的技術(shù)支撐場(chǎng)景，比如 Agent 強(qiáng)化學(xué)習(xí)，讓 chatbot 產(chǎn)品搜索某個(gè)信息，它需要從海量資料里篩選出最匹配的內(nèi)容。這個(gè)過(guò)程不只是從 RAG 數(shù)據(jù)庫(kù)里調(diào)取片段，還需要通過(guò)強(qiáng)化學(xué)習(xí)提升理解和篩選的精準(zhǔn)度。

在強(qiáng)化學(xué)習(xí)的訓(xùn)練階段，Agent 需要讓模型同時(shí)處理上萬(wàn)個(gè)任務(wù)，相當(dāng)于讓一萬(wàn)個(gè) Agent「刷題」，再通過(guò)獎(jiǎng)勵(lì)機(jī)制判斷對(duì)錯(cuò)，完成一輪訓(xùn)練。這個(gè)過(guò)程中，「刷題」生成結(jié)果的時(shí)間占了整個(gè)訓(xùn)練時(shí)長(zhǎng)的 60% 以上。這個(gè)時(shí)間越短，模型的迭代效率就會(huì)大幅提升。

為什么我們會(huì)感覺(jué)到很多 Agent 產(chǎn)品的能力在不斷變強(qiáng)，背后就是這類底層技術(shù)在支撐。

04給 Agent 做基建，

創(chuàng)業(yè)機(jī)會(huì)在哪里？

在 Agent Infra 范式還沒(méi)有明確標(biāo)準(zhǔn)的時(shí)候，給 Agent 做基建，并不只是大廠的賽道，誰(shuí)跑得快，誰(shuí)能更快更好支持 Agent 的需求特性，誰(shuí)就有可能更快拿下市場(chǎng)。

寫代碼、試想法、做原型，這些過(guò)去必須由專業(yè)工程師完成的事情，現(xiàn)在可以被 Agent 以極低的邊際成本實(shí)現(xiàn)。AI Agent 第一次把「計(jì)算」這件事，真正意義上地民主化了。很多以前算不過(guò)賬的事情，不太經(jīng)濟(jì)的商業(yè)模式，突然變得合理了。

比如明星 Agent 產(chǎn)品 Manus 背后就使用了開(kāi)源數(shù)據(jù)庫(kù) TiDB Cloud，因?yàn)榭梢愿脤?shí)現(xiàn)「看起來(lái)像獨(dú)占，實(shí)際上是虛擬化」的設(shè)計(jì)，在實(shí)現(xiàn)極致資源復(fù)用的同時(shí)，又能讓 Agent 在交互層面隨意折騰：可以建表、刪表、跑實(shí)驗(yàn)、寫垃圾 SQL，而不會(huì)影響別人，也不用擔(dān)心副作用。

在行業(yè)內(nèi)人士看來(lái)，哪些方向會(huì)是 Agent Infra 未來(lái)的新重點(diǎn)？

Dify 認(rèn)為可調(diào)試性、記憶管理和低延遲性能是下一階段的重點(diǎn)。

首先是可調(diào)試性，要做可視化的推理鏈調(diào)試，讓開(kāi)發(fā)者能一眼看明白 Agent 到底是在哪一步理解錯(cuò)了，精準(zhǔn)定位問(wèn)題。

然后是記憶管理。不是簡(jiǎn)單生硬的向量搜索，而是要實(shí)現(xiàn)語(yǔ)義化的情景記憶。因?yàn)?Agent 對(duì)記憶的理解，短板不在于存儲(chǔ)了多少歷史信息，而在于缺乏對(duì)時(shí)間維度的建模能力。當(dāng)前 Agent 的時(shí)間感知能力其實(shí)很薄弱：prompt 的時(shí)間是一次性的，會(huì)話級(jí)別的時(shí)間關(guān)聯(lián)很弱，長(zhǎng)期記憶更是處于不可控的狀態(tài)。但現(xiàn)實(shí)中的任務(wù)往往存在延遲決策、狀態(tài)衰減的特點(diǎn)——不同時(shí)間節(jié)點(diǎn)的信息權(quán)重不同，未來(lái)的不確定性也會(huì)影響當(dāng)下的行動(dòng)。

對(duì) Agent 記憶的管理，不能再停留在「常量」的思維定式里，而是要把它看作一種「變量」。

同時(shí)，基礎(chǔ)性能層面的低延遲要求也得跟上。現(xiàn)在的流式輸出已經(jīng)滿足不了需求，需要達(dá)到語(yǔ)音實(shí)時(shí)對(duì)話的響應(yīng)速度，才能支撐更自然的交互場(chǎng)景。

在騰訊云的專家看來(lái)，未來(lái)應(yīng)該關(guān)注的核心方向，是從保障 Agent 安全可靠運(yùn)行，升級(jí)到支撐 Agent 實(shí)現(xiàn)智能持續(xù)進(jìn)化。

在他們看來(lái)，Agent Infra 和 AI Infra 并不是割裂的，而是一種交叉關(guān)系。先把 Agent 穩(wěn)定地部署到生產(chǎn)環(huán)境中，讓它跑起來(lái)之后，就會(huì)在實(shí)際業(yè)務(wù)里發(fā)現(xiàn)它的能力短板，同時(shí)產(chǎn)生大量的業(yè)務(wù)數(shù)據(jù)。騰訊云要做的，就是把這些數(shù)據(jù)充分利用起來(lái)，反過(guò)來(lái)對(duì) Agent 本身，以及它背后的基礎(chǔ)模型進(jìn)行迭代優(yōu)化，最終形成一個(gè)智能進(jìn)化的閉環(huán)。

但就目前來(lái)看，現(xiàn)有的 Infra 體系，更多還是聚焦于服務(wù)基礎(chǔ)大模型本身的能力與智力進(jìn)化，并沒(méi)有搭建起完善的鏈路，去支撐那些已經(jīng)在業(yè)務(wù)中落地的 Agent——也就是沒(méi)能利用 Agent 產(chǎn)生的真實(shí)行為數(shù)據(jù)、能力短板數(shù)據(jù)，來(lái)構(gòu)建專屬的 Agent 進(jìn)化循環(huán)。

所以，下一步 Agent Infra 的核心突破點(diǎn)，一定是完成從「服務(wù) Agent 的構(gòu)建與運(yùn)行」，到「服務(wù) Agent 的智能進(jìn)化」的跨越。

轉(zhuǎn)載原創(chuàng)文章請(qǐng)?zhí)砑游⑿牛篺ounderparker