成本低20倍速度高10倍，“芯片即模型”打破GPU神話？（附論文原文）

兩天前，AI芯片創(chuàng)業(yè)公司 Taalas 發(fā)布了一篇頗具宣言意味的文章：《The Path to Ubiquitous AI》（《通往無(wú)處不在的 AI 之路》，原文附后）

核心觀點(diǎn)只有一句話：AI 要真正普及，必須解決兩個(gè)問(wèn)題，延遲和成本。

該文指出，如今的AI基礎(chǔ)設(shè)施正在走向一種“數(shù)據(jù)中心+電廠”的畸形路徑。

房間大小的服務(wù)器、數(shù)百千瓦功耗、液冷系統(tǒng)、HBM堆疊、復(fù)雜封裝、成公里長(zhǎng)的電纜。

這被認(rèn)為不是AI的終局。

因?yàn)檎嬲占暗募夹g(shù)，必須變得更簡(jiǎn)單、更快、更便宜。

為此，Taalas提出一個(gè)極端方向，為每一個(gè)模型，生產(chǎn)專用芯片。

也就是說(shuō)，不搞通用 GPU，而是“模型即芯片”。

為此， Taalas 開(kāi)發(fā)了一個(gè)平臺(tái)，可以將任何 AI 模型轉(zhuǎn)化為定制硅芯片。“從收到一個(gè)全新的模型開(kāi)始，只需兩個(gè)月，就能將其硬件化”。

據(jù)介紹，Taalas的核心開(kāi)發(fā)理念有三點(diǎn)，即極致專用化、計(jì)算與存儲(chǔ)融合，及激進(jìn)簡(jiǎn)潔。

他們發(fā)布的首款產(chǎn)品，是硬編碼的 Llama 3.1 8B，性能表現(xiàn)十分搶眼。

據(jù)介紹，該產(chǎn)品由 24 人團(tuán)隊(duì)完成，僅花費(fèi) 3000 萬(wàn)美元。

比如，17,000 tokens/秒、接近現(xiàn)有方案 10 倍速度、成本降低約 20 倍、功耗降低約 10 倍……

Taalas由此還提出“即時(shí) AI”的概念。

一些資深開(kāi)發(fā)者在 X 上的發(fā)帖，“17000 tokens/s…，等待模型思考的時(shí)代結(jié)束了”。

Basecamp 創(chuàng)始人 DHH 試用后稱，“感覺(jué)像作弊一樣快”。

半導(dǎo)體行業(yè)投資人 Pierre Lamond 稱，團(tuán)隊(duì)做芯片的經(jīng)驗(yàn)業(yè)內(nèi)頂級(jí)，認(rèn)為他們的方向能 1000倍成本改善，從而推動(dòng)AI成為基礎(chǔ)設(shè)施級(jí)能力。

Cambrian-AI首席分析師 Karl Freund 在 Forbes 專欄里稱，早期用戶把它的性能形容為“insane（瘋狂）”。

他指出，如果被大規(guī)模數(shù)據(jù)中心采用，可能會(huì)改變行業(yè)格局。

Freund 的擔(dān)憂是，每個(gè)模型一顆芯片，那么模型升級(jí)是否意味著換硬件？數(shù)據(jù)中心是否愿意承擔(dān)這種不靈活？

因此他認(rèn)為，模型即芯片方向很有吸引力，但能否成為主流還說(shuō)不好。

行業(yè)媒體 Financial Express分析指出，這種架構(gòu)更適合穩(wěn)定、高規(guī)模、單模型場(chǎng)景，在多模型頻繁迭代環(huán)境中可能受限。

而目前大模型的狀態(tài)，更顯然是后者。

但如果未來(lái)進(jìn)入一個(gè)“少數(shù)基礎(chǔ)模型長(zhǎng)期統(tǒng)治”的階段，那GPU是否仍是最優(yōu)解？

盡管有所爭(zhēng)議，但Taalas在 AI 基礎(chǔ)設(shè)方向與架構(gòu)的探索值得反思。

比如，這是否意味著AI算力可能發(fā)生第三次的路線分裂？

第一次分裂，是 CPU → GPU。
深度學(xué)習(xí)爆發(fā)后，通用CPU迅速被淘汰。并行計(jì)算取代串行計(jì)算，成為基礎(chǔ)設(shè)施底座。

NVIDIA 憑借GPU完成市值躍遷，成為AI時(shí)代最大贏家。

第二次分裂，是自建GPU → AI 云。

模型越來(lái)越大，企業(yè)越來(lái)越難自己部署，算力被抽象為API。

GPU不再只是硬件，而成為云服務(wù)的一部分。

亞馬遜Web Services、微軟 Azure、谷歌 Cloud 、阿里云、字節(jié)火山云等，成為 AI 基礎(chǔ)設(shè)施代名詞。

第三次分裂，會(huì)不會(huì)是 Taalas 提出的，模型即芯片？

不再依賴HBM、復(fù)雜封裝，也不依賴液冷，不是“更強(qiáng)GPU”，而是“推理專用ASIC的極端版本”。

或者，更本質(zhì)的，Taalas 路線真正可能改變的，是AI的邊際成本曲線？

以下為T(mén)aalas博文原文

《通往無(wú)處不在的 AI 之路》

作者：Ljubisa Bajic

許多人相信，AI 確實(shí)已經(jīng)進(jìn)入真正可用的階段。在一些狹窄領(lǐng)域，它的表現(xiàn)已經(jīng)超過(guò)人類。如果使用得當(dāng)，它將成為前所未有的人類創(chuàng)造力與生產(chǎn)力放大器。

但它的大規(guī)模普及仍然受到兩個(gè)關(guān)鍵障礙的限制：高延遲和天文級(jí)成本。

與語(yǔ)言模型的交互速度遠(yuǎn)遠(yuǎn)跟不上人類思考的節(jié)奏。編程助手可能要思考幾分鐘，這會(huì)打斷程序員的心流狀態(tài)，限制人與 AI 的高效協(xié)作。而自動(dòng)化的智能體應(yīng)用需要的是毫秒級(jí)響應(yīng)，而不是按人類節(jié)奏慢慢輸出。

在成本方面，部署現(xiàn)代模型需要巨大的工程投入和資本支出：占據(jù)整間房間的超級(jí)計(jì)算機(jī)，耗電數(shù)百千瓦，依賴液冷、先進(jìn)封裝、堆疊內(nèi)存、復(fù)雜 I/O，以及成公里的線纜。這最終擴(kuò)展為城市規(guī)模的數(shù)據(jù)中心園區(qū)和配套網(wǎng)絡(luò)，帶來(lái)極高的運(yùn)營(yíng)成本。

雖然當(dāng)下的趨勢(shì)似乎指向一個(gè)由數(shù)據(jù)中心和電廠構(gòu)成的“反烏托邦未來(lái)”，但歷史往往走向另一條路。過(guò)去的技術(shù)革命，往往始于笨重而夸張的原型，隨后被更實(shí)用的突破所取代。

例如 ENIAC——一個(gè)充滿真空管和電纜、占據(jù)整間房間的龐然大物。它讓人類第一次見(jiàn)識(shí)到計(jì)算的魔力，但速度慢、成本高、無(wú)法擴(kuò)展。晶體管的出現(xiàn)帶來(lái)了快速演進(jìn)：從工作站、個(gè)人電腦到智能手機(jī)，最終實(shí)現(xiàn)了無(wú)處不在的計(jì)算，世界并沒(méi)有被 ENIAC 式機(jī)器所淹沒(méi)。

通用計(jì)算之所以進(jìn)入主流，是因?yàn)樗兊靡子谥圃臁⑺俣雀臁⒊杀靖汀?br/>

AI 也必須走同樣的道路。

關(guān)于 Taalas

成立于兩年半前，Taalas 開(kāi)發(fā)了一個(gè)平臺(tái)，可以將任何 AI 模型轉(zhuǎn)化為定制硅芯片。從收到一個(gè)全新的模型開(kāi)始，只需兩個(gè)月，就能將其硬件化。

由此生成的“硬核模型”（Hardcore Models），在速度、成本和功耗方面，相比軟件實(shí)現(xiàn)提升一個(gè)數(shù)量級(jí)。

Taalas 的工作基于三大核心原則：

1. 極致專用化

在計(jì)算發(fā)展史上，深度首款產(chǎn)品由 24 人團(tuán)隊(duì)完成專用化始終是關(guān)鍵任務(wù)實(shí)現(xiàn)極致效率的最佳路徑。

AI 推理是人類面臨過(guò)的最重要計(jì)算負(fù)載之一，也是最適合專用化的領(lǐng)域。

其計(jì)算需求推動(dòng)一個(gè)方向：為每一個(gè)模型生產(chǎn)最優(yōu)的專用芯片。

2. 存儲(chǔ)與計(jì)算融合

現(xiàn)代推理硬件受到一個(gè)人為分割的限制：內(nèi)存與計(jì)算分離，而且運(yùn)行速度完全不同。

這種分離源于一個(gè)長(zhǎng)期矛盾：

DRAM 密度更高、成本更低，但訪問(wèn)片外 DRAM 的速度比片上內(nèi)存慢數(shù)千倍；而計(jì)算芯片又無(wú)法采用 DRAM 工藝制造。

這種分割帶來(lái)了現(xiàn)代推理硬件的大量復(fù)雜性：先進(jìn)封裝、HBM 堆疊、巨大的 I/O 帶寬、不斷上升的功耗，以及液冷系統(tǒng)。

Taalas 打破了這一邊界。通過(guò)在單芯片上統(tǒng)一存儲(chǔ)與計(jì)算，并達(dá)到 DRAM 級(jí)密度，其架構(gòu)實(shí)現(xiàn)了前所未有的性能水平。

3. 激進(jìn)簡(jiǎn)化

通過(guò)消除存儲(chǔ)與計(jì)算的分離，并為每個(gè)模型定制芯片，Taalas 從第一性原理重新設(shè)計(jì)了整個(gè)硬件棧。

結(jié)果是一個(gè)不依賴復(fù)雜或前沿工藝的系統(tǒng)：無(wú)需 HBM、先進(jìn)封裝、3D 堆疊、液冷或高速 I/O。

工程上的簡(jiǎn)潔，帶來(lái)了系統(tǒng)總成本數(shù)量級(jí)的下降。

首批產(chǎn)品

基于上述理念，Taalas 打造了全球最快、成本和功耗最低的推理平臺(tái)。

目前發(fā)布的首款產(chǎn)品，是一個(gè)硬編碼的 Llama 3.1 8B 模型，既提供聊天演示，也提供推理 API 服務(wù)。

這款硅基 Llama 實(shí)現(xiàn)：

• 每用戶 17K tokens/秒

• 接近當(dāng)前最先進(jìn)方案的 10 倍速度

• 構(gòu)建成本降低 20 倍

• 功耗降低 10 倍

之所以選擇 Llama 3.1 8B，是因?yàn)樗w積適中且開(kāi)源，便于快速硬化部署。

雖然模型為速度進(jìn)行了大量硬編碼，但仍支持可配置上下文窗口，并通過(guò) LoRA 進(jìn)行微調(diào)。

第一代芯片采用自定義 3-bit 基礎(chǔ)數(shù)據(jù)類型，并結(jié)合 3-bit 與 6-bit 量化，因此在質(zhì)量上相較 GPU 基準(zhǔn)略有下降。

第二代硅平臺(tái)將采用標(biāo)準(zhǔn) 4-bit 浮點(diǎn)格式，在保持高性能的同時(shí)改善質(zhì)量問(wèn)題。

即將推出的模型

第二個(gè)模型將是一個(gè)中型推理型 LLM，仍基于第一代 HC1 平臺(tái)，預(yù)計(jì)今年春季進(jìn)入實(shí)驗(yàn)室并很快上線服務(wù)。

隨后，將基于第二代 HC2 平臺(tái)制造一個(gè)前沿級(jí)模型。HC2 具有更高密度和更快執(zhí)行速度，計(jì)劃于冬季部署。

即時(shí) AI，觸手可及

首個(gè)模型并非最前沿，但團(tuán)隊(duì)仍以 Beta 形式發(fā)布，希望開(kāi)發(fā)者體驗(yàn)：當(dāng) LLM 推理達(dá)到亞毫秒級(jí)速度、接近零成本時(shí)，會(huì)帶來(lái)什么可能性。

他們相信，這將使許多此前不可行的應(yīng)用成為現(xiàn)實(shí)，并鼓勵(lì)開(kāi)發(fā)者探索新的應(yīng)用場(chǎng)景。

關(guān)于團(tuán)隊(duì)與方法

Taalas 的核心團(tuán)隊(duì)規(guī)模很小，成員多為合作超過(guò)二十年的長(zhǎng)期伙伴。團(tuán)隊(duì)增長(zhǎng)緩慢，重視專業(yè)能力、使命一致性和工程紀(jì)律。

• 實(shí)質(zhì)重于聲勢(shì)

• 工藝重于規(guī)模

• 嚴(yán)謹(jǐn)重于冗余

在許多深科技創(chuàng)業(yè)公司依靠龐大團(tuán)隊(duì)、巨額融資和市場(chǎng)聲量“圍城式推進(jìn)”的環(huán)境中，Taalas 選擇的是一次精準(zhǔn)打擊。

首款產(chǎn)品由 24 人團(tuán)隊(duì)完成，僅使用 3000 萬(wàn)美元（總?cè)谫Y超過(guò) 2 億美元）。這證明：明確目標(biāo)與專注執(zhí)行，可以勝過(guò)蠻力投入。

未來(lái)，團(tuán)隊(duì)將持續(xù)開(kāi)放迭代，盡早發(fā)布系統(tǒng)，讓開(kāi)發(fā)者參與驗(yàn)證與完善。

結(jié)語(yǔ)

創(chuàng)新始于對(duì)既有假設(shè)的質(zhì)疑，以及對(duì)被忽視路徑的探索，這正是 Taalas 選擇的方向。

他們的技術(shù)在性能、能效和成本上實(shí)現(xiàn)了躍遷式提升，并代表一種不同于主流的架構(gòu)理念——重新定義 AI 系統(tǒng)的構(gòu)建與部署方式。

真正的顛覆性技術(shù)，最初往往并不熟悉。團(tuán)隊(duì)將致力于推動(dòng)行業(yè)理解并采用這一新范式。

從硬編碼的 Llama 開(kāi)始，并快速擴(kuò)展到更強(qiáng)模型，Taalas 正在消除 AI 普及的兩大核心障礙：高延遲與高成本。

他們已經(jīng)把即時(shí)、超低成本的智能交到開(kāi)發(fā)者手中，現(xiàn)在，期待看到人們將用它創(chuàng)造什么。