不聯網的AI，殺瘋了...

最近科技圈和資本市場同時被一個叫做chatjimmy.ai的新物種刷屏了，初次徹底震驚了我。

在沒有英偉達高性能AI芯片的加持，這家硅谷初創公司Taalas就讓旗下大模型跑出了每秒1.5萬到1.7萬個Token。

這是什么概念？傳統的大模型每秒是跑一到兩千的Token，速度是它的1/10不到，

人話說就是，你把一道極其復雜的數學題發過去，傳統的AI模型還擱那一個勁思考呢，而它下一秒就羅列了好幾種解法給你看：

這個升級幅度，就好比是從算盤升級到計算器， 又是一個跨越式的進步。

那這個技術邏輯是怎么實現的呢？

最大的不同就是它把大模型的幾十億參數直接刻入硅片里面，

過去的芯片算力很強，但大模型和芯片之間數據需要傳輸，所以要借助HBM（顯存）來搬運，甚至可以說90%的電量和時間都浪費在了路上，

好比一個天才面對一個復雜問題，一秒鐘就給出了答案，但寄郵件卻耗費了大量的時間。

而現在大模型就內嵌在芯片自身，它直接拋棄了昂貴的HBM顯存，數據不需要搬運了，因為“計算即存儲，存儲即計算”，于是一下就節省出大量的資源。

這就和淘寶出來后，直接對接工廠發貨，省去了實體店、中間商、庫存一樣。

那問題來了，如果要把大模型繪制在芯片上，模型豈不是被定死，那一旦老的模型失效要迭代，芯片豈不是就廢了？

這也是過去大家都不敢這么搞的原因，因為模型迭代太快了，而且專門繪制一個大模型芯片的成本也很高，動輒上億美金。

但如今隨著Transformer語言的普及，大語言模型越來越成熟，那么這種商業路徑成了可能。

而這次Taalas就是做了一個全自動的硅片編譯器，可以實現自動給芯片電路編碼，從而大幅提高效率降低成本。

效率方面，Taalas宣稱把“大模型”轉化為“定制芯片”的周期，可以從過去的一年降低到兩個月。

成本方面，由于它拋棄了昂貴的HBM芯片，加上GPU用的普遍是H100芯片，如果換到大模型專用芯片上，只需要使用價格僅為1/20的6nm芯片就可以搞定運算。

這種情況即便是出了新的更強大模型，它也可以直接報廢掉，換一個新的芯片就完事。

另外，估計有人也會好奇，這種綁定芯片的大模型，會不會因為沒法更新迭代，導致知識永遠停留在出廠那一天？

實際上大模型刻入芯片，只是模型本身的迭代不能進行了，就好比一個IQ180的人不能繼續進化到IQ200，但它的邏輯推理能力，知識檢索能力依舊頂級。

而且刻入芯片之后，訪問大模型雖然不需要聯網了，但它本身依然是具有聯網能力的，依然可以找到最新的信息去學習，分析并且解決。

這就導致面對緊急突發狀況的時候，它的響應速度遠超過去的大模型，有更好的使用場景。

1、智能駕駛領域，當汽車在馬路上突發緊急事件，有些復雜的問題根本無法解決~

比如前面臨時修路了，原本的實線被磨掉了，交警拿著指揮棒示意你逆行繞過障礙物，傳統的自動駕駛芯片擅長的是快速識別圖像，但對這種需要快速邏輯推理的場景是無能無力的。

這種情況它根本等不起把數據打包傳給阿里云、亞馬遜等云端大模型來反饋結果，它需要的是和人類一樣，低于1毫秒的“本能邏輯推理反射”。

2、高頻量化領域，可以在宏觀對沖金融里開“外掛”

在處理宏觀新聞、財報、非農數據時，美聯儲鮑威爾的講話文稿剛一發布，芯片就能以17000Token/秒的速度，在零點幾毫秒內瞬間“吞下”幾萬字的報告，立刻得出“鷹派/鴿派”的定性，并轉化為做多/做空大宗商品或股指期貨的信號。

3、軍工領域，這種無需聯網、固化在物理硬件里的高智商芯片，是武器系統唯一的最佳選擇。

哪怕是處在斷網的“信息孤島”，它還是能憑著出廠時被賦予的龐大參數，獨立進行極速的戰術分析和保密決策。

...................

當然，我們也要關注這個背后長遠看一些潛在的利空，

最近一年，以三星、美光，SK海力士為首的三大HBM存儲巨頭股價狂飆，底層邏輯都靠一個支撐：“AI的盡頭是算力，算力的盡頭是HBM”。

如果chatjimmy.ai這種“無HBM化”的芯片普及，甚至形成燎原之勢，對這三大巨頭絕對不僅僅是“有影響”，而是巨大的估值邏輯破壞。

另一方面，以前云計算借助AI推理全面收取過路費的模式，也可能會被打上一個問號。

畢竟如果人人的手機、汽車都有這種AI大模型芯片，絕大多數日常問題在本地0.1秒就免費解決了。

真正需要傳到云端、花錢去求ChatGPT或Gemini這種復雜模型來解答的流量，可能連20%都不到。

不過對于資金布局在這些方向的人來說，明白危機的同時，也別太過于焦慮了。

因為短期來說它能寫入的模型水平還是有限的，也就是目前僅限幾十億參數的初中生智商水平，距離真正頂級，動輒上百萬億參數模型還為之尚遠。

也就是它五到十年內的使用場景更多還只是在一些特定的領域，尤其是對于一些對“斷網、低延遲、絕對隱私”有極端要求的垂直領域——比如我前面提到的智能駕駛、軍工系統、或者是金融量化高頻交易。

但拉長來看，技術進步的速度確實是難以估量的，誰又知道哪天這些頂級模型寫入芯片之后，每個人的設備終端都擁有了頂級離線AI，世界又會演變成什么夸張的模樣。