上海
★ 設為星標 | 只講人話，帶你玩轉AIGC。
DeepSeek 真的不打算讓人休息啊。
最近圈子里瘋傳：DeepSeek V4 即將在未來幾周（春節前后）發布。
雖然官方沒說話，但看這架勢，大概率是真的。你們看這幾周 DeepSeek 有多“反常”：
元旦當天： 剛扔出 mHC 論文，試圖拆掉 ResNet 的地基。
上周： 悄悄更新了那篇著名的 DeepSeek-R1 論文。
今天： 還沒等大家消化完，又是一篇重磅論文——Engram。
這密集的動作，顯然是在為后面的大招清掃障礙。
這種“暴風雨前的狂歡”，讓我對傳說中的 V4 更加期待了。
這篇論文又是 CEO 梁文鋒親自署名，看樣子，這事兒又不簡單。
如果說上一篇 mHC 是在動深度學習的“地基”，那這一篇 Engram，就是在試圖繞開英偉達昂貴的“硬件壁壘”。
01｜英偉達的無奈：算力夠了，但腦子裝不下了
要看懂 DeepSeek 這次有多狠，我們得先看一眼英偉達（NVIDIA） 最近的動作。
前不久，老黃發布了下一代核彈顯卡 Rubin。
參數確實炸裂：推理算力提升了 5 倍，帶寬提升了 2.8 倍。
但請注意一個極其尷尬的數據：HBM（高帶寬顯存）的容量，僅僅提升了 1.5 倍。
圖：英偉達 Rubin NVL72 參數提升表
這就是目前 AI 行業的死穴：“顯存墻”。
HBM 顯存不僅產能被海力士和三星鎖死，價格更是貴得離譜（是普通內存的 6-8 倍），關鍵是容量增長完全跟不上模型變大的速度。
你想把模型做大？不好意思，你得買更多昂貴的顯卡，不是因為你需要算力，僅僅是因為你需要把模型塞進去。
這時候，DeepSeek 的“摳門”天賦又爆發了。
他們提出了一個靈魂拷問：誰說大模型的記憶必須塞在昂貴的 HBM 里？我們能不能用便宜的內存條解決問題？
02｜明人的“笨功夫”：復活 N-gram
為了省錢，哦不，為了高效，DeepSeek 的工程師把目光投向了二十年前那個被淘汰的“笨小孩”——N-gram（N元語法）。
在深度學習還沒火的“遠古時代”，N-gram 是統治 NLP 屆的王者。
這玩意兒的原理，說白了就是“成語接龍”加上“死記硬背”。
想象一下，你給電腦看了一萬本中文書，然后問它：“白日依山盡”后面是什么？
N-gram 不懂什么叫詩情畫意，它只會去它的小本本里查統計概率：“哦，以前這五個字后面 99% 跟著‘黃河入海流’。”
它的優點是： 查得飛快，不需要動腦子算。
它的缺點是： 沒腦子，只能看眼前，不懂邏輯。
后來，聰明的 Transformer 出現了，N-gram 就被掃進了歷史的垃圾堆。
但今天，DeepSeek 又把它撿回來了。
03｜給 AI 掛個“外掛硬盤”
DeepSeek 發現，現在的 Transformer 雖然聰明，但也得了一種“富貴病”。
比如你問它：“東漢末年的張仲景是誰？”
模型那昂貴的神經網絡大腦開始瘋狂運轉，動用幾百億參數，經過幾十層的向量計算，最后告訴你：“他是醫圣”。
這太浪費了！ 這就像你雇了一個年薪百萬的數學天才，結果你天天讓他背誦《新華字典》。
DeepSeek 的 Engram 架構，就是給大模型裝了一個“超級外掛字典”：
圖：DeepSeek 的 Engram 架構，右側那個黃色的支路就是傳說中的“外掛字典”
移花接木： 他們把“張仲景”、“四大發明”這些固定的知識點，通過 N-gram 機制做成了一個巨大的索引表。
降維打擊：重點來了！ 因為查表這個動作非常簡單確定的，DeepSeek 直接把這個巨大的表（幾百億甚至上千億參數）丟到了便宜量大的 CPU 內存（RAM）里。
圖：紅得發紫的地方，就是模型在讀到“四大發明”時，正在瘋狂翻字典（查表），而不是在動腦子計算
當模型需要用到這些知識時，CPU 會悄悄把數據預取過來，喂給 GPU。
結果炸裂：即使掛載了一個 1000億參數 的超級字典在 CPU 內存里，利用 DeepSeek 極致的工程優化，整個推理速度的損耗竟然不到 3%。
這意味著，在 HBM 價格上天的今天，DeepSeek 搞出了一種“用白菜價的內存條，干黃金價的顯存活兒”的黑科技。
04｜不止是省錢，智商還漲了
如果只是省錢，那也就是個工程優化。
但 DeepSeek 最可怕的地方在于：它還順便把模型變聰明了。
實驗數據非常不講道理：這個裝了“外掛硬盤”的模型，不僅記性好了，邏輯推理能力也暴漲。
數學能力（MATH）： 提升了 2.4 分。
邏輯推理（BBH）： 竟然暴漲了 5.0 分！
為什么？
這就回到了我們剛才的那個比喻。
因為 Engram 把那些死記硬背的“臟活累活”都攬走了，模型深層的神經網絡就被解放出來了。
那個“數學天才”終于不用背字典了，可以全心全意地去思考復雜的微積分和邏輯推理題了。
寫在最后：算力經濟學的新解法
看完這篇論文，我最大的感觸是：DeepSeek 正在試圖重寫大模型的“解剖學”。
在過去的一年里，整個 AI 行業都被 HBM 的產能危機掐住了脖子。
為了搶那幾塊顯存，大廠們不惜溢價 30% 甚至更多。
而 DeepSeek 卻冷靜地走了一條“少有人走的路”：與其被硬件廠商收“過路費”，不如用算法重新定義硬件。
Engram 的出現證明了，通過極致的算法設計，廉價的 CPU 內存完全可以成為大模型算力的一部分。
這不僅是技術的勝利，更是“算力經濟學”的勝利。
如果春節前后發布的 DeepSeek V4 真的集成了 mHC 的高速通路和 Engram 的外掛記憶，那它對行業的沖擊，恐怕比我們想象的還要大。
對于這種“反向操作”的技術創新，你怎么看？歡迎在評論區聊聊。
(覺得文章有啟發？點個“贊”，點個??，假裝自己看懂了)
論文地址：https://github.com/deepseek-ai/Engram
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
