難以置信！DeepSeek 新變體速度提升200%，企業(yè)部署成本銳減60%

距離DeepSeek發(fā)布其熱門開源模型 DeepSeek 的最新版本 R1-0528，才剛過去一個(gè)多月，本周，一家 24 年歷史的德國(guó)公司 TNG 技術(shù)咨詢有限公司發(fā)布了一個(gè)此類改編版本：DeepSeek-TNG R1T2 Chimera，這是其 Chimera 大型語言模型系列的最新型號(hào)。

R1T2 在效率和速度上實(shí)現(xiàn)了顯著提升，其智能基準(zhǔn)分?jǐn)?shù)達(dá)到 R1-0528 的 90% 以上，同時(shí)生成答案所需的輸出 token 數(shù)量不到 R1-0528 的 40%。

這意味著它能產(chǎn)生更簡(jiǎn)短的回復(fù)，直接轉(zhuǎn)化為更快的推理速度和更低的計(jì)算成本。在 TNG的AI 代碼共享社區(qū)上，該公司稱其 “比常規(guī) R1快約 20%，比 R1-0528快兩倍以上”。

對(duì)此，AI 開發(fā)者社區(qū)的反響極為熱烈。社區(qū)高級(jí)負(fù)責(zé)人寫道：“天啊！DeepSeek R1T2，比 R1-0528 快 200%，比 R1 快 20%。在 GPQA 和 AIME 24 上顯著優(yōu)于 R1，通過專家組裝法結(jié)合 DS V3、R1 和 R1-0528 構(gòu)建，且采用 MIT 許可證，可在社區(qū) 上獲取。”

這一提升得益于 TNG 的專家組裝（AoE）方法，這是一種通過選擇性合并多個(gè)預(yù)訓(xùn)練模型的內(nèi)部參數(shù)來構(gòu)建 LLM 的技術(shù)。作為原始 R1T Chimera 的后繼者，R1T2 引入了新的 “三思維”（Tri-Mind）配置，集成了三個(gè)父模型：DeepSeek-R1-0528、DeepSeek-R1 和 DeepSeek-V3-0324。其結(jié)果是一個(gè)經(jīng)過精心設(shè)計(jì)的模型，既能保持高推理能力，又能顯著降低推理成本。

而且，R1T2 的構(gòu)建無需進(jìn)一步微調(diào)或再訓(xùn)練。它繼承了 R1-0528 的推理優(yōu)勢(shì)、R1 的結(jié)構(gòu)化思維模式，以及 V3-0324 簡(jiǎn)潔的指令導(dǎo)向特性，為企業(yè)和研究應(yīng)用提供了一個(gè)更高效且有能力的模型。

01

專家組裝（AoE）與

專家混合（MoE）的區(qū)別

專家混合（MoE）是一種架構(gòu)設(shè)計(jì)，其中不同組件根據(jù)輸入有條件地激活。在 DeepSeek-V3 或 Mixtral 等 MoE LLM 中，任何給定 token 的前向傳播過程中，僅激活模型專家層的一部分。這使得超大型模型能夠?qū)崿F(xiàn)更高的參數(shù)數(shù)量和專業(yè)化，同時(shí)保持推理成本可控，因?yàn)槊總€(gè) token 僅評(píng)估網(wǎng)絡(luò)的一小部分。

專家組裝（AoE）是一種模型合并技術(shù)，而非架構(gòu)。它用于通過選擇性插值多個(gè)預(yù)訓(xùn)練 MoE 模型的權(quán)重張量來創(chuàng)建新模型。AoE 中的 “專家” 指的是被合并的模型組件，通常是 MoE 層內(nèi)的路由專家張量，而非運(yùn)行時(shí)動(dòng)態(tài)激活的專家。

TNG 對(duì) AoE 的實(shí)現(xiàn)主要側(cè)重于合并路由專家張量，同時(shí)通常保留來自更快模型的更高效共享層和注意力層。這種方法使生成的 Chimera 模型能夠繼承推理能力，而無需復(fù)制最強(qiáng)父模型的冗長(zhǎng)或延遲。

02

性能與速度：基準(zhǔn)測(cè)試的實(shí)際結(jié)果

E-25 和 GPQA-Diamond 測(cè)試集衡量，R1T2 實(shí)現(xiàn)了其最智能父模型 DeepSeek-R1-0528 90% 至 92% 的推理性能。然而，與 DeepSeek-R1-0528 不同，R1T2 被設(shè)計(jì)為更加簡(jiǎn)潔。它能以少得多的詞匯量提供同樣智能的響應(yīng)。TNG 并非關(guān)注原始處理時(shí)間或每秒 token 數(shù)，而是以每個(gè)答案的輸出 token 數(shù)來衡量 “速度”，這是成本和延遲的實(shí)用代理指標(biāo)。

根據(jù) TNG 共享的基準(zhǔn)測(cè)試，R1T2 生成響應(yīng)所需的 token 數(shù)約為 R1-0528 的 40%。這意味著輸出長(zhǎng)度減少 60%，直接縮短推理時(shí)間和計(jì)算負(fù)載，將響應(yīng)速度提升 2 倍，即 200%。與原始 DeepSeek-R1 相比，R1T2 平均也約縮短 20%，為高吞吐量或成本敏感的部署提供了顯著的效率提升。這種效率并未以智能為代價(jià)。

03

部署注意事項(xiàng)與可用性

R1T2 根據(jù)寬松的 MIT 許可證發(fā)布，現(xiàn)已在社區(qū)上提供，這意味著它是開源的，可用于構(gòu)建商業(yè)應(yīng)用。TNG 指出，盡管該模型非常適合一般推理任務(wù)，但由于繼承自 DeepSeek-R1 的局限性，目前不建議用于需要函數(shù)調(diào)用或工具使用的用例。這些問題可能在未來的更新中解決。

對(duì)企業(yè)技術(shù)決策者的意義

對(duì)于CTO、AI 平臺(tái)所有者、工程負(fù)責(zé)人和 IT 采購(gòu)團(tuán)隊(duì)而言，R1T2 帶來了切實(shí)的好處和戰(zhàn)略選擇：

更低的推理成本：每個(gè)任務(wù)的輸出 token 更少，R1T2 減少了 GPU 時(shí)間和能源消耗，直接轉(zhuǎn)化為基礎(chǔ)設(shè)施節(jié)省 —— 這在高吞吐量或?qū)崟r(shí)環(huán)境中尤為重要。

無開銷的高推理質(zhì)量：它保留了 R1-0528 等頂級(jí)模型的大部分推理能力，但沒有其冗長(zhǎng)性。這非常適合數(shù)學(xué)、編程、邏輯等結(jié)構(gòu)化任務(wù)，這些任務(wù)更偏好簡(jiǎn)潔的答案。

開放且可修改：MIT 許可證允許完全的部署控制和自定義，支持在受監(jiān)管或空氣隔離環(huán)境中進(jìn)行私有托管、模型對(duì)齊或進(jìn)一步訓(xùn)練。

新興的模塊化：AoE 方法預(yù)示著未來模型將以模塊化方式構(gòu)建，使企業(yè)能夠通過重組現(xiàn)有模型的優(yōu)勢(shì)來組裝專用變體，而無需從頭開始再訓(xùn)練。

注意事項(xiàng)：依賴函數(shù)調(diào)用、工具使用或高級(jí)代理編排的企業(yè)應(yīng)注意當(dāng)前的局限性，盡管未來的 Chimera 更新可能會(huì)解決這些差距。

關(guān)于首席信息官

公眾號(hào)“首席信息官 ”由資深媒體人創(chuàng)辦，致力于用專業(yè)的文字，精準(zhǔn)的洞察，特色的服務(wù)，深入的踐行服務(wù)企業(yè)數(shù)智化領(lǐng)域，為產(chǎn)業(yè)的發(fā)展點(diǎn)燃“微光”！