Megrez2.0打破終端“能效-空間-智能”的不可能三角

始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。

當(dāng)下，終端智能面臨著“能效-空間-智能”的不可能三角：以DeepSeek-R1為例，其參數(shù)規(guī)模高達(dá)6710億，超出了大部分筆記本電腦的內(nèi)存容量；即使勉強(qiáng)在一臺筆記本電腦上成功運行滿血版模型，理論上堅持不到9分鐘就會耗盡電池；如果通過蒸餾，將滿血版模型壓縮到更小尺寸，此時的精度損失又可能滿足不了智能水平的要求。

針對上述挑戰(zhàn)，無問芯穹發(fā)布終端本征大模型Megrez2.0，它在實現(xiàn)21B參數(shù)，也就是云端級智能水平的同時，將實際計算量控制在3B、內(nèi)存占用控制在7B規(guī)模，從而可以完美地適配當(dāng)下的各類終端設(shè)備，打破了終端“能效-空間-智能”的不可能三角。Megrez2.0已上線始智AI-wisemodel開源社區(qū)，歡迎大家前去體驗。

模型地址

https://wisemodel.cn/models/Infinigence/Megrez2-3x7B-A3B-Preview

01.

模型特點

終端本征架構(gòu)

傳統(tǒng)稠密模型在端側(cè)的黃金尺寸是3B，這個尺寸即可以較好的契合端側(cè)有限的算力和存儲，又具有基礎(chǔ)的智能水平。但若繼續(xù)增大尺寸，端側(cè)的推理速度會快速下降。

如何讓3B的算力發(fā)揮更大的智能？主流的方式是MoE，即通過參數(shù)冗余和動態(tài)激活，為模型精度加杠桿。例如一個總參數(shù)量21B，激活參數(shù)量3B大小的模型，雖然只有3B計算量，但理論精度潛力高達(dá)21B，實際也有7~14B的精度表現(xiàn)。但這21B的總參數(shù)量對于端側(cè)太過巨大，如果全部放在外存，外存較低的帶寬速率會帶來Decode速度指數(shù)級下降，而如果限制模型激活參數(shù)的locality將部分參數(shù)放入內(nèi)存，又會與MoE的動態(tài)多樣性與平衡性相違背，帶來精度下降。

無問芯穹本次提出的終端本征架構(gòu)，引入了重參數(shù)機(jī)制，將若干個相鄰MoE層劃成一組，復(fù)用Expert專家參數(shù)。這樣一個原本30層MoE層的模型，原始總參數(shù)量21B。現(xiàn)在每3層共享參數(shù)相互復(fù)用，模型的實際總參數(shù)量下降到21/3即7B大小，但激活可用的專家池空間仍為21B。

此外，本次發(fā)布的Megrez 2.0為Preview版本，雖然訓(xùn)練數(shù)據(jù)量只有5T Tokens，但已表現(xiàn)出優(yōu)異的精度潛力。相較于國內(nèi)外主流的端側(cè)模型，我們的模型速度相比同內(nèi)存占用的模型快50%，精度比同尺寸稠密模型提升36%，內(nèi)存則是比同精度模型節(jié)約75%，真正做到高能效、少內(nèi)存、高智能。

Benchmark

Megrez2-3x7B-A3B-Preview

Qwen3-8B

Phi-4-mini

MMLU-Pro

67.6

52.8

IF-Eval

80.2

83

68.6

02.

模型應(yīng)用

當(dāng)端側(cè)級算力撬動起云側(cè)級模型的智能水平，智能體等AI應(yīng)用將得以在端側(cè)釋放更大的能動性。由Megrez2.0加持的終端設(shè)備，代理任務(wù)處理準(zhǔn)確率高達(dá)95%，復(fù)雜代理任務(wù)端側(cè)處理時間只需不到3分鐘。此外，Megrez2.0還通過巧妙的工程設(shè)計，賦予終端設(shè)備更強(qiáng)的能動性，使設(shè)備在用戶無感知的“休眠時段”里，也能持續(xù)創(chuàng)造價值。

發(fā)布會現(xiàn)場，Megrez2.0的研發(fā)團(tuán)隊為大家?guī)砹艘粋€令人激動的演示——用戶在電腦合蓋之前給出語音指令“整理今日會議記錄”。電腦合蓋后，系統(tǒng)自動調(diào)度閑置CPU周期執(zhí)行后臺任務(wù)，等任務(wù)完成后，則自動釋放內(nèi)存并轉(zhuǎn)入待機(jī)。喚醒設(shè)備時，整理好的會議紀(jì)要已完整呈現(xiàn)在電腦上，算力亦能瞬時恢復(fù)滿血狀態(tài)，并且全程無喚醒、無聯(lián)網(wǎng)、無發(fā)熱。

編輯丨趙雅鑫

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴(kuò)大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵高校實驗室、大企業(yè)研究團(tuán)隊、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學(xué)會協(xié)會、聯(lián)盟、基金會等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。