燧原科技入駐 Gitee：國(guó)產(chǎn) AI 芯片推理軟件棧擁抱開(kāi)源

國(guó)產(chǎn) AI 芯片廠商燧原科技，近日以開(kāi)源組織身份正式入駐 Gitee。

燧原科技成立于 2018 年，總部位于上海張江，是國(guó)內(nèi)同時(shí)具備高性能云端訓(xùn)練與推理能力的 AI 芯片企業(yè)。 成立近 8 年來(lái)，公司自研迭代了四代架構(gòu) 5 款云端 AI 芯片，產(chǎn)品體系覆蓋 AI 芯片、AI 加速卡及模組、智算系統(tǒng)及集群和 AI 計(jì)算及編程軟件平臺(tái)。

作為模力方舟的深度生態(tài)合作伙伴，此次入駐 Gitee 標(biāo)志著燧原在開(kāi)源生態(tài)建設(shè)上邁出了重要一步。

燧原科技組織鏈接：

https://gitee.com/EnflameTechnology

已開(kāi)源項(xiàng)目：聚焦大模型推理軟件棧

燧原在 Gitee 上的開(kāi)源內(nèi)容，圍繞其自研 GCU（General Computing Unit）構(gòu)建的大模型推理軟件棧展開(kāi)，目前已上線 4 個(gè)項(xiàng)目：

• vllm-gcu：基于原生 vLLM 框架適配 Enflame GCU（S60）的大模型推理系統(tǒng)，讓開(kāi)發(fā)者在國(guó)產(chǎn) GCU 硬件上直接復(fù)用 vLLM 生態(tài)能力，降低從 CUDA 生態(tài)遷移的成本。

• FFmpeg-GCU：基于燧原 topscodec 編解碼能力的 FFmpeg 插件，將視頻編解碼環(huán)節(jié)卸載到 GCU 硬件加速，適用于視頻理解、直播審核等需要前處理加速的場(chǎng)景。

• ModelZoo：燧原開(kāi)發(fā)維護(hù)的模型合集，涵蓋 CV、NLP、推薦系統(tǒng)等領(lǐng)域的經(jīng)典和 SOTA 模型訓(xùn)練與推理示例，可用于 GCU 上的模型兼容性驗(yàn)證和性能基準(zhǔn)測(cè)試。

• candle-vllm-gcu：基于 Rust 語(yǔ)言 Candle 框架的 GCU 推理實(shí)現(xiàn)，為偏好 Rust 技術(shù)棧或?qū)Σ渴痼w積有嚴(yán)格要求的開(kāi)發(fā)者提供區(qū)別于 Python 生態(tài)的推理路徑。

從燧原公布的大模型推理軟件棧架構(gòu)圖來(lái)看，整體分為六層：

最底層是驅(qū)動(dòng)層（KMD、EFSMI），負(fù)責(zé)硬件資源管理和監(jiān)控。

其上是工具鏈層，包含 Triton-GCU、TileLang-GCU 等領(lǐng)域?qū)Ｓ谜Z(yǔ)言編譯工具，以及 TopsGDB、TopsProf、Visual Profiler 等開(kāi)發(fā)調(diào)試工具，為算子開(kāi)發(fā)和性能調(diào)優(yōu)提供基礎(chǔ)支撐。

庫(kù)層集中了計(jì)算加速的核心組件：Topsop 算子庫(kù)、GCU 加速庫(kù)、KV Cache Library 以及通信庫(kù)。這些組件直接決定了大模型推理中 Attention 計(jì)算、KV Cache 管理和多卡通信的實(shí)際效率。

框架層以 Torch-GCU 為核心，向上承接 vLLM-GCU 和 vLLM-Omni-GCU，讓主流推理框架可以透明地調(diào)度 GCU 算力。

模型層的 Model Zoo 覆蓋了文本大語(yǔ)言模型、代碼編程大模型、視覺(jué)語(yǔ)言大模型、嵌入與檢索模型、語(yǔ)音處理大模型和多模態(tài)大模型六大類(lèi)。

平臺(tái)層則提供 Docker 鏡像、TopsClouds 云服務(wù)和 TopsEngine、TopsPilot 等解決方案。

值得關(guān)注的是，架構(gòu)圖中綠色標(biāo)注的組件為燧原后續(xù)計(jì)劃開(kāi)源的項(xiàng)目。這意味著當(dāng)前開(kāi)源的 4 個(gè)倉(cāng)庫(kù)只是起點(diǎn)，未來(lái)將有更多底層庫(kù)和工具鏈代碼進(jìn)入燧原的開(kāi)源體系。

國(guó)產(chǎn)算力生態(tài)：開(kāi)源只是第一步

對(duì)于正在評(píng)估國(guó)產(chǎn) AI 芯片方案的團(tuán)隊(duì)，燧原提供了一個(gè)低門(mén)檻的技術(shù)驗(yàn)證入口：直接拉取代碼，在 GCU 環(huán)境中編譯運(yùn)行。

此外，模力方舟算力市場(chǎng)已上線燧原算力資源，開(kāi)發(fā)者可直接在線調(diào)用，還有剛剛上線的國(guó)產(chǎn) AI 芯片技能認(rèn)證，則為有意深入國(guó)產(chǎn)算力開(kāi)發(fā)的工程師提供了從基礎(chǔ)適配到性能調(diào)優(yōu)的系統(tǒng)化學(xué)習(xí)路徑。