當下人工智能的發(fā)展使得AI相關(guān)的應用已經(jīng)不再是企業(yè)的專屬需求,因為個人對于AI的需求也是同樣需要關(guān)注的。而也正是基于不少用戶對于AI本地部署的需求,專注大模型推理優(yōu)化的趨境科技發(fā)布了靈啟Spark,一個可以讓你個人專屬的的超級AI Lab,可以幫助個人和企業(yè)實現(xiàn)低成本落地去輕松使用AI大模型,關(guān)鍵是開機即用還能支持多模型并行推理說到趨境科技,這是一家致力于打通大模型部署“最后一公里”的前沿科技公司,其技術(shù)團隊來自清華大學計算機系高性能計算所,擁有十余年的高性能計算、分布式存儲、AI計算引擎優(yōu)化等領(lǐng)域經(jīng)驗,目前主營業(yè)務是專注大模型推理的優(yōu)化,助力企業(yè)低成本使用AI大模型。這次趨境·靈啟Spark的發(fā)布,更多的則是面向個人桌面端場景下用戶AI需求,妥妥的一個迷你體積的桌面級AI實驗室。
![]()
目前市面上各種的云端API 相關(guān)的AI產(chǎn)品,每次使用需要較高成本的同時,還得接受數(shù)據(jù)上云的不確定,本地部署自然成為更為理性的解決方案。趨境·靈啟Spark已經(jīng)不是一個簡單定位的AI主機,而是一套工程化答案,用戶入手之后直接就能實現(xiàn)一次性的交付,并保證工程級別的穩(wěn)定性,開箱就用真就十分方便。
![]()
設(shè)備內(nèi)置智譜 GLM-4.5-Air 106B 大模型和趨境科技的自研大模型推理引擎,UI交互方便易用,而且開機無需耗時配置就能直接使用,根本無需調(diào)參,開機即可進入高效創(chuàng)作狀態(tài)。
![]()
真正的實現(xiàn)從“能跑”到“跑得穩(wěn)”確實意義重大,趨境·靈啟Spark工程級運維設(shè)計在真實業(yè)務場景中表現(xiàn)出色,其內(nèi)置的智能運維與預警機制,可在運行前與運行中,直接提前識別顯存溢出風險并規(guī)避推理異常,從而設(shè)備可以保障長時間任務的連續(xù)運行,這也使它不再是“實驗室玩具”,而是可直接進生產(chǎn)系統(tǒng)的 AI 基礎(chǔ)設(shè)施。
![]()
趨境·靈啟Spark這迷你的體積狀態(tài)下還有著出色的性能,其單并發(fā)推理速度:30 tokens/s,預填速度:2100 tokens/s,甚至支持 100K 超長上下文,其運行模型精度為趨境支持的官方量化nvFP4精度,與原精度相比誤差不超過 0.1%,性能相當夸張,二者也是趨境在模型壓縮、推理調(diào)度與異構(gòu)計算上的長期的核心技術(shù)積累。
![]()
內(nèi)置的完整開發(fā)生態(tài),直接涵蓋了從模型定制到智能應用的完整的鏈路,自帶的趨境·智問智能辦公助手提供本地知識庫和AI的對話內(nèi)容,可以直接管理私密的科研資料,甚至無需編寫代碼就能實現(xiàn)對32B及以下模型的可視化微調(diào),而我覺得最為剛需的還是其內(nèi)置的PandaWiki知識庫搭建系統(tǒng),可以實現(xiàn)讓咱的知識管理和內(nèi)容生產(chǎn)全面的速度提升。
![]()
而且值得注意的是,趨境·靈啟Spark不是一個單一模型,而是完整 AI 應用底座,在 GLM-4.5-Air 之外,它還支持Embedding/Rerank/VL(視覺語言)模型等等;
![]()
多實例并行推理的能力保證了這款設(shè)備可以直接支撐本地知識庫/RAG系統(tǒng)以及一個多模態(tài)AI助手,后期想象空間巨大,不知道你們覺得這么一款體積小巧、功能出色的個人專屬的超級AI Lab的趨境·靈啟Spark是否足夠讓人期待呢?
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.