![]()
發(fā)布時(shí)間:2025年10月11日
在 v0.12.5 版本中,Ollama 帶來(lái)了多項(xiàng)功能改進(jìn)、問(wèn)題修復(fù)及平臺(tái)兼容性調(diào)整。本次更新主要涉及運(yùn)行流程優(yōu)化、錯(cuò)誤處理改進(jìn)、模型輸出優(yōu)化以及平臺(tái)支持范圍調(diào)整。以下是詳細(xì)解析。
一、主要更新內(nèi)容
1.應(yīng)用啟動(dòng)等待機(jī)制優(yōu)化
Ollama 的應(yīng)用在啟動(dòng)對(duì)話前,將等待 Ollama 服務(wù)運(yùn)行完成,避免了在服務(wù)尚未啟動(dòng)的情況下進(jìn)行會(huì)話操作。2.Think 參數(shù)兼容性改進(jìn)
修復(fù)了在"think": false時(shí),以前會(huì)出現(xiàn)錯(cuò)誤提示的問(wèn)題,現(xiàn)版本將改為靜默忽略,提升了非思考模型的兼容性。3.模型輸出問(wèn)題修復(fù)
修正了deepseek-r1模型的輸出異常問(wèn)題,提升了生成結(jié)果的穩(wěn)定性。4.平臺(tái)支持變更
? macOS 12 Monterey 與 macOS 13 Ventura不再支持。
? AMD gfx900 和 gfx906 系列 GPU(如 MI50、MI60)不再通過(guò) ROCm 支持,未來(lái)將嘗試通過(guò) Vulkan 提供支持。
在多個(gè)圖像處理模塊中,替換了math.Min、math.Max為 Go 語(yǔ)言的內(nèi)置min()、max()方法:
?
llama4及mllama模型的process_image.go調(diào)整了分辨率計(jì)算方法,提升了代碼簡(jiǎn)潔性與性能。
?llamarunner與ollamarunner都引入了新的運(yùn)行時(shí)間度量方式,將處理階段與生成階段拆分,對(duì)處理耗時(shí)和生成耗時(shí)進(jìn)行單獨(dú)統(tǒng)計(jì)。
? 新增了
processingDuration與generationDuration/samplingDuration變量,用于區(qū)分不同階段的運(yùn)行時(shí)間。? 在批量處理過(guò)程中,增加了
startedAt、lastUpdatedAt的記錄,以便更精準(zhǔn)地分析性能數(shù)據(jù)。
? 在
ollamarunner中,批量處理邏輯修改為使用previousBatch和nextBatch交替進(jìn)行。? 當(dāng)模型支持異步運(yùn)算時(shí)(
pooling_type == none),批處理計(jì)算會(huì)并行執(zhí)行,提升模型運(yùn)行效率。
? 在
server/routes.go中,GenerateHandler和ChatHandler的邏輯調(diào)整為:? 如果模型支持
thinking,則默認(rèn)開(kāi)啟;? 如果模型不支持
thinking且用戶設(shè)置了true,將返回錯(cuò)誤;? 如果設(shè)置為
false,則不報(bào)錯(cuò),正常執(zhí)行。
在server/routes_generate_test.go中:
? 錯(cuò)誤提示信息調(diào)整為更簡(jiǎn)潔的
"\"test\" does not support thinking"。? 新增測(cè)試用例,驗(yàn)證模型不支持
thinking且think=false時(shí)的執(zhí)行結(jié)果,確保返回狀態(tài)碼 200。
本次ollama v0.12.5更新在性能優(yōu)化、運(yùn)行時(shí)度量、錯(cuò)誤處理等方面都有顯著提升,尤其是:
?提升模型執(zhí)行階段的時(shí)間統(tǒng)計(jì)精度
?改善非思考模型的兼容性
?優(yōu)化批處理執(zhí)行流程
我們相信人工智能為普通人提供了一種“增強(qiáng)工具”,并致力于分享全方位的AI知識(shí)。在這里,您可以找到最新的AI科普文章、工具評(píng)測(cè)、提升效率的秘籍以及行業(yè)洞察。 歡迎關(guān)注“福大大架構(gòu)師每日一題”,發(fā)消息可獲得面試資料,讓AI助力您的未來(lái)發(fā)展。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.