GLM-4.6V開源，定義“行動多模態”新范式

始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在，歡迎加入共同成長。wisemodel推出邀請注冊獎勵活動，最高可得算力券+token包380元獎勵，歡迎參與和支持！

作為 GLM 系列在多模態方向上的一次重要迭代，GLM-4.6V 將訓練時上下文窗口提升到 128k tokens，在視覺理解精度上達到同參數規模 SOTA，并首次在模型架構中將Function Call（工具調用）能力原生融入視覺模型，打通從「視覺感知」到「可執行行動（Action）」的鏈路，為真實業務場景中的多模態 Agent 提供統一的技術底座。

智譜新發布、開源的GLM-4.6V 系列多模態大模型，共包含兩款模型：GLM-4.6V（106B-A12B）：面向云端與高性能集群場景的基礎版；GLM-4.6V-Flash（9B）：面向本地部署與低延遲應用的輕量版。均已上線始智AI-wisemodel開源社區，歡迎體驗。

模型地址

https://wisemodel.cn/organization/ZhipuAI

在性能優化之外，GLM-4.6V 系列相較于 GLM-4.5V降價 50%，API 調用價格低至輸入 1 元/百萬 tokens，輸出 3 元/百萬 tokens。

01.

原生多模態工具調用

傳統工具調用大多基于純文本，在面對圖像、視頻、復雜文檔等多模態內容時，需要多次中間轉換，帶來信息損失和工程復雜度。

GLM-4.6V 從設計之初就圍繞「圖像即參數，結果即上下文」，構建了原生多模態工具調用能力：

• 輸入多模態：圖像、截圖、文檔頁面等可以直接作為工具參數，無需先轉為文字描述再解析，減少鏈路損耗。

• 輸出多模態：對于工具返回的統計圖表、渲染后網頁截圖、檢索到的商品圖片等結果，模型能夠再次進行視覺理解，將其納入后續推理鏈路。

模型原生支持基于視覺輸入的工具調用，完整打通從感知到理解到執行的閉環。這使得 GLM-4.6V 能夠應對圖文混排輸出、商品識別與好價推薦、以及輔助型 Agent 場景等更復雜的視覺任務。

02.

典型場景

場景1：智能圖文混排與內容創作

在內容創作與知識分發場景中，GLM-4.6V 可以從多模態輸入中，自動構建高質量圖文輸出：無論是直接輸入圖文混雜的論文、研報、PPT，還是只給出一個主題，模型都能生成結構清晰、圖文并茂的社交媒體內容。

• 復雜圖文理解：接收包含文本、圖表、公式的文檔，準確抽取結構化關鍵信息。

• 多模態工具調用：在生成內容過程中，自動調用檢索/搜索類工具，為每一段落尋找候選圖片，或從原文中截取關鍵配圖。

• 圖文混排輸出與質量控制：對候選圖片進行「視覺審核」，評估其與文字內容的相關性與質量，自動過濾無關或低質圖片，輸出可直接用于公眾號、社交媒體或知識庫的結構化圖文結果。

這一流程中，多模態理解、工具調用與質量控制均由 GLM-4.6V 模型獨立在同一推理鏈路內完成。

??案例1：僅輸入主題，生成圖文資訊

??案例2：輸入論文，生成圖文并茂的科普文章

場景2：視覺驅動的識圖購物與導購 Agent

在電商購物場景中，GLM-4.6V 模型可以獨立完成從「看圖」、「比價」、「生成導購清單」的完整鏈路。

• 意圖識別與任務規劃：用戶上傳一張街拍圖并發出「搜同款」等指令時，模型識別出購物意圖，并自主規劃調用image_search等相關工具。

• 異構數據清洗與對齊：在京東、唯品會、拼多多等平臺返回的多模態、非結構化結果基礎上，模型自動完成信息清洗、字段歸一化與結果對齊，過濾噪聲和重復項。

• 多模態導購結果生成：最終生成一張標準化 Markdown 導購表格，包含平臺與店鋪來源、價格、商品縮略圖、匹配度與差異說明，以及可直接跳轉的購買鏈接。

場景3：前端復刻與多輪視覺交互開發

智譜重點優化了 GLM-4.6V 在前端復刻與多輪視覺交互修改方面的能力，幫助開發者縮短「設計稿到可運行頁面」的鏈路：

• 像素級前端復刻：上傳網頁截圖或設計稿后，模型可精準識別布局、組件與配色，生成高質量 HTML / CSS / JS 代碼，實現接近像素級的頁面還原。

• 視覺交互調試：支持基于截圖的多輪視覺交互。用戶可以在生成的網頁截圖上圈選區域并發出自然語言指令（如「把這個按鈕向左移一點，顏色改成深藍」），模型自動定位并修正對應代碼片段。

通過 GLM Coding Plan 的視覺 MCP 協議，這一能力可以集成進現有 IDE、設計工具或內部工程平臺，大幅提升前端迭代效率。

場景4：長上下文的文檔與視頻理解

GLM-4.6V 將視覺編碼器與語言模型的上下文對齊能力提升至128k，模型擁有了“過目不忘”的長記憶力。在實際應用中，128k上下文約等于150頁的復雜文檔、200頁PPT或一小時視頻，能夠在單次推理中處理多個長文檔或長視頻。

在下列案例中，用戶一次輸入 4 家上市公司的財報，GLM-4.6V 可以跨文檔統一抽取核心指標，并理解報表與圖表中的隱性信號，自動匯總成一張對比分析表，在長窗口條件下依然保持關鍵信息不丟失。

上述能力同樣適用于長視頻內容的理解與定位：

在長視頻理解場景下，GLM-4.6V 既能對整段內容進行全局梳理，又能結合時序線索做細粒度推理，精準定位關鍵時間點，例如自動完成一場足球比賽的進球事件與比分時間軸總結。

03.

同規模開源 SOTA

作為 GLM 系列在多模態方向上的一次重要迭代，GLM-4.6V 將訓練時上下文窗口提升到128k tokens，在視覺理解精度上達到同參數規模 SOTA，并首次在模型架構中將Function Call（工具調用）能力原生融入視覺模型，打通從「視覺感知」到「可執行行動（Action）」的鏈路，為真實業務場景中的多模態 Agent 提供統一的技術底座。

GLM-4.6V 在 MMBench、MathVista、OCRBench 等30+ 主流多模態評測基準上進行了驗證，較上一代模型取得顯著提升。在同等參數規模下，模型在多模態交互、邏輯推理和長上下文等關鍵能力上取得SOTA表現。其中 9B 版本的 GLM-4.6V-Flash 整體表現超過 Qwen3-VL-8B，106B 參數 12B 激活的 GLM-4.6V 表現比肩 2 倍參數量的 Qwen3-VL-235B。

----- END -----

wisemodel相關：

系列模型：

關于wisemodel更多

1

歡迎持續關注和支持

開源社區建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果，包括模型、數據集和代碼等發布到 wisemodel.cn 社區，共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續關注wisemodel.cn開源社區動態。

2

歡迎加盟wisemodel開源社區

始智AI wisemodel社區自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區，為了加快公司發展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發者生態運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優質內容

歡迎投稿分享人工智能領域相關的優秀研究成果，鼓勵高校實驗室、大企業研究團隊、個人等，在wisemodel平臺上分享各類優質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區

始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立，旨在打造和建設中立開放的AI開源創新社區，將打造成“HuggingFace”之外最活躍的AI開源社區，匯聚主要AI開源模型、數據集和代碼等，歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者，以及政府部門、學會協會、聯盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創新生態。

向上滑動查看