![]()
NVIDIA 今日宣布,用于大規模生成式和智能體推理的開源軟件 NVIDIA Dynamo 1.0 現已在全球范圍內被廣泛采用。Dynamo 1.0 與 NVIDIA Blackwell 平臺相結合,助力云服務提供商、AI 創新者和全球企業能夠以無與倫比的規模、效率和速度提供高性能的 AI 推理服務。
隨著代理式 AI 系統在各行各業的應用,數據中心內的推理擴展已成為一項復雜的資源編排挑戰,不同規模、不同模態的請求以及性能目標會以不可預測的突發形式出現。
正如計算機的操作系統協調硬件和應用程序一樣,Dynamo 1.0 作為 AI 工廠的分布式“操作系統”,在集群中無縫地協調 GPU 和顯存、內存等存儲資源,以驅動復雜的 AI 工作負載。
此外,通過將 NVIDIA Dynamo 和 NVIDIA TensorRT? LLM 庫優化集成到 LangChain、llm-d、LMCache、SGLang、vLLM 等各大供應商的熱門框架中,NVIDIA 正在加速開源生態系統的發展。
NVIDIA 創始人兼首席執行官黃仁勛表示:“推理是智能的引擎,驅動了每一次查詢、每一個智能體以及每一個應用。通過 NVIDIA Dynamo,我們創建了首個面向 AI 工廠的‘操作系統’。整個生態系統中的快速采用表明新一波代理式 AI 浪潮已經到來,NVIDIA 正在全球范圍內推動其發展。”
以上為新聞摘要內容,如需閱讀新聞全文,請點擊鏈接:NVIDIA 推出 Dynamo 生產版本:廣泛采用的 AI 工廠推理操作系統 | NVIDIA 英偉達博客
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.