福建
歌官方發布全新AI壓縮算法TurboQuant，針對大語言模型、向量搜索引擎核心痛點，攻克鍵值緩存內存瓶頸難題，可實現約6倍內存節省，大幅降低AI系統部署門檻與算力成本，引發全球AI行業高度關注。該算法專為大模型推理階段優化，不損失模型性能的前提下，大幅壓縮緩存占用空間，讓中小算力設備也能流暢運行高端大模型，推動AI技術普惠化。
AI生成
隨著大模型上下文窗口不斷擴大，鍵值緩存占用內存激增，成為制約AI模型運行速度、普及應用的核心瓶頸。普通設備難以支撐大模型高效運行，高端算力設備成本高昂，導致AI落地成本居高不下。谷歌TurboQuant算法通過精準壓縮、高效解碼技術，針對性解決緩存占用問題，經過實測，在保持模型響應速度、回答精度不變的情況下，內存占用降至原先的六分之一左右，既能提升推理速度，又能降低硬件投入，兼具實用性與經濟性。
業內分析，該算法商用落地后，將深刻改變AI行業格局。一方面，大幅降低企業、個人使用大模型的門檻，中小廠商無需采購高端算力設備，即可開展AI研發與場景應用；另一方面，推動AI模型向輕量化、終端化發展，手機、邊緣設備、工控設備均可搭載高端大模型，拓展AI應用場景。目前谷歌已開放部分技術接口，后續將推進商業化落地。國內科技企業也在加速布局AI壓縮、輕量化技術，行業競爭加劇的同時，也將推動AI技術更快融入日常生活與產業生產。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
