邏輯智能推出LLaSO開源框架！讓語音助手聽出“弦外之音”

始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。

你是否想過，未來的智能音箱或手機語音助手，不僅能準確識別你的每一句話，還能聽出你語氣中的疲憊、興奮或是焦慮？在你口述一段會議錄音后，它不僅能生成文字稿，還能自動提煉摘要、分析每個人的發(fā)言情緒？

這些場景的實現(xiàn)，依賴于一種能深度理解和處理人類語音的大型AI模型。然而，與當前能“看懂”圖像的大模型飛速發(fā)展不同，語音大模型領域的發(fā)展一直顯得有些“各自為戰(zhàn)”，進展緩慢。

該領域長期被碎片化的技術(shù)路線、不透明的訓練數(shù)據(jù)和缺失的統(tǒng)一評測標準所困擾，導致各種模型難以公平比較，嚴重阻礙了技術(shù)的進步。許多研究雖然發(fā)布了模型，但其成功的關鍵——訓練數(shù)據(jù)和方法細節(jié)——卻常常被“雪藏”起來。

為了打破這一僵局，北京深度邏輯智能科技有限公司推出了LLaSO——首個完全開放、端到端的語音大模型研究框架。它像一個“全家桶”，打包提供了高質(zhì)量的數(shù)據(jù)、統(tǒng)一的評測基準和強大的基礎模型，旨在為整個行業(yè)鋪平道路，加速創(chuàng)新。

LLaSO已上線始智AI-wisemodel開源社區(qū)，歡迎大家前去體驗。

模型地址

https://wisemodel.cn/models/Logic_Intelligence.2023/LLaSO-Base-3.8B-Instruct

01.

模型介紹

語音大模型的困境：標準不一的“華山論劍”

為什么語音大模型的發(fā)展會遇到瓶頸？這就像一群頂尖廚師，雖然各有絕活，但因為菜譜、廚具和評價標準完全不同，大家根本不知道誰的廚藝更勝一籌，也難以學習借鑒。該領域主要面臨幾大核心挑戰(zhàn)：

1、技術(shù)路線分歧：在如何讓AI同時理解語音和文字上，目前的技術(shù)路線非常多，但沒有一個公認的、效果最好的標準范式。

2、數(shù)據(jù)私有化：許多領先模型都依賴私有的海量數(shù)據(jù)進行訓練。這使得其他研究者無法復現(xiàn)其結(jié)果，也難以判斷模型的優(yōu)越性是來自算法創(chuàng)新還是數(shù)據(jù)“堆料”。

3、任務范圍局限：現(xiàn)有數(shù)據(jù)集大多只關注“語音轉(zhuǎn)文字”等基礎任務，而忽略了語音中更豐富的信息，例如情感、口音、語調(diào)和說話意圖。

4、交互模式單一：大多數(shù)模型僅支持“用文字下指令，讓模型分析音頻”的單一模式，很少能處理更復雜的純語音對話。

這些問題共同導致了研究的碎片化，使得系統(tǒng)性的技術(shù)突破變得異常困難。

LLaSO框架：用“三件套”打造統(tǒng)一標準

圖一：llaso語料庫的制作流程

為應對上述挑戰(zhàn)，邏輯智能團隊構(gòu)建了LLaSO框架，它由三個核心的公開資源組成：

1、LLaSO-Align（對齊數(shù)據(jù)集）：一個包含1200萬樣本的龐大語料庫。它的核心任務是“語音轉(zhuǎn)文字”，通過海量數(shù)據(jù)讓模型學會將語音信號和文字的語義精準對應起來，這是模型“聽懂”話語的基礎。

2、LLaSO-Instruct（指令數(shù)據(jù)集）：一個擁有1350萬樣本的多任務指令庫。它不再局限于簡單的語音轉(zhuǎn)文字，而是涵蓋了20種不同的任務，不僅能識別文字，還能識別說話人的情感、口音、年齡，甚至判斷話語的意圖。這正是打造下一代智能助理和高效會議紀要工具的關鍵。更重要的是，它系統(tǒng)性地支持三種交互模式，包括純語音對話。

圖二：LLaSO語料庫的任務組成

3、LLaSO-Eval（評估基準）：一個包含超過1.5萬個樣本的“標準化考場”。所有模型都可以在這個統(tǒng)一的基準上進行測試，得分高低一目了然，確保了評估的公平性和可復現(xiàn)性。

圖三：LLaSO-Base在LLaSO-Eval基準測試上的表現(xiàn)結(jié)果

這三大組件共同構(gòu)成了一個完整的訓練、微調(diào)和評估流水線，為語音大模型研究提供了前所未有的開放性和便利性。

LLaSO-Base：一個強大且可復現(xiàn)的參考模型

為了驗證LLaSO框架的有效性，邏輯智能團隊還訓練并發(fā)布了一個名為LLaSO-Base的參考模型。該模型擁有38億參數(shù)，其設計目標并非追求性能的極致，而是為了提供一個完全依賴LLaSO公開數(shù)據(jù)、可被輕松復現(xiàn)的強大基線。

• 模型架構(gòu)：LLaSO-Base采用了已被驗證的成功架構(gòu)，由三部分組成：一個語音編碼器（聽覺）、一個投影器（轉(zhuǎn)換）和一個大型語言模型（大腦）。

• 訓練過程：訓練分為“對齊”和“指令微調(diào)”兩個階段，先讓模型學會語音和文字的對應關系，再通過海量指令任務教會模型如何“思考”和執(zhí)行復雜任務。

圖四：LLaSO模型架構(gòu)示意圖

02.

模型效果

在LLaSO-Eval這個標準“考場”上，LLaSO-Base的表現(xiàn)如何？

數(shù)據(jù)顯示，LLaSO-Base的綜合歸一化得分達到了0.72分，在所有11個參與評測的主流模型中位列第一，顯著優(yōu)于第二名Kimi-Audio（0.65分）和第三名Qwen2-Audio（0.57分），證明了LLaSO框架的有效性。

通過全面的評測，研究還得出了幾個關鍵結(jié)論：

• 任務多樣性是關鍵：經(jīng)過更多樣化任務訓練的模型，不僅綜合性能更強，也更“聽話”，不容易拒絕回答問題。

• 純語音對話是硬骨頭：對大多數(shù)模型而言，完全通過語音進行交互的場景仍然是一個巨大挑戰(zhàn)。

• 模型更擅長理解“說什么”，而非“誰在說”：模型在分析語音中的“內(nèi)容意圖”時表現(xiàn)更好，但在識別“說話人特征”（如年齡、口音）方面仍有提升空間。

圖五：LLaSO-Base的實驗結(jié)果

編輯丨趙雅鑫

----- END -----

wisemodel相關：

系列模型：

關于wisemodel更多

1

歡迎持續(xù)關注和支持

開源社區(qū)建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關注wisemodel.cn開源社區(qū)動態(tài)，

2

歡迎加盟wisemodel開源社區(qū)

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領域相關的優(yōu)秀研究成果，鼓勵高校實驗室、大企業(yè)研究團隊、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術(shù)實踐、應用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學會協(xié)會、聯(lián)盟、基金會等，還有投資機構(gòu)、科技媒體等，共同參與建設AI開源創(chuàng)新生態(tài)。

向上滑動查看