始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。

你是否想過，未來的智能音箱或手機(jī)語音助手，不僅能準(zhǔn)確識別你的每一句話，還能聽出你語氣中的疲憊、興奮或是焦慮？在你口述一段會議錄音后，它不僅能生成文字稿，還能自動提煉摘要、分析每個人的發(fā)言情緒？

這些場景的實(shí)現(xiàn)，依賴于一種能深度理解和處理人類語音的大型AI模型。然而，與當(dāng)前能“看懂”圖像的大模型飛速發(fā)展不同，語音大模型領(lǐng)域的發(fā)展一直顯得有些“各自為戰(zhàn)”，進(jìn)展緩慢。

該領(lǐng)域長期被碎片化的技術(shù)路線、不透明的訓(xùn)練數(shù)據(jù)和缺失的統(tǒng)一評測標(biāo)準(zhǔn)所困擾，導(dǎo)致各種模型難以公平比較，嚴(yán)重阻礙了技術(shù)的進(jìn)步。許多研究雖然發(fā)布了模型，但其成功的關(guān)鍵——訓(xùn)練數(shù)據(jù)和方法細(xì)節(jié)——卻常常被“雪藏”起來。

為了打破這一僵局，北京深度邏輯智能科技有限公司推出了LLaSO——首個完全開放、端到端的語音大模型研究框架。它像一個“全家桶”，打包提供了高質(zhì)量的數(shù)據(jù)、統(tǒng)一的評測基準(zhǔn)和強(qiáng)大的基礎(chǔ)模型，旨在為整個行業(yè)鋪平道路，加速創(chuàng)新。

LLaSO已上線始智AI-wisemodel開源社區(qū)，歡迎大家前去體驗(yàn)。

模型地址

https://wisemodel.cn/models/Logic_Intelligence.2023/LLaSO-Base-3.8B-Instruct

01.

模型介紹

語音大模型的困境：標(biāo)準(zhǔn)不一的“華山論劍”

為什么語音大模型的發(fā)展會遇到瓶頸？這就像一群頂尖廚師，雖然各有絕活，但因?yàn)椴俗V、廚具和評價標(biāo)準(zhǔn)完全不同，大家根本不知道誰的廚藝更勝一籌，也難以學(xué)習(xí)借鑒。該領(lǐng)域主要面臨幾大核心挑戰(zhàn)：

1、技術(shù)路線分歧：在如何讓AI同時理解語音和文字上，目前的技術(shù)路線非常多，但沒有一個公認(rèn)的、效果最好的標(biāo)準(zhǔn)范式。

2、數(shù)據(jù)私有化：許多領(lǐng)先模型都依賴私有的海量數(shù)據(jù)進(jìn)行訓(xùn)練。這使得其他研究者無法復(fù)現(xiàn)其結(jié)果，也難以判斷模型的優(yōu)越性是來自算法創(chuàng)新還是數(shù)據(jù)“堆料”。

3、任務(wù)范圍局限：現(xiàn)有數(shù)據(jù)集大多只關(guān)注“語音轉(zhuǎn)文字”等基礎(chǔ)任務(wù)，而忽略了語音中更豐富的信息，例如情感、口音、語調(diào)和說話意圖。

4、交互模式單一：大多數(shù)模型僅支持“用文字下指令，讓模型分析音頻”的單一模式，很少能處理更復(fù)雜的純語音對話。

這些問題共同導(dǎo)致了研究的碎片化，使得系統(tǒng)性的技術(shù)突破變得異常困難。

LLaSO框架：用“三件套”打造統(tǒng)一標(biāo)準(zhǔn)

圖一：llaso語料庫的制作流程

為應(yīng)對上述挑戰(zhàn)，邏輯智能團(tuán)隊構(gòu)建了LLaSO框架，它由三個核心的公開資源組成：

1、LLaSO-Align（對齊數(shù)據(jù)集）：一個包含1200萬樣本的龐大語料庫。它的核心任務(wù)是“語音轉(zhuǎn)文字”，通過海量數(shù)據(jù)讓模型學(xué)會將語音信號和文字的語義精準(zhǔn)對應(yīng)起來，這是模型“聽懂”話語的基礎(chǔ)。

2、LLaSO-Instruct（指令數(shù)據(jù)集）：一個擁有1350萬樣本的多任務(wù)指令庫。它不再局限于簡單的語音轉(zhuǎn)文字，而是涵蓋了20種不同的任務(wù)，不僅能識別文字，還能識別說話人的情感、口音、年齡，甚至判斷話語的意圖。這正是打造下一代智能助理和高效會議紀(jì)要工具的關(guān)鍵。更重要的是，它系統(tǒng)性地支持三種交互模式，包括純語音對話。

圖二：LLaSO語料庫的任務(wù)組成

3、LLaSO-Eval（評估基準(zhǔn)）：一個包含超過1.5萬個樣本的“標(biāo)準(zhǔn)化考場”。所有模型都可以在這個統(tǒng)一的基準(zhǔn)上進(jìn)行測試，得分高低一目了然，確保了評估的公平性和可復(fù)現(xiàn)性。

圖三：LLaSO-Base在LLaSO-Eval基準(zhǔn)測試上的表現(xiàn)結(jié)果

這三大組件共同構(gòu)成了一個完整的訓(xùn)練、微調(diào)和評估流水線，為語音大模型研究提供了前所未有的開放性和便利性。

LLaSO-Base：一個強(qiáng)大且可復(fù)現(xiàn)的參考模型

為了驗(yàn)證LLaSO框架的有效性，邏輯智能團(tuán)隊還訓(xùn)練并發(fā)布了一個名為LLaSO-Base的參考模型。該模型擁有38億參數(shù)，其設(shè)計目標(biāo)并非追求性能的極致，而是為了提供一個完全依賴LLaSO公開數(shù)據(jù)、可被輕松復(fù)現(xiàn)的強(qiáng)大基線。

• 模型架構(gòu)：LLaSO-Base采用了已被驗(yàn)證的成功架構(gòu)，由三部分組成：一個語音編碼器（聽覺）、一個投影器（轉(zhuǎn)換）和一個大型語言模型（大腦）。

• 訓(xùn)練過程：訓(xùn)練分為“對齊”和“指令微調(diào)”兩個階段，先讓模型學(xué)會語音和文字的對應(yīng)關(guān)系，再通過海量指令任務(wù)教會模型如何“思考”和執(zhí)行復(fù)雜任務(wù)。

圖四：LLaSO模型架構(gòu)示意圖

02.

模型效果

在LLaSO-Eval這個標(biāo)準(zhǔn)“考場”上，LLaSO-Base的表現(xiàn)如何？

數(shù)據(jù)顯示，LLaSO-Base的綜合歸一化得分達(dá)到了0.72分，在所有11個參與評測的主流模型中位列第一，顯著優(yōu)于第二名Kimi-Audio（0.65分）和第三名Qwen2-Audio（0.57分），證明了LLaSO框架的有效性。

通過全面的評測，研究還得出了幾個關(guān)鍵結(jié)論：

• 任務(wù)多樣性是關(guān)鍵：經(jīng)過更多樣化任務(wù)訓(xùn)練的模型，不僅綜合性能更強(qiáng)，也更“聽話”，不容易拒絕回答問題。

• 純語音對話是硬骨頭：對大多數(shù)模型而言，完全通過語音進(jìn)行交互的場景仍然是一個巨大挑戰(zhàn)。

• 模型更擅長理解“說什么”，而非“誰在說”：模型在分析語音中的“內(nèi)容意圖”時表現(xiàn)更好，但在識別“說話人特征”（如年齡、口音）方面仍有提升空間。

圖五：LLaSO-Base的實(shí)驗(yàn)結(jié)果

編輯丨趙雅鑫

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動態(tài)，

2

歡迎加盟wisemodel開源社區(qū)

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核⒋笮突ヂ?lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學(xué)會協(xié)會、聯(lián)盟、基金會等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動查看