它像一個(gè)“全家桶”，打包提供了高質(zhì)量的數(shù)據(jù)、統(tǒng)一的評(píng)測(cè)基準(zhǔn)和強(qiáng)大的基礎(chǔ)模型。

作者丨北京深度邏輯科技

你是否想過(guò)，未來(lái)的智能音箱或手機(jī)語(yǔ)音助手，不僅能準(zhǔn)確識(shí)別你的每一句話，還能聽(tīng)出你語(yǔ)氣中的疲憊、興奮或是焦慮？在你口述一段會(huì)議錄音后，它不僅能生成文字稿，還能自動(dòng)提煉摘要、分析每個(gè)人的發(fā)言情緒？

這些場(chǎng)景的實(shí)現(xiàn)，依賴于一種能深度理解和處理人類(lèi)語(yǔ)音的大型AI模型。然而，與當(dāng)前能“看懂”圖像的大模型飛速發(fā)展不同，語(yǔ)音大模型領(lǐng)域的發(fā)展一直顯得有些“各自為戰(zhàn)”，進(jìn)展緩慢。

該領(lǐng)域長(zhǎng)期被碎片化的技術(shù)路線、不透明的訓(xùn)練數(shù)據(jù)和缺失的統(tǒng)一評(píng)測(cè)標(biāo)準(zhǔn)所困擾，導(dǎo)致各種模型難以公平比較，嚴(yán)重阻礙了技術(shù)的進(jìn)步。許多研究雖然發(fā)布了模型，但其成功的關(guān)鍵——訓(xùn)練數(shù)據(jù)和方法細(xì)節(jié)——卻常常被“雪藏”起來(lái)。

為了打破這一僵局，北京深度邏輯智能科技有限公司推出了LLaSO——首個(gè)完全開(kāi)放、端到端的語(yǔ)音大模型研究框架。它像一個(gè)“全家桶”，打包提供了高質(zhì)量的數(shù)據(jù)、統(tǒng)一的評(píng)測(cè)基準(zhǔn)和強(qiáng)大的基礎(chǔ)模型，旨在為整個(gè)行業(yè)鋪平道路，加速創(chuàng)新。

●論文地址：https://arxiv.org/abs/2508.15418v1

●代碼地址：https://github.com/EIT-NLP/LLaSO

●模型地址：https://huggingface.co/papers/2508.15418

01

語(yǔ)音大模型的困境：標(biāo)準(zhǔn)不一的“華山論劍”

為什么語(yǔ)音大模型的發(fā)展會(huì)遇到瓶頸？這就像一群頂尖廚師，雖然各有絕活，但因?yàn)椴俗V、廚具和評(píng)價(jià)標(biāo)準(zhǔn)完全不同，大家根本不知道誰(shuí)的廚藝更勝一籌，也難以學(xué)習(xí)借鑒。該領(lǐng)域主要面臨幾大核心挑戰(zhàn)：

1. 技術(shù)路線分歧：在如何讓AI同時(shí)理解語(yǔ)音和文字上，目前的技術(shù)路線非常多，但沒(méi)有一個(gè)公認(rèn)的、效果最好的標(biāo)準(zhǔn)范式。

2. 數(shù)據(jù)私有化：許多領(lǐng)先模型都依賴私有的海量數(shù)據(jù)進(jìn)行訓(xùn)練。這使得其他研究者無(wú)法復(fù)現(xiàn)其結(jié)果，也難以判斷模型的優(yōu)越性是來(lái)自算法創(chuàng)新還是數(shù)據(jù)“堆料”。

3. 任務(wù)范圍局限：現(xiàn)有數(shù)據(jù)集大多只關(guān)注“語(yǔ)音轉(zhuǎn)文字”等基礎(chǔ)任務(wù)，而忽略了語(yǔ)音中更豐富的信息，例如情感、口音、語(yǔ)調(diào)和說(shuō)話意圖。

4. 交互模式單一：大多數(shù)模型僅支持“用文字下指令，讓模型分析音頻”的單一模式，很少能處理更復(fù)雜的純語(yǔ)音對(duì)話。

這些問(wèn)題共同導(dǎo)致了研究的碎片化，使得系統(tǒng)性的技術(shù)突破變得異常困難。

02

LLaSO框架：用“三件套”打造統(tǒng)一標(biāo)準(zhǔn)

圖一：llaso語(yǔ)料庫(kù)的制作流程

為應(yīng)對(duì)上述挑戰(zhàn)，研究者構(gòu)建了LLaSO框架，它由三個(gè)核心的公開(kāi)資源組成：

1. LLaSO-Align（對(duì)齊數(shù)據(jù)集）：一個(gè)包含1200萬(wàn)樣本的龐大語(yǔ)料庫(kù)。它的核心任務(wù)是“語(yǔ)音轉(zhuǎn)文字”，通過(guò)海量數(shù)據(jù)讓模型學(xué)會(huì)將語(yǔ)音信號(hào)和文字的語(yǔ)義精準(zhǔn)對(duì)應(yīng)起來(lái)，這是模型“聽(tīng)懂”話語(yǔ)的基礎(chǔ)。

2. LLaSO-Instruct（指令數(shù)據(jù)集）：一個(gè)擁有1350萬(wàn)樣本的多任務(wù)指令庫(kù)。它不再局限于簡(jiǎn)單的語(yǔ)音轉(zhuǎn)文字，而是涵蓋了20種不同的任務(wù)，不僅能識(shí)別文字，還能識(shí)別說(shuō)話人的情感、口音、年齡，甚至判斷話語(yǔ)的意圖。這正是打造下一代智能助理和高效會(huì)議紀(jì)要工具的關(guān)鍵。更重要的是，它系統(tǒng)性地支持三種交互模式，包括純語(yǔ)音對(duì)話。
   

   
   

   圖二： LLaSO語(yǔ)料庫(kù)的任務(wù)組成

3. LLaSO-Eval（評(píng)估基準(zhǔn)）：一個(gè)包含超過(guò)1.5萬(wàn)個(gè)樣本的“標(biāo)準(zhǔn)化考場(chǎng)”。所有模型都可以在這個(gè)統(tǒng)一的基準(zhǔn)上進(jìn)行測(cè)試，得分高低一目了然，確保了評(píng)估的公平性和可復(fù)現(xiàn)性。

圖三：LLaSO-Base在LLaSO-Eval基準(zhǔn)測(cè)試上的表現(xiàn)結(jié)果

這三大組件共同構(gòu)成了一個(gè)完整的訓(xùn)練、微調(diào)和評(píng)估流水線，為語(yǔ)音大模型研究提供了前所未有的開(kāi)放性和便利性。

03

LLaSO-Base：一個(gè)強(qiáng)大且可復(fù)現(xiàn)的參考模型

為了驗(yàn)證LLaSO框架的有效性，研究團(tuán)隊(duì)還訓(xùn)練并發(fā)布了一個(gè)名為L(zhǎng)LaSO-Base的參考模型。該模型擁有38億參數(shù)，其設(shè)計(jì)目標(biāo)并非追求性能的極致，而是為了提供一個(gè)完全依賴LLaSO公開(kāi)數(shù)據(jù)、可被輕松復(fù)現(xiàn)的強(qiáng)大基線。

• 模型架構(gòu)：LLaSO-Base采用了已被驗(yàn)證的成功架構(gòu)，由三部分組成：一個(gè)語(yǔ)音編碼器（聽(tīng)覺(jué)）、一個(gè)投影器（轉(zhuǎn)換）和一個(gè)大型語(yǔ)言模型（大腦）。

• 訓(xùn)練過(guò)程：訓(xùn)練分為“對(duì)齊”和“指令微調(diào)”兩個(gè)階段，先讓模型學(xué)會(huì)語(yǔ)音和文字的對(duì)應(yīng)關(guān)系，再通過(guò)海量指令任務(wù)教會(huì)模型如何“思考”和執(zhí)行復(fù)雜任務(wù)。

圖四：LLaSO模型架構(gòu)示意圖

04

LLaSO-Base 模型實(shí)驗(yàn)結(jié)果分析

我們?cè)谝幌盗袊?yán)格設(shè)計(jì)的實(shí)驗(yàn)中，將LLaSO-Base 與多個(gè)業(yè)界領(lǐng)先的語(yǔ)音語(yǔ)言模型（LSLMs）進(jìn)行了直接對(duì)比。所有實(shí)驗(yàn)均在我們構(gòu)建的標(biāo)準(zhǔn)化評(píng)估基準(zhǔn) LLaSO-Eval 上完成，確保了比較的公平性和結(jié)果的可復(fù)現(xiàn)性。

1. 實(shí)驗(yàn)設(shè)置與評(píng)估基準(zhǔn)

   為確保評(píng)估的全面性，我們選取了10個(gè)主流的語(yǔ)音語(yǔ)言模型作為基準(zhǔn)，包括Qwen2-Audio、Typhoon-Audio、Salmonn、GLM-4-Voice、Mini-Omni、Kimi-Audio 等。所有模型的評(píng)估均在統(tǒng)一的LLaSO-Eval 測(cè)試集上進(jìn)行。

   
   

   圖五：詳細(xì)描述了 LLaSO-Eval 評(píng)估基準(zhǔn)的構(gòu)成。

1. 該基準(zhǔn)包含15,044 個(gè)樣本，覆蓋了 20 種不同任務(wù)。

   這些任務(wù)被系統(tǒng)地劃分為三大類(lèi)別，以實(shí)現(xiàn)對(duì)模型能力的深度剖析：

   ●語(yǔ)言學(xué)任務(wù)(Linguistic): 核心是自動(dòng)語(yǔ)音識(shí)別 (ASR)，評(píng)估模型最基礎(chǔ)的語(yǔ)音轉(zhuǎn)文本能力 。
   

   ●語(yǔ)義任務(wù)(Semantic): 核心是音頻問(wèn)答 (AQA)，評(píng)估模型對(duì)音頻內(nèi)容的高層次理解、推理和生成能力 。
   

   ●副語(yǔ)言學(xué)任務(wù)(Paralinguistic): 進(jìn)一步細(xì)分為“以說(shuō)話人為中心”（如性別、年齡、口音識(shí)別）和“以內(nèi)容為中心”（如意圖預(yù)測(cè)、實(shí)體提?。﹥深?lèi)，旨在評(píng)估模型對(duì)言外之意的捕捉能力 。

2. 評(píng)估指標(biāo)說(shuō)明

   我們的評(píng)估體系采用了多種指標(biāo)，以確保對(duì)模型各方面性能的精確衡量：

   ●WER/CER (詞/字錯(cuò)誤率): 用于 ASR 等轉(zhuǎn)錄任務(wù)，數(shù)值越低，表示準(zhǔn)確率越高。
   

   ●Accuracy (準(zhǔn)確率): 用于分類(lèi)任務(wù)（如性別、口音識(shí)別），數(shù)值越高，性能越好。
   

   ●MAE (平均絕對(duì)誤差): 用于數(shù)值預(yù)測(cè)任務(wù)（如年齡識(shí)別），數(shù)值越低，預(yù)測(cè)越精準(zhǔn)。
   

   ●GPT-4o Score (GPT-4o 評(píng)分): 針對(duì) AQA 等開(kāi)放式生成任務(wù)，我們使用 GPT-4o 對(duì)模型輸出的相關(guān)性和準(zhǔn)確性進(jìn)行1-5 分的打分，分?jǐn)?shù)越高代表表現(xiàn)越好。
   

   ●Abstention Rate (拒絕回答率): 衡量模型在面對(duì)不熟悉或困難任務(wù)時(shí)的“回避”傾向。此比率越低，說(shuō)明模型的指令遵循能力和魯棒性越強(qiáng)。

3. 總體性能對(duì)比：LLaSO-Base 表現(xiàn)全面領(lǐng)先

   
   

   圖六：直觀地展示了所有模型在 LLaSO-Eval 上的總體性能得分（經(jīng)過(guò)歸一化處理）。

   從圖中可以清晰地看到，LLaSO-Base 取得了 0.72 的最高分，位列第一 。這一成績(jī)顯著優(yōu)于其他所有競(jìng)爭(zhēng)模型，例如表現(xiàn)次之的Kimi-Audio (0.65) 和 Qwen2-Audio (0.57) 。這一結(jié)果強(qiáng)有力地證明了 LLaSO-Base 的綜合實(shí)力。研究發(fā)現(xiàn)，像 LLaSO-Base 這樣在更多樣化的任務(wù)上進(jìn)行訓(xùn)練的模型，其綜合性能遠(yuǎn)超那些主要針對(duì) AQA 等少數(shù)任務(wù)進(jìn)行優(yōu)化的模型（如 Llama-Omni 和 Mini-Omni）。這凸顯了我們所提倡的廣泛任務(wù)覆蓋訓(xùn)練策略的有效性。

4. 詳細(xì)任務(wù)性能分析

圖七：深入比較了各模型在語(yǔ)言學(xué) (ASR) 和語(yǔ)義 (AQA) 任務(wù)上的具體表現(xiàn) 。

●在ASR 任務(wù)上，LLaSO-Base 展現(xiàn)了壓倒性優(yōu)勢(shì)。其 WER 和 CER 分別低至 0.08 和 0.03，是所有模型中最低的，這意味著它擁有最精準(zhǔn)的語(yǔ)音轉(zhuǎn)錄能力 。相比之下，即便是 Kimi-Audio (WER 0.14) 和 Typhoon-Audio (WER 0.11) 等強(qiáng)勁對(duì)手，也存在明顯差距 。

●在AQA 任務(wù)上，競(jìng)爭(zhēng)十分激烈。Kimi-Audio 在標(biāo)準(zhǔn)“文本指令+音頻輸入”模態(tài)下表現(xiàn)突出，獲得了 3.35 的高分 。LLaSO-Base 在此項(xiàng)上得分 2.58，表現(xiàn)穩(wěn)健 。但值得注意的是，在更具挑戰(zhàn)性的“音頻指令+文本輸入”模態(tài)下，

LLaSO-Base 的得分 (2.70) 展現(xiàn)了更強(qiáng)的模態(tài)適應(yīng)性，超過(guò)了多數(shù)模型 。

圖八：呈現(xiàn)了在 18 個(gè)細(xì)分的副語(yǔ)言學(xué)任務(wù)上的對(duì)比結(jié)果，這是對(duì)模型能否理解 “弦外之音” 的終極考驗(yàn)。

在這些更復(fù)雜的任務(wù)上，LLaSO-Base 幾乎在所有任務(wù)上都取得了頂尖或接近頂尖的成績(jī)。

●以說(shuō)話人為中心的任務(wù)：在說(shuō)話人性別識(shí)別(SGC) 和口音分類(lèi) (AC) 任務(wù)上，LLaSO-Base 的準(zhǔn)確率名列前茅，展現(xiàn)了對(duì)說(shuō)話人特征的敏銳洞察力 。

●以內(nèi)容為中心的任務(wù)：LLaSO-Base 的優(yōu)勢(shì)更為顯著。在音素識(shí)別 (PR) 任務(wù)中，其 PER 僅為 0.03；在語(yǔ)音命令識(shí)別 (SCR) 任務(wù)中，WER/CER 低至 0.04/0.02 。這兩項(xiàng)指標(biāo)均以數(shù)量級(jí)的優(yōu)勢(shì)領(lǐng)先于所有其他模型，展示了其在精細(xì)語(yǔ)音內(nèi)容分析上的卓越能力。

指令遵循能力：更重要的是，LLaSO-Base 在這些任務(wù)中的拒絕回答率極低。相比之下，Llama-Omni 和 Mini-Omni 等模型在許多副語(yǔ)言學(xué)任務(wù)上直接選擇“拒絕回答”（表格中標(biāo)記為 "Reject"），這表明它們?nèi)狈μ幚泶祟?lèi)任務(wù)的能力。LLaSO-Base 的穩(wěn)定響應(yīng)證明了其強(qiáng)大的指令遵循能力和任務(wù)泛化性。

05
總結(jié)與展望

LLaSO的出現(xiàn)，為相對(duì)混亂的語(yǔ)音大模型領(lǐng)域樹(shù)立了一個(gè)開(kāi)放、統(tǒng)一的基礎(chǔ)標(biāo)準(zhǔn)。通過(guò)首次發(fā)布涵蓋數(shù)據(jù)、基準(zhǔn)和模型的完整開(kāi)源資源，LLaSO極大地降低了研究門(mén)檻，使開(kāi)發(fā)者能在一個(gè)公平、透明的平臺(tái)上進(jìn)行比較和創(chuàng)新。

我們有理由相信，這個(gè)“全家桶”式的開(kāi)源項(xiàng)目將催化語(yǔ)音大模型領(lǐng)域的下一波浪潮，為開(kāi)發(fā)者們鋪平了道路，讓打造出真正懂你心聲的AI語(yǔ)音應(yīng)用成為可能。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。