編輯｜陳萍、Panda

繼 SAM（Segment Anything Model）、SAM 3D 后，Meta 又有了新動(dòng)作。

深夜，Meta 放出音頻分割模型SAM Audio，其通過多模態(tài)提示（無論是文本、視覺，還是標(biāo)注時(shí)間片段），讓人們能夠輕松地從復(fù)雜的音頻混合中分離出任意聲音，從而徹底改變音頻處理方式。

SAM Audio 的核心是Perception Encoder Audiovisual（PE-AV），這是推動(dòng)其實(shí)現(xiàn)業(yè)界領(lǐng)先性能的技術(shù)引擎。

PE-AV 基于 Meta 今年早些時(shí)候開源發(fā)布的 Perception Encoder 模型，能夠支持更先進(jìn)的計(jì)算機(jī)視覺系統(tǒng)，幫助人們完成日常任務(wù)，其中就包括聲音檢測(cè)。

你可以把 PE-AV 想象成幫助 SAM Audio 運(yùn)作的耳朵，而 SAM Audio 則是完成音頻分割任務(wù)的大腦。這兩者的結(jié)合帶來了許多令人興奮的應(yīng)用場(chǎng)景。

設(shè)想一下：一段樂隊(duì)演出的錄像，只需在畫面中點(diǎn)擊一下吉他，就能單獨(dú)分離出吉他的聲音。SAM Audio 還可以通過文本提示進(jìn)行音頻分離，比如從戶外拍攝的視頻中濾除嘈雜的交通噪聲。此外，Meta 業(yè)內(nèi)首創(chuàng)的時(shí)間跨度提示（span prompts），可以幫助人們一次性解決整段音頻中的問題，例如在整期播客錄音中去除持續(xù)出現(xiàn)的狗叫聲等噪音。

Meta 表示，他們正在利用這些技術(shù)進(jìn)展來構(gòu)建下一代創(chuàng)意媒體工具。相關(guān)團(tuán)隊(duì)看到了大量潛在的應(yīng)用場(chǎng)景，包括音頻清理、背景噪聲移除，以及其他能夠幫助用戶提升創(chuàng)造力的工具。此次，Meta 向社區(qū)開放了 SAM Audio 和 PE-AV，并同時(shí)發(fā)布了兩篇研究論文，分別深入介紹了這兩個(gè)模型的技術(shù)細(xì)節(jié)。此外，Meta 還發(fā)布了：

1. SAM Audio-Bench：首個(gè)真實(shí)環(huán)境（in-the-wild）的音頻分離基準(zhǔn)；
2. SAM Audio Judge：首個(gè)用于音頻分離的自動(dòng)評(píng)測(cè)模型。

Meta 還將上述所有成果整合進(jìn) Segment Anything Playground，這是一個(gè)全新的平臺(tái)，任何人都可以在其中體驗(yàn)其最新模型。

地址：https://aidemos.meta.com/segment-anything

從即日起，用戶可以從平臺(tái)提供的音頻和視頻素材庫(kù)中進(jìn)行選擇，或上傳自己的內(nèi)容，以探索 SAM Audio 的能力。Meta 表示，他們期待繼續(xù)圍繞 SAM 展開討論 —— 而這一次，也將首次聽到用戶使用這些突破性新模型所創(chuàng)作出的內(nèi)容。

用于音頻分割的統(tǒng)一多模態(tài)提示模型

在此之前，音頻分割和編輯一直是一個(gè)較為割裂的領(lǐng)域，市面上存在著多種只針對(duì)單一用途的工具。作為一個(gè)統(tǒng)一模型，SAM Audio 首次支持多種交互方式，這些方式與人們自然理解和思考聲音的方式高度契合，并在多項(xiàng)任務(wù)上實(shí)現(xiàn)了業(yè)界領(lǐng)先的性能，包括在文本提示和視覺提示條件下的樂器、人聲以及通用聲音分離。

SAM Audio 能夠在多樣且真實(shí)的應(yīng)用場(chǎng)景中穩(wěn)定運(yùn)行，支持使用文本、視覺以及時(shí)間維度的線索進(jìn)行音頻分割。這種方法為用戶提供了對(duì)音頻分離過程更精確、更直觀的控制能力。

該模型提供了三種音頻分割方式，這些方式既可以單獨(dú)使用，也可以靈活組合，以實(shí)現(xiàn)所需的分割效果：

1. 文本提示：輸入「狗叫聲」或「歌唱聲」等描述，即可提取對(duì)應(yīng)的特定聲音。
2. 視覺提示：在視頻中點(diǎn)擊正在說話的人或發(fā)聲的物體，即可分離其對(duì)應(yīng)的音頻。
3. 時(shí)間跨度提示（Span Prompting）：業(yè)內(nèi)首創(chuàng)的方法，允許用戶標(biāo)記目標(biāo)聲音出現(xiàn)的時(shí)間片段，從而實(shí)現(xiàn)更精確的音頻分割。

1. SAM Audio 論文地址：https://ai.meta.com/research/publications/sam-audio-segment-anything-in-audio/
2. 代碼地址：https://github.com/facebookresearch/sam-audio

模型架構(gòu)

從核心技術(shù)上看，SAM Audio 采用了一種基于流匹配擴(kuò)散 Transformer 的生成式建模框架。該架構(gòu)接收一段混合音頻以及一個(gè)或多個(gè)提示信息，將它們編碼為共享表示，并生成目標(biāo)音軌與剩余音軌。

在生成式建模框架之外，研究團(tuán)隊(duì)還為 SAM Audio 構(gòu)建了一套完整的數(shù)據(jù)引擎，用于解決大規(guī)模、高質(zhì)量音頻分離數(shù)據(jù)難以獲取的問題。該數(shù)據(jù)引擎融合了先進(jìn)的音頻混合技術(shù)、自動(dòng)化的多模態(tài)提示生成方法，以及穩(wěn)健的偽標(biāo)簽（pseudo-labeling）pipeline，從而生成貼近真實(shí)應(yīng)用場(chǎng)景的訓(xùn)練數(shù)據(jù)，用于提升模型在現(xiàn)實(shí)世界中的表現(xiàn)。

該模型基于這一多樣化的數(shù)據(jù)集進(jìn)行訓(xùn)練，數(shù)據(jù)集涵蓋了真實(shí)與合成的混合音頻，內(nèi)容橫跨語音、音樂以及各類通用聲音事件。先進(jìn)的音頻數(shù)據(jù)合成策略進(jìn)一步提升了模型的魯棒性，確保其在各種復(fù)雜環(huán)境中都能保持穩(wěn)定、可靠的表現(xiàn)。

感知編碼器（視聽版）

第二個(gè)模型 PE-AV 是支撐 SAM Audio 效果表現(xiàn)的核心引擎。它為多個(gè)關(guān)鍵組件提供能力支持，包括主字幕生成模型以及 SAM Audio Judge（用于音頻分離的自動(dòng)評(píng)測(cè)模型）。

1. PE-AV 論文地址：https://ai.meta.com/research/publications/pushing-the-frontier-of-audiovisual-perception-with-large-scale-multimodal-correspondence-learning/
2. 代碼地址：https://github.com/facebookresearch/perception_models

PE-AV 構(gòu)建于 Meta Perception Encoder 之上，這是 Meta 于今年 4 月發(fā)布的一個(gè)開源模型。在此基礎(chǔ)上，PE-AV 將先進(jìn)的計(jì)算機(jī)視覺能力擴(kuò)展到了音頻領(lǐng)域。正如團(tuán)隊(duì)此前在 SAM 3 中將該模型適配用于目標(biāo)檢測(cè)一樣，這一次又進(jìn)一步擴(kuò)展了其框架，使其能夠?qū)β曇暨M(jìn)行編碼，從而支持 SAM Audio 對(duì)復(fù)雜音頻混合的分離，并適應(yīng)那些視覺上下文同樣重要的真實(shí)世界應(yīng)用場(chǎng)景。

通過提取逐幀級(jí)別的視頻特征并將其與音頻表示進(jìn)行對(duì)齊，系統(tǒng)能夠融合視聽信息并為其加上精確的時(shí)間標(biāo)注。這種設(shè)計(jì)使 SAM Audio 能夠準(zhǔn)確分離那些在視覺上有明確對(duì)應(yīng)的聲源，例如畫面中的說話者或正在演奏的樂器，同時(shí)也可以結(jié)合場(chǎng)景上下文，對(duì)畫面外發(fā)生的聲音事件進(jìn)行推斷。

PE-AV 通過在精確的時(shí)間點(diǎn)上對(duì)齊視頻幀與音頻，提供了穩(wěn)健且語義信息豐富的特征表示。這種時(shí)間對(duì)齊機(jī)制對(duì)于將所見與所聞進(jìn)行匹配至關(guān)重要，是實(shí)現(xiàn)高精度多模態(tài)音頻分離的基礎(chǔ)。如果缺少這一能力，模型將無法獲得足夠細(xì)粒度的視覺理解，從而難以實(shí)現(xiàn)靈活且符合人類感知的音頻分割效果。

從技術(shù)層面來看，PE-AV 融合了多種開源組件和前沿研究成果。除 Meta 的 Perception Encoder 之外，該模型還使用 PyTorchVideo 進(jìn)行高效的視頻處理，利用 FAISS 實(shí)現(xiàn)大規(guī)模語義搜索，并引入了對(duì)比學(xué)習(xí)框架來提升多模態(tài)表示能力。

PE-AV 基于超過 1 億條視頻進(jìn)行訓(xùn)練，采用大規(guī)模多模態(tài)對(duì)比學(xué)習(xí)方法，訓(xùn)練數(shù)據(jù)來自開放數(shù)據(jù)集以及合成字幕生成流水線，從而確保了數(shù)據(jù)覆蓋的廣泛性和模型的強(qiáng)泛化能力。這些要素共同構(gòu)建了一個(gè)靈活且高性能的基礎(chǔ)架構(gòu)，能夠支持文本、視覺和時(shí)間維度的提示方式，適用于多種音頻分離與理解任務(wù)。

SAM Audio Judge

Meta 還發(fā)布了SAM Audio Judge，這是一套全新的評(píng)測(cè)框架與模型，旨在以更加貼近人類感知方式來評(píng)估音頻分割質(zhì)量。與傳統(tǒng)依賴參考音軌進(jìn)行對(duì)比的評(píng)測(cè)指標(biāo)不同，這些指標(biāo)往往難以捕捉人類真實(shí)聽感中的細(xì)微差別，SAM Audio Judge 提供了一種無需參考音頻的客觀評(píng)測(cè)方式，從感知層面對(duì)分割后的音頻進(jìn)行評(píng)價(jià)。

用戶可以借助 SAM Audio Judge，在音樂、語音以及音效等不同場(chǎng)景下，對(duì)音頻分離模型進(jìn)行評(píng)測(cè)和比較，從而深入了解輸出質(zhì)量以及音頻分離任務(wù)本身的內(nèi)在難度。SAM Audio Judge 的構(gòu)建始于對(duì) 9 個(gè)感知維度的定義，其中包括召回率（recall）、精確度（precision）、忠實(shí)度（faithfulness）和整體質(zhì)量（overall quality）等。隨后，研究團(tuán)隊(duì)依據(jù)詳細(xì)的標(biāo)注規(guī)范，采用五分制量表收集了大量人工評(píng)分?jǐn)?shù)據(jù)。

在模型設(shè)計(jì)上，SAM Audio Judge 結(jié)合了先進(jìn)的音頻與文本編碼器、Transformer 主干網(wǎng)絡(luò)，以及一種獨(dú)特的預(yù)訓(xùn)練策略，用于提升模型判斷輸出是否符合文本提示的能力。感知對(duì)齊的評(píng)測(cè)標(biāo)準(zhǔn)、嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)采集流程與創(chuàng)新的模型架構(gòu)相結(jié)合，為推動(dòng)音頻分離領(lǐng)域的發(fā)展提供了有力支撐。

SAM Audio-Bench

此外，為了在不同任務(wù)之間對(duì)模型性能進(jìn)行一致且有意義的評(píng)估，該團(tuán)隊(duì)還構(gòu)建了一個(gè)新基準(zhǔn)：SAM Audio-Bench。

這是一個(gè)全面的音頻分離基準(zhǔn)，覆蓋了所有主要音頻領(lǐng)域。包括語音、音樂和通用音效。同時(shí)也覆蓋了文本、視覺以及時(shí)間段提示等多種提示類型。

該團(tuán)隊(duì)表示：「該基準(zhǔn)能夠?qū)Ψ蛛x模型進(jìn)行公平評(píng)測(cè)。從而確保該領(lǐng)域的進(jìn)展是可衡量的。并且與日常使用場(chǎng)景密切相關(guān)?！?/p>

該團(tuán)隊(duì)表示，這種方法可確保 SAM Audio-Bench 更加真實(shí)且更具靈活性。它支持從語音和音樂分離，到樂器以及通用聲音提取等多種任務(wù)。所有能力都統(tǒng)一在一個(gè)框架之中。

SAM Audio-Bench 還率先引入了無參考評(píng)估（reference-free evaluation）方式。

這使得在不需要孤立參考音軌的情況下，也可以評(píng)估音頻分離效果。它結(jié)合了人工聽感測(cè)試與 SAM Audio Judge 模型。即使原始音軌不可用，也能提供可靠的評(píng)估結(jié)果。

通過融合真實(shí)世界音頻、多模態(tài)提示，以及對(duì)不同聲音領(lǐng)域的全面覆蓋，可以說 SAM Audio-Bench 為音頻分離系統(tǒng)的測(cè)試樹立了新標(biāo)準(zhǔn)。這一標(biāo)準(zhǔn)能更好地反映模型在實(shí)驗(yàn)室之外的實(shí)際使用方式。

結(jié)果

SAM Audio 在音頻分離技術(shù)上取得了顯著進(jìn)展。它在多種基準(zhǔn)和任務(wù)上超越了此前的最先進(jìn)模型。

該模型不僅在通用音頻分離方面顯著領(lǐng)先于以往工作，還在所有音頻類別上達(dá)到了最佳領(lǐng)域?qū)Ｓ媚Ｐ偷男阅芩?。這些類別包括語音、音樂以及通用聲音。

其多模態(tài)提示機(jī)制支持文本、視覺和點(diǎn)擊式輸入。這使得模型能夠進(jìn)行靈活、開放域的音頻分割。因此既適用于真實(shí)環(huán)境中的應(yīng)用，也適用于專業(yè)音頻場(chǎng)景。

性能評(píng)估表明，SAM Audio 在各類模態(tài)特定任務(wù)中均達(dá)到了 SOTA 水平。

混合模態(tài)提示方式表現(xiàn)尤為突出。例如將文本與時(shí)間段提示結(jié)合使用。其效果優(yōu)于單一模態(tài)的方法。

值得注意的是，該模型的運(yùn)行速度快于實(shí)時(shí)處理。實(shí)時(shí)因子約為 0.7 (RTF ≈ 0.7)。在 5 億到 30 億參數(shù)規(guī)模下，都能高效地進(jìn)行大規(guī)模音頻處理。

盡管 SAM Audio 在質(zhì)量和效率方面樹立了新標(biāo)準(zhǔn)，但它仍存在一些局限。

1. 目前不支持以音頻本身作為提示。
2. 在沒有任何提示的情況下進(jìn)行完整音頻分離，也不在其能力范圍內(nèi)。
3. 在高度相似的音頻事件之間進(jìn)行分離仍然具有挑戰(zhàn)性。例如從合唱中分離出單一歌手，或從交響樂中分離出某一種樂器。

展望：音頻 AI 的未來

該 Meta 團(tuán)隊(duì)表示，SAM Audio 屬于 Segment Anything 模型家族，這次也是將音頻能力引入了該系列模型?！肝覀兿嘈?SAM Audio 是目前綜合表現(xiàn)最強(qiáng)的音頻分離模型。這種統(tǒng)一的方法也為理解復(fù)雜聲學(xué)環(huán)境提供了新的可能性。并且能夠跨多種模態(tài)，對(duì)自然提示作出響應(yīng)?！?/p>

此外，Meta 還宣布與美國(guó)最大的助聽器制造商 Starkey 以及一家面向殘障創(chuàng)始人的領(lǐng)先創(chuàng)業(yè)加速器 2gether-International 建立了合作關(guān)系。這兩個(gè)合作伙伴都在探索，像 SAM Audio 這樣的模型可以如何進(jìn)一步推動(dòng)無障礙技術(shù)的發(fā)展。

Meta 表示：「這種音頻工具的普及推廣，是邁向更易用、更具創(chuàng)造力、更加包容的 AI 的一步。具備音頻感知能力的 AI 未來才剛剛開始。我們期待并支持未來涌現(xiàn)出的創(chuàng)新與發(fā)現(xiàn)?！?/p>

https://ai.meta.com/blog/sam-audio/

https://x.com/AIatMeta/status/2000980784425931067

文章視頻鏈接：

https://mp.weixin.qq.com/s/-4fkFz0cV5iqGl_4sJ1c3g