想要單獨(dú)聽(tīng)到一首歌中的吉他獨(dú)奏？或者想從語(yǔ)音錄音中去除火車噪音？Meta表示，其新推出的SAM Audio模型可以通過(guò)簡(jiǎn)單的提示來(lái)分離和編輯聲音，大大減少了傳統(tǒng)音頻編輯工具所需的手動(dòng)工作。

分段任意模型SAM Audio的發(fā)布延續(xù)了Meta此前發(fā)布的視覺(jué)資產(chǎn)分割模型。Meta現(xiàn)在聲稱，它已經(jīng)創(chuàng)建了"首個(gè)用于音頻分離的統(tǒng)一多模態(tài)模型"SAM Audio，該模型今天已在公司的Segment Anything Playground上提供，同時(shí)也可供下載。

所謂"多模態(tài)"，是指SAM Audio能夠解釋三種類型的音頻分割提示：文本提示、時(shí)間段標(biāo)記，以及視頻中的視覺(jué)選擇來(lái)隔離或移除特定聲音。

以樂(lè)隊(duì)演奏的視頻為例，選擇吉他手就能讓SAM Audio自動(dòng)隔離該演奏者的聲音。在戶外錄音中高亮顯示狗叫聲的波形，告訴SAM移除該聲音，它就能在整個(gè)文件中追蹤并消除這些干擾。

"SAM Audio在多樣化的真實(shí)場(chǎng)景中表現(xiàn)可靠——使用文本、視覺(jué)和時(shí)間線索，"Meta在SAM Audio發(fā)布聲明中表示。"這種方法為人們提供了對(duì)音頻分離方式的精確和直觀控制。"

該公司表示，它看到了SAM Audio的多種用例，如清理音頻文件、去除背景噪音，以及其他以前需要在音頻編輯軟件或?qū)Ｓ寐曇艋旌瞎ぞ咧惺謩?dòng)完成的任務(wù)。

話雖如此，使用AI處理音頻并不是什么新想法——市面上有很多產(chǎn)品都能做SAM Audio所做的事情，但Meta將這個(gè)領(lǐng)域描述為"碎片化"的，"有各種為單一用途設(shè)計(jì)的工具"，不像SAM Audio所謂的統(tǒng)一模型。

鑒于其基于用戶提示隔離特定聲音的能力，人們自然會(huì)對(duì)這種模型的安全性產(chǎn)生疑問(wèn)，以及它是否可能被用來(lái)在公共錄音中單獨(dú)提取聲音或?qū)υ?，從而可能?chuàng)造出新的竊聽(tīng)途徑。我們仔細(xì)查看了Meta的SAM Audio頁(yè)面和相關(guān)研究論文，以獲取有關(guān)新模型內(nèi)置安全功能的更多信息，但該公司根本沒(méi)有涉及這方面內(nèi)容。

當(dāng)被問(wèn)及安全問(wèn)題時(shí)，Meta只告訴我們，如果沒(méi)有AI時(shí)某事是非法的，那么你就不應(yīng)該使用AI來(lái)做這件事。

"正如SAM許可證所述，SAM材料的使用必須符合適用的法律法規(guī)，包括貿(mào)易管制法和適用的隱私和數(shù)據(jù)保護(hù)法，"Meta發(fā)言人告訴The Register，這聽(tīng)起來(lái)可疑地像是使用SAM Audio做惡事完全在其能力范圍內(nèi)。

不過(guò)，Meta自己承認(rèn)SAM Audio有"一些局限性"，這可能意味著對(duì)于那些想要使用AI重現(xiàn)現(xiàn)代版《竊聽(tīng)大陰謀》的人來(lái)說(shuō)，它還沒(méi)有完全準(zhǔn)備好。對(duì)于SAM Audio來(lái)說(shuō)，分離"高度相似的音頻事件"仍然是"一個(gè)挑戰(zhàn)"，比如從眾多聲音中挑出一個(gè)聲音或從管弦樂(lè)隊(duì)中隔離單一樂(lè)器，Meta指出。SAM Audio也無(wú)法在沒(méi)有提示的情況下完成任何音頻分離，也不能將音頻作為提示，這意味著向它輸入你想要隔離的聲音仍然超出了該機(jī)器人的范圍。

SAM Audio可能有用的一個(gè)領(lǐng)域是無(wú)障礙空間，Meta表示正在積極朝這個(gè)方向努力。該公司表示已與美國(guó)助聽(tīng)器制造商Starkey合作探索潛在的集成，同時(shí)還與2gether-International（一個(gè)為殘疾創(chuàng)業(yè)者提供服務(wù)的加速器）合作，探索SAM Audio可以服務(wù)的更多無(wú)障礙可能性。

Q&A

Q1：SAM Audio是什么？它有什么特別之處？

A：SAM Audio是Meta推出的音頻分離AI模型，被稱為"首個(gè)用于音頻分離的統(tǒng)一多模態(tài)模型"。它的特別之處在于能夠通過(guò)文本提示、時(shí)間段標(biāo)記和視頻中的視覺(jué)選擇三種方式來(lái)分離音頻，用戶可以簡(jiǎn)單地選擇視頻中的吉他手來(lái)自動(dòng)隔離該演奏者的聲音。

Q2：SAM Audio能處理哪些音頻分離任務(wù)？

A：SAM Audio可以清理音頻文件、去除背景噪音、隔離特定樂(lè)器聲音等。比如從樂(lè)隊(duì)演奏中單獨(dú)提取吉他聲，或者從戶外錄音中去除狗叫聲等干擾。不過(guò)它在處理高度相似的音頻事件時(shí)仍有挑戰(zhàn)，比如從眾多聲音中挑出一個(gè)聲音。

Q3：SAM Audio的安全性如何？會(huì)不會(huì)被濫用？

A：Meta對(duì)SAM Audio的安全性問(wèn)題回應(yīng)較為模糊，只表示使用必須符合相關(guān)法律法規(guī)。由于該模型能夠基于提示隔離特定聲音，確實(shí)存在被用于竊聽(tīng)等不當(dāng)用途的擔(dān)憂，但Meta沒(méi)有詳細(xì)說(shuō)明內(nèi)置的安全防護(hù)措施。