剛剛，Meta AI FAIR團(tuán)隊(duì)發(fā)布了其在自動(dòng)語音識(shí)別（ASR）領(lǐng)域的最新成果：Omnilingual ASR

這是一個(gè)模型套件，能為超過1600種語言提供自動(dòng)語音識(shí)別能力，其規(guī)模和質(zhì)量都達(dá)到了新的水平。

值得關(guān)注的是，該框架被設(shè)計(jì)為社區(qū)驅(qū)動(dòng)，世界各地的人們只需提供少量自己的樣本，就能將Omnilingual ASR擴(kuò)展到新的語言

同時(shí)開源的，還有一系列相關(guān)：

Omnilingual ASR Corpus：一個(gè)包含350種服務(wù)欠缺語言的轉(zhuǎn)錄語音的大型數(shù)據(jù)集

Omnilingual wav2vec 2.0：一個(gè)擴(kuò)展到70億參數(shù)的、大規(guī)模多語言語音表征模型

語言探索Demo：一個(gè)可供人們探索模型所覆蓋語言的演示

目前，大多數(shù)ASR系統(tǒng)都集中在互聯(lián)網(wǎng)上資源豐富的一小部分語言上，這加劇了低資源語言使用者面臨的數(shù)字鴻溝

Meta FAIR團(tuán)隊(duì)推出的Omnilingual ASR，旨在通過一個(gè)通用轉(zhuǎn)錄系統(tǒng)，讓高質(zhì)量的語音轉(zhuǎn)文本技術(shù)能夠惠及代表性最不足的語言社區(qū)。其最終目標(biāo)是打破語言障礙，實(shí)現(xiàn)跨語言和文化背景的交流

下載：

https://github.com/facebookresearch/omnilingual-asr

語言探索demo：

https://aidemos.atmeta.com/omnilingualasr/language-globe

轉(zhuǎn)錄工具：

https://huggingface.co/spaces/facebook/omniasr-transcriptions

paper：

https://ai.meta.com/research/publications/omnilingual-asr-open-source-multilingual-speech-recognition-for-1600-languages/

前所未有的語言覆蓋范圍與性能

盡管ASR技術(shù)近年來在許多高資源語言上已接近完美，但擴(kuò)大語言覆蓋范圍一直是一項(xiàng)資源密集型任務(wù)，現(xiàn)有AI架構(gòu)對(duì)數(shù)據(jù)的需求過高，難以實(shí)現(xiàn)通用擴(kuò)展。

Omnilingual ASR通過引入兩種架構(gòu)變體來解決這一研究瓶頸。

首先，團(tuán)隊(duì)首次將其wav2vec 2.0語音編碼器擴(kuò)展到70億參數(shù)，從原始、未轉(zhuǎn)錄的語音數(shù)據(jù)中生成了豐富的、大規(guī)模多語言語義表征。

接著，團(tuán)隊(duì)構(gòu)建了兩種解碼器變體，將這些表征映射到字符序列：

1.一種依賴傳統(tǒng)的連接主義時(shí)間分類（CTC）目標(biāo)。
2.另一種利用了在LLM中常見的傳統(tǒng)Transformer解碼器。

這種被稱為LLM-ASR的方法，在ASR性能上實(shí)現(xiàn)了階段性提升，尤其是在長(zhǎng)尾語言上。

結(jié)果顯示，其7B-LLM-ASR系統(tǒng)在超過1600種語言上達(dá)到了SOTA性能，其中78%的語言字符錯(cuò)誤率（CER）低于10

自帶語言（Bring Your Own Language）

除了擴(kuò)展到1600多種語言外，Omnilingual ASR還改變了引入新語言的范式。

在大多數(shù)現(xiàn)有系統(tǒng)中，添加新語言需要專家驅(qū)動(dòng)的微調(diào)。而Omnilingual ASR引入了首個(gè)能夠僅憑少量上下文示例就擴(kuò)展到全新語言的大規(guī)模ASR框架

這得益于其受LLM啟發(fā)的系統(tǒng)，該系統(tǒng)從大語言模型領(lǐng)域引入了上下文學(xué)習(xí)能力

在實(shí)踐中，這意味著一個(gè)使用不支持語言的用戶，只需提供少數(shù)幾個(gè)成對(duì)的音頻-文本樣本，就能獲得可用的轉(zhuǎn)錄質(zhì)量——無需大規(guī)模訓(xùn)練數(shù)據(jù)、專業(yè)知識(shí)或高端計(jì)算資源

一套面向不同用例的模型

此次，Meta發(fā)布了一整套模型和一個(gè)數(shù)據(jù)集，為利益相關(guān)者擴(kuò)展和改進(jìn)任何語言的語音技術(shù)提供了所需的一切。

模型家族：提供兩種解碼器變體，從專為低功耗設(shè)備設(shè)計(jì)的輕量級(jí)300M版本，到為各種用例提供頂級(jí)精度的強(qiáng)大7B模型

基礎(chǔ)模型：通用語音基礎(chǔ)模型wav2vec 2.0也提供多種尺寸，可用于ASR之外的其他語音相關(guān)任務(wù)。

所有模型均在許可寬松的Apache 2.0許可下發(fā)布，數(shù)據(jù)則在CC-BY許可下提供。這些資產(chǎn)基于FAIR的開源fairseq2框架構(gòu)建

與全球合作伙伴共建

Omnilingual ASR的訓(xùn)練語料庫在數(shù)量和語言多樣性上都是為ASR組建的最大語料庫之一，整合了公開可用的數(shù)據(jù)集和通過多個(gè)合作伙伴關(guān)系收集的社區(qū)來源語音記錄。

為了覆蓋那些幾乎沒有數(shù)字足跡的語言，團(tuán)隊(duì)與當(dāng)?shù)亟M織合作，招募并補(bǔ)償母語者，通常是在偏遠(yuǎn)或記錄不足的地區(qū)。這部分委托收集的訓(xùn)練語料庫作為Omnilingual ASR Corpus發(fā)布。迄今為止，這是有史以來最大的超低資源自然語音ASR數(shù)據(jù)集，覆蓋了數(shù)百種ASR系統(tǒng)前所未見的語言。

此外，通過語言技術(shù)合作伙伴計(jì)劃，團(tuán)隊(duì)與Mozilla基金會(huì)的Common Voice和Lanfrica/NaijaVoices等組織合作，直接與當(dāng)?shù)厣鐓^(qū)協(xié)作。這些合作關(guān)系為Omnilingual ASR注入了深厚的語言學(xué)知識(shí)和文化理解，確保技術(shù)能滿足當(dāng)?shù)匦枨?/p>

參考：

https://ai.meta.com/blog/omnilingual-asr-advancing-automatic-speech-recognition/?utm_source=twitter&utm_medium=organic_social&utm_content=video&utm_campaign=omnilingual