国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

Umair Khan用2遍LLM把語音轉(zhuǎn)寫錯誤率砍半

0
分享至


語音轉(zhuǎn)文字的錯誤率,在英語場景下已經(jīng)低到能用了。但換成烏爾都語、斯瓦希里語這類資源匱乏的語言,錯漏百出是常態(tài)。Umair Ali Khan博士最近公布了一套雙遍LLM后處理方案,把多個主流模型的詞錯誤率(Word Error Rate)壓了下去,而且適配新語言只需要改提示詞。

核心思路很樸素:第一遍修拼寫和一致性,第二遍補(bǔ)上下文邏輯。兩遍分工明確,不搶活。Khan在Medium專欄詳細(xì)拆解了實現(xiàn)路徑,我們按時間線還原這套方案是怎么從問題清單里長出來的。

第一步:先給錯誤分類,別急著動手

Khan團(tuán)隊先跑了大量轉(zhuǎn)寫樣本,把高頻錯誤歸類。拼寫錯誤最常見,比如"accomodate"少寫一個m。一致性錯誤次之,同一個人名前后三種寫法。最隱蔽的是上下文錯誤:復(fù)合詞該不該加連字符、功能詞(介詞、冠詞)有沒有漏掉,這些單靠局部文本判斷不了。

傳統(tǒng)后處理用規(guī)則引擎硬編碼,新語言來了得重寫規(guī)則。Khan的解法是把規(guī)則換成LLM的推理能力,用提示詞封裝語言知識,換語言時只換提示詞。

第一遍:拼寫和一致性修復(fù)

TranscriptEnhancer組件的第一遍處理,輸入是原始轉(zhuǎn)寫文本,輸出是"干凈版"。提示詞設(shè)計得很克制:只修明顯拼寫錯誤,統(tǒng)一專有名詞寫法,不碰句子結(jié)構(gòu)。

Khan特別提到一個細(xì)節(jié):第一遍要"保守"。LLM有幻覺傾向,給太多自由度會擅自改寫正確內(nèi)容。提示詞里加了明確約束——"如果拼寫存在爭議,保留原樣"。

實測下來,第一遍單獨跑能把純拼寫類錯誤清掉七成以上。但復(fù)合詞拆分錯誤、連字符濫用這些問題,第一遍基本不動,留給第二遍。

第二遍:上下文推理補(bǔ)漏

第二遍的輸入是第一遍的輸出,加上一個關(guān)鍵上下文窗口。Khan把前后各50詞喂給LLM,讓它判斷"longterm"該寫成"long-term"還是"long term","New York based"要不要加連字符變成"New York-based"。

功能詞缺失是另一塊硬骨頭?谡Z轉(zhuǎn)寫常漏掉"the""a""of",第一遍看不出來,第二遍結(jié)合上下文能補(bǔ)個七七八八。Khan舉了個例子:原文本"meeting scheduled next Monday",第二遍會推斷成"the meeting is scheduled for next Monday"。

兩遍串聯(lián)后,詞錯誤率降幅明顯。Khan沒公布具體數(shù)字,但強(qiáng)調(diào)"across multiple speech-to-text models"都有效,說明方案不挑底層模型。

適配新語言:只改提示詞,不動代碼

這套架構(gòu)的最大賣點是語言遷移成本極低。Khan在文章第6節(jié)專門講適配流程:準(zhǔn)備該語言的常見錯誤樣本,重寫兩遍提示詞里的示例和約束,跑一批測試集調(diào)優(yōu)。

不需要重新訓(xùn)練模型,不需要標(biāo)注大量數(shù)據(jù)。對于缺乏語音語料的小語種,這是現(xiàn)階段最現(xiàn)實的提質(zhì)路徑。Khan本人的背景也印證了這點——他的GitHub主頁列著烏爾都語NLP項目,這套方案顯然是從實際痛點里磨出來的。

TranscriptEnhancer的代碼結(jié)構(gòu)他沒完全開源,但核心邏輯講得很透:兩遍調(diào)用同一LLM,用不同系統(tǒng)提示詞區(qū)分角色,中間狀態(tài)緩存避免重復(fù)計算。工程上沒什么黑魔法,勝在把LLM的推理能力用在了對的環(huán)節(jié)。

語音轉(zhuǎn)文字的賽道,頭部玩家都在卷端到端模型。Khan的方案反其道而行,承認(rèn)現(xiàn)有模型的局限,用輕量后處理補(bǔ)短板。對于預(yù)算有限、又要支持多語言的團(tuán)隊,這種"縫合"思路可能比追新模型更務(wù)實。

最后留個細(xì)節(jié):Khan在提示詞里埋了一個自檢指令,讓LLM輸出修改理由。調(diào)試時能看到第一遍為什么把"color"改成"colour",第二遍為什么加了那個"the"。這種可解釋性設(shè)計,在LLM應(yīng)用里比準(zhǔn)確率本身更難能可貴。

如果你的產(chǎn)品要支持小語種語音輸入,會先賭下一代ASR模型,還是試試這種雙遍后處理?

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
三野名將不聽粟裕調(diào)遣,出言不遜后甩手離去,主席:立刻撤職?

三野名將不聽粟裕調(diào)遣,出言不遜后甩手離去,主席:立刻撤職?

紀(jì)實文錄
2025-05-10 17:45:35
馬斯克:西方不搞電車,歐日韓集體擁抱氫能,中國電動車真的錯了

馬斯克:西方不搞電車,歐日韓集體擁抱氫能,中國電動車真的錯了

史行途
2026-04-08 15:27:19
破案!盧鵬羽故意當(dāng)裁判面撞翻張寧真正原因找到,球迷說出大實話

破案!盧鵬羽故意當(dāng)裁判面撞翻張寧真正原因找到,球迷說出大實話

后仰大風(fēng)車
2026-04-10 08:10:23
辛納硬扛3小時窒息鏖戰(zhàn),法網(wǎng)冠軍被拖到抽筋退場

辛納硬扛3小時窒息鏖戰(zhàn),法網(wǎng)冠軍被拖到抽筋退場

熱血體育社
2026-04-10 11:59:53
女優(yōu)玥伶揭麻豆傳媒內(nèi)幕逼演毀三觀劇本:亂倫還涉未成年

女優(yōu)玥伶揭麻豆傳媒內(nèi)幕逼演毀三觀劇本:亂倫還涉未成年

孤獨的獨角獸影視
2026-04-10 10:10:16
73歲遲重瑞近況:賣故宮旁自家房子,均價15萬,陳麗華嫁他好福氣

73歲遲重瑞近況:賣故宮旁自家房子,均價15萬,陳麗華嫁他好福氣

一娛三分地
2026-02-19 17:04:30
《穿普拉達(dá)的女王2》海報撞臉《小時代》,網(wǎng)友:好差的美工,災(zāi)難級海報!

《穿普拉達(dá)的女王2》海報撞臉《小時代》,網(wǎng)友:好差的美工,災(zāi)難級海報!

品牌新
2026-04-08 16:38:02
拜仁造神運(yùn)動引爭議,英媒德媒隔空掐架

拜仁造神運(yùn)動引爭議,英媒德媒隔空掐架

茅塞盾開本尊
2026-04-10 12:44:50
鄭麗文抵達(dá)北京,入住酒店與馬英九待遇一致,兩岸關(guān)系開啟新時代

鄭麗文抵達(dá)北京,入住酒店與馬英九待遇一致,兩岸關(guān)系開啟新時代

徐慍解說
2026-04-10 08:33:48
43歲謝婷婷狂攬第5個網(wǎng)球冠軍!小7歲男友曝光,顧家?guī)奕ν信e

43歲謝婷婷狂攬第5個網(wǎng)球冠軍!小7歲男友曝光,顧家?guī)奕ν信e

阿鳧愛吐槽
2026-04-10 12:46:56
臺灣地區(qū)前領(lǐng)導(dǎo)人馬英九:我不希望臺灣成為第二個香港!

臺灣地區(qū)前領(lǐng)導(dǎo)人馬英九:我不希望臺灣成為第二個香港!

時負(fù)相知
2026-04-10 10:38:17
上半年北京小客車指標(biāo)資格審核結(jié)果公布,無車家庭積分本月發(fā)布

上半年北京小客車指標(biāo)資格審核結(jié)果公布,無車家庭積分本月發(fā)布

新京報
2026-04-09 14:20:06
特朗普:所有美國艦船、飛機(jī)和軍事人員將繼續(xù)留在伊朗周圍

特朗普:所有美國艦船、飛機(jī)和軍事人員將繼續(xù)留在伊朗周圍

新京報
2026-04-09 12:12:05
惹了事還惡人先告狀?眼見事鬧大,巴拿馬找補(bǔ):無意與中國摩擦

惹了事還惡人先告狀?眼見事鬧大,巴拿馬找補(bǔ):無意與中國摩擦

清沐執(zhí)筆
2026-04-10 12:54:10
張雪終于把碎屏手機(jī)換了!用上榮耀折疊屏手機(jī) 豎大拇指:好輕啊

張雪終于把碎屏手機(jī)換了!用上榮耀折疊屏手機(jī) 豎大拇指:好輕啊

念洲
2026-04-10 08:41:40
教育部:人工智能將納入教師資格考試和認(rèn)證內(nèi)容

教育部:人工智能將納入教師資格考試和認(rèn)證內(nèi)容

界面新聞
2026-04-10 10:11:27
俄寡頭:普京將在一月內(nèi)對烏發(fā)動核打擊,發(fā)射一枚2萬噸當(dāng)量核彈

俄寡頭:普京將在一月內(nèi)對烏發(fā)動核打擊,發(fā)射一枚2萬噸當(dāng)量核彈

梁濆愛玩車
2026-04-09 16:04:48
軍事專家戴旭:目前世界沒有一個國家,在軍事方面,敢和我們較量

軍事專家戴旭:目前世界沒有一個國家,在軍事方面,敢和我們較量

音樂時光的娛樂
2026-04-10 00:23:22
26582輛!鴻蒙智行3月銷量數(shù)據(jù)曝光

26582輛!鴻蒙智行3月銷量數(shù)據(jù)曝光

鞭牛士
2026-04-09 20:31:06
盛李豪世界杯西班牙站連奪兩金:比拼技術(shù)很有意思

盛李豪世界杯西班牙站連奪兩金:比拼技術(shù)很有意思

體壇周報
2026-04-10 09:51:31
2026-04-10 13:35:00
灰度測試中
灰度測試中
生活正在重構(gòu),目前還在灰度測試階段,暫不全量發(fā)布。
1082文章數(shù) 14關(guān)注度
往期回顧 全部

教育要聞

二年級培優(yōu),難倒99%的學(xué)生

頭條要聞

再次"一肩挑"的蘇林 將中國作為出訪的首個國家

頭條要聞

再次"一肩挑"的蘇林 將中國作為出訪的首個國家

體育要聞

17歲賺了一百萬美元,25歲被CBA裁員

娛樂要聞

夏克立婚內(nèi)出軌 曾參加《爸爸去哪兒》

財經(jīng)要聞

愛爾眼科一院長被指猥褻 總部:已被停職

科技要聞

程序員驚喜,每月100美元!OpenAI推新套餐

汽車要聞

全新一代理想 L8 五座旗艦+5C增程系統(tǒng) 三季度交付

態(tài)度原創(chuàng)

本地
數(shù)碼
健康
時尚
公開課

本地新聞

12噸巧克力有難,全網(wǎng)化身超級偵探添亂

數(shù)碼要聞

2026年第一季度全球PC出貨量增長3% 聯(lián)想份額破25%

干細(xì)胞抗衰4大誤區(qū),90%的人都中招

越來越流行的松弛感穿搭,照著穿就很好看

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進(jìn)入關(guān)懷版