新智元報(bào)道

編輯：犀牛 桃子

【新智元導(dǎo)讀】AI交互的「機(jī)械感」消失了！今天，豆包甩出原生全雙工語音大模型Seeduplex，不僅能邊聽邊說，甚至能聽懂你在思考時(shí)的「卡殼」，就算環(huán)境再吵也不怕，抗干擾能力直接拉滿。

終于等來這一天！AI語音交互，終于像個(gè)人了。

今天，字節(jié)跳動(dòng)Seed團(tuán)隊(duì)悄然出手——

原生全雙工語音大模型Seeduplex正式發(fā)布，并已在豆包App全量上線。

注意，是全量上線。不是內(nèi)測(cè)，不是灰度，不是「敬請(qǐng)期待」。

豆包的語音交互體驗(yàn)一直是獨(dú)一檔，和老羅辯論也不在話下。

但是從今天起，上億豆包用戶打開App的那一刻，就能直接體驗(yàn)到一種前所未有的感覺——

AI不再是那個(gè)等你說完一句、按一下、再說下一句的乖學(xué)生，而是一個(gè)會(huì)邊聽邊說、會(huì)等你思考、會(huì)被你打斷、還能聽懂你咖啡館里在聊什么的「對(duì)話搭子」。

這是一件被業(yè)內(nèi)低估了的大事。

它意味著：全雙工語音技術(shù)，第一次真正走出了實(shí)驗(yàn)室，在業(yè)界率先實(shí)現(xiàn)了規(guī)?；?/strong>落地。

我們第一時(shí)間沖上去做了幾輪實(shí)測(cè)。

說實(shí)話，體驗(yàn)下來只有一個(gè)感受：那種和AI說話時(shí)如鯁在喉的「機(jī)械感」，終于消失了。

那個(gè)總是「搶話」的 AI

終于像個(gè)真人了

通常來說，人與人的交互，存在著大量的信息交疊、打斷、遲疑、環(huán)境噪音等。

傳統(tǒng)的「半雙工」語音AI，在面對(duì)這些復(fù)雜場(chǎng)景時(shí)，往往會(huì)力不從心——

要么在你剛停頓思考時(shí)強(qiáng)行搶話，要么在嘈雜環(huán)境中胡言亂語。

這一次，在保持極速響應(yīng)的同時(shí)，Seeduplex啃下了「精準(zhǔn)抗干擾」與「動(dòng)態(tài)判?！沟膬蓧K硬骨頭。

想要上手非常簡(jiǎn)單，把豆包App升級(jí)到最新版本，進(jìn)入后點(diǎn)擊右上角打電話，即可開啟「語音通話」的絲滑體驗(yàn)了。

場(chǎng)景一：咖啡廳里聊行程，精準(zhǔn)抗干擾

假設(shè)進(jìn)入一家人聲鼎沸的咖啡館里，和豆包討論周末去哪兒玩。

背景里，鄰桌大叔在大聲講電話，服務(wù)員的報(bào)單聲此起彼伏，咖啡機(jī)在嗡嗡作響......

聊到一半，我順手轉(zhuǎn)向前臺(tái)：「你好，我要一杯拿鐵，不加糖」。

在這樣吵鬧的環(huán)境中，放在過去任何一個(gè)語音助手身上，幾乎都是「車禍現(xiàn)場(chǎng)」——

要么把對(duì)別人說的話當(dāng)成新指令一本正經(jīng)地執(zhí)行，要么直接卡殼中斷，得重新喊一遍喚醒詞才能接著聊。

令人驚喜的是，豆包沒有搶話，并在嘈雜環(huán)境下保持極強(qiáng)的抗干擾力。

它只是安靜地停了一下，等你把咖啡點(diǎn)完，然后順著剛才的話題繼續(xù)往下接，仿佛中間那段嘈雜從未發(fā)生過。

它不是單純把背景噪音「降掉」，而是在持續(xù)聆聽的同時(shí)，判斷誰在對(duì)它說話、哪句話是主線交互、哪句話只是環(huán)境聲。

這個(gè)差別非常大：前者只是聲學(xué)降噪，后者已經(jīng)開始接近「交互意圖識(shí)別」。

場(chǎng)景二：英文面試模擬，我故意卡殼了5秒

讓豆包扮演一個(gè)外企面試官，然后故意在回答 「為什么申請(qǐng)這個(gè)職位」 時(shí)卡住——

... um... um... I'm a great fit because...

um... Let me think... um

真正的人類面試官會(huì)知道，你不是說完了，你只是在想。

這要是換做是以前的語音模型，早在每一次「um/uh」之后，火急火燎地跳出來接話。

結(jié)果，硬生生地把面試模擬變成「搶答比賽」，毫無一點(diǎn)沉浸感。

下面demo中，Seeduplex就像一個(gè)有涵養(yǎng)的面試官，始終安靜地聽我磕磕絆絆地組織語言，不急不躁，沒有一次搶話。

直到我真正講完，它才不緊不慢地遞出下一個(gè)問題。

Seeduplex這次強(qiáng)調(diào)的「動(dòng)態(tài)判?！?，本質(zhì)上就是解決這個(gè)問題：

它不再只靠靜音時(shí)長(zhǎng)來猜你是不是說完，而是把聲學(xué)特征和語義狀態(tài)一起納入判斷。

也就是說，它不僅在聽你有沒有停，還在判斷你為什么停。這就是為什么全雙工語音最關(guān)鍵的體驗(yàn)，并不只是「更快」，而是「更懂分寸」。

場(chǎng)景三：飛花令快問快答，逼它「秒回」

接下來，上一個(gè)更硬核的「極限挑戰(zhàn)」——玩飛花令，試試豆包反應(yīng)有多快？

「帶『月』字的詩句，我先來：床前明月光，疑是地上霜」。

「舉頭望明月，低頭思故鄉(xiāng)」——幾乎是話音剛落，下一句就精準(zhǔn)空降

我：小時(shí)不識(shí)月，呼作白玉盤

AI：明月松間照，清泉石上流

我：明月幾時(shí)有，把酒問青天

AI：月落烏啼霜滿天，江楓漁火對(duì)愁眠

不得不說，這種對(duì)答如流、零延遲感的體驗(yàn)非常驚艷。

官方測(cè)試稱，全雙工相比半雙工時(shí)延降低約250ms，實(shí)際體感就是「它在等我說完的那一刻，已經(jīng)在準(zhǔn)備回答了」。

有趣的是，當(dāng)我嘗試用它剛才生成的「明月松間照」進(jìn)行「套娃反擊」時(shí)，豆包秒回提醒。

這種強(qiáng)大的上下文記憶與邏輯一致性，讓對(duì)話顯得更有「人情味」。

場(chǎng)景四：說到一半喊停

最戳人的，是下面這個(gè)細(xì)節(jié)。

豆包正在長(zhǎng)篇大論地給我介紹杭州景點(diǎn)，我突然來一句：「等一下，我做個(gè)筆記」。

它瞬間收聲，沒有猶豫，并貼心地問道，「需要把剛才推薦的地方和特色重復(fù)一遍嗎」？

緊接著，豆包繼續(xù)接著之前的話題——「西湖游船」，上下文自然統(tǒng)一。

這種絲滑的「被打斷—收聲—等待—繼續(xù)」閉環(huán)，過去你只能在和真人朋友打電話時(shí)體驗(yàn)到。

Seeduplex憑什么做到「邊聽邊說」？

驚艷實(shí)測(cè)之外，更值得追問的是，Seeduplex究竟是怎么做到的？

過去的語音助手，本質(zhì)上是半雙工（Half-Duplex）——你說一句，它聽；它說一句，你聽。

就像老式對(duì)講機(jī)，同一時(shí)刻只能有一個(gè)人在「頻道」上。

這種模式天然帶來三個(gè)硬傷：

• 必須等你完全說完，才能開始處理（所以總覺得它反應(yīng)慢）；

• 一旦它開始說話，就聽不見你（所以打斷它特別費(fèi)勁）；

• 沒法感知背景（所以容易把別人講話誤當(dāng)成指令）。

而全雙工（Full-Duplex），就是打電話的模式——你和它可以同時(shí)說、同時(shí)聽，誰該讓誰、誰該接話，全靠「對(duì)話節(jié)奏感」自然流轉(zhuǎn)。

聽起來簡(jiǎn)單？但做起來難如登天。

因?yàn)樗竽Ｐ驮诿恳粋€(gè)毫秒都同時(shí)干三件事：聽用戶、想自己、決定要不要開口。

字節(jié)Seed團(tuán)隊(duì)這次，把「全雙工」最難啃的兩塊骨頭都啃下來了。

第一塊：精準(zhǔn)抗干擾

模型具備持續(xù)的「傾聽」能力，能解析聲學(xué)環(huán)境，主動(dòng)忽略背景噪音和無關(guān)對(duì)話。

復(fù)雜場(chǎng)景下，誤回復(fù)率和誤打斷率比半雙工模型減少了一半。

這背后的技術(shù)內(nèi)核是，模型不再是「語音轉(zhuǎn)文字再理解」的流水線，而是直接對(duì)原始音頻信號(hào)做特征提取，能在聲學(xué)層面就分辨出「哪句是沖我來的」。

第二塊：動(dòng)態(tài)判停

模型聯(lián)合語音特征+語義特征，綜合判斷你「是說完了」還是「在思考」。

人和人對(duì)話時(shí)，我們靠什么判斷對(duì)方是不是講完了？

語調(diào)下沉、呼吸節(jié)奏、用詞的完成度……這些都是人類下意識(shí)在處理的信號(hào)。

Seeduplex把這些信號(hào)原生內(nèi)化進(jìn)了模型訓(xùn)練里，所以搶話比例相對(duì)下降了40%。

工程上，他們解決了什么硬骨頭？

光有模型還不夠。

要把全雙工塞進(jìn)豆包App，扛住上億用戶的并發(fā)，工程上的挑戰(zhàn)比模型本身還要硬核。

字節(jié)團(tuán)隊(duì)這次重點(diǎn)攻克的是幾件事：

• 模型框架重構(gòu)：拋棄了傳統(tǒng)「ASR→LLM→TTS」的三段式拼接，構(gòu)建貼合語音實(shí)時(shí)對(duì)話原生特性的端到端架構(gòu)，讓模型直接從數(shù)據(jù)里學(xué)語音和語義的一體化表達(dá)；

• 訓(xùn)練體系升級(jí)：海量語音數(shù)據(jù)預(yù)訓(xùn)練 + 多任務(wù)后訓(xùn)練，把「對(duì)話智能、超低延遲、節(jié)奏控制、抗干擾、指向性理解」這五項(xiàng)能力協(xié)同優(yōu)化——任何一項(xiàng)掉鏈子，體驗(yàn)就崩；

• 推理性能極致壓榨：用投機(jī)采樣、量化等手段，在成本和延遲之間找平衡點(diǎn)，這是能「全量上線」的前提；

• 服務(wù)穩(wěn)定性兜底：重點(diǎn)解決了收音卡頓、播報(bào)卡頓這些「工程臟活」，確保大流量下不翻車。

一句話：Seeduplex不是一個(gè)Demo，它是一套從模型到工程全鏈路打通的工業(yè)級(jí)系統(tǒng)。

刷新SOTA

不僅如此，在多個(gè)橫向?qū)Ρ葘?shí)測(cè)中，也印證了我們的體感。

相較于豆包App之前用的半雙工對(duì)話框架，Seeduplex的整體交互體驗(yàn)跨越式提升——

判停MOS分提高了8%，對(duì)話流暢度MOS分更是大幅提升12%。

在其他核心的指標(biāo)上，Seeduplex的表現(xiàn)堪稱驚艷。

• 判停延遲降低了約250ms，同時(shí)復(fù)雜場(chǎng)景下AI搶話比例相對(duì)減少40%；

• 在響應(yīng)準(zhǔn)確率更高的前提下，打斷響應(yīng)延遲進(jìn)一步縮短約300ms；

• 復(fù)雜聲學(xué)干擾場(chǎng)景下，誤回復(fù)率和誤打斷率降低一半。

橫向?qū)Ρ壬?，Seeduplex不只是贏了上一代，與行業(yè)主流App語音通話功能對(duì)比，判停、打斷、對(duì)話流暢度三項(xiàng)核心指標(biāo)均領(lǐng)先。

而最讓人玩味兒的，是團(tuán)隊(duì)在「人人對(duì)話」基準(zhǔn)上的一次測(cè)試，看人機(jī)對(duì)話到底相對(duì)真人聊天到了什么程度。

結(jié)果，頗有戲劇性——

在響應(yīng)打斷上，真人有時(shí)反應(yīng)相對(duì)滯后，Seeduplex表現(xiàn)則更穩(wěn)定；

在整體對(duì)話流暢度上，與真人仍有一定差距。

綜合來看，真人表現(xiàn)還是更勝一籌，但Seeduplex 讓語音交互離真正自然、流暢的類人對(duì)話又近了一步。

Seeduplex站在了哪里？

如果把整個(gè)語音大模型行業(yè)拉遠(yuǎn)一點(diǎn)看，你會(huì)發(fā)現(xiàn)一條很清晰的演進(jìn)路線。

第一階段，是級(jí)聯(lián)時(shí)代。

ASR、LLM、TTS 各干各的，能用，但不自然。

第二階段，是端到端實(shí)時(shí)語音時(shí)代。

OpenAI的GPT-4o、Realtime API，谷歌的Gemini Live / Live API，都在把低時(shí)延、原生語音理解、更自然的實(shí)時(shí)響應(yīng)推到主舞臺(tái)上。

第三階段，才是現(xiàn)在真正開始激烈競(jìng)爭(zhēng)的地方：原生全雙工。

也就是不再滿足于「你說完我再答」，而是開始解決更接近真人交流核心的問題：

我什么時(shí)候該插話？什么時(shí)候該等待？誰是在對(duì)我說？背景里那句話要不要理？你這一下停頓，是結(jié)束了，還是在思考？你打斷我時(shí)，我能不能立刻收住，而不是把剩下半句硬念完？

全雙工對(duì)話的關(guān)鍵，不只是生成內(nèi)容，而是同步性，是時(shí)間感，是對(duì)真實(shí)世界對(duì)話節(jié)拍的建模。

從這個(gè)角度看，Seeduplex的價(jià)值就非常清楚了。

它不是在和「有沒有語音模式」競(jìng)爭(zhēng)。那個(gè)階段已經(jīng)過去了。

它是在爭(zhēng)奪下一件更本質(zhì)的東西：誰能先把語音交互從「回合制問答」，推進(jìn)到「實(shí)時(shí)自然交流」。

為什么這件事值得產(chǎn)業(yè)側(cè)認(rèn)真看？

當(dāng)AI學(xué)會(huì)「邊聽邊說」之后，受影響的絕不只是聊天App。

車載是最直接的。

開車時(shí)你不可能像發(fā)指令給機(jī)器人一樣，規(guī)規(guī)矩矩說完整句子再等它回應(yīng)。

你需要的是一種能在復(fù)雜聲學(xué)環(huán)境里穩(wěn)住主線、又能快速切換狀態(tài)的助手。

教育也會(huì)變。

口語練習(xí)、面試模擬、陪練輔導(dǎo)、課堂互動(dòng)，這些場(chǎng)景最怕的就是「假交流」。

一旦模型能理解猶豫、等待思考、保持節(jié)奏，整個(gè)陪練體驗(yàn)會(huì)從「語音播放器」升級(jí)成「互動(dòng)對(duì)象」。

客服與企業(yè)服務(wù)更不用說。

真正高價(jià)值的語音系統(tǒng)，不是誰答得最長(zhǎng)，而是誰在多人、噪聲、插話、情緒波動(dòng)中，依然能穩(wěn)住對(duì)話。

所以，Seeduplex的產(chǎn)業(yè)意義，不只是讓豆包更好用，而是把一個(gè)過去常被當(dāng)成語音實(shí)驗(yàn)秀場(chǎng)的方向，真正往車載、硬件、教育、客服、會(huì)議、陪伴這些高頻真實(shí)場(chǎng)景推了一步。

語音交互的「GPT-3.5時(shí)刻」

寫到這里，拋一個(gè)稍微大膽的判斷。

Seeduplex的全量上線，可能就是語音交互領(lǐng)域的「GPT-3.5時(shí)刻」。

為什么這么說？

GPT-3.5之所以被記住，不是因?yàn)樗顝?qiáng)，而是因?yàn)樗?strong>第一次讓普通人感受到「和AI對(duì)話是有用的」。

從那一刻起，大模型從極客玩具變成了大眾工具。

而Seeduplex做的事情類似——它第一次讓普通人感受到「和AI說話是自然的」。

當(dāng)語音交互的機(jī)械感被徹底磨平，真正的應(yīng)用爆發(fā)才剛剛開始。

更深一層，全雙工的本質(zhì)，不是「說話快了一點(diǎn)」，而是AI第一次有了「對(duì)話流控制能力」——它知道什么時(shí)候該聽、什么時(shí)候該說、什么時(shí)候該停、什么時(shí)候該等。

這種能力，是AI從「工具」走向「伙伴」的必經(jīng)之路。

當(dāng)AI終于學(xué)會(huì)「像人一樣聽和說」，它離「像人一樣思考和行動(dòng)」，也就只差臨門一腳了。

寫到最后，我又點(diǎn)開豆包，跟它說了句：「今天聊得挺爽的，謝啦?！?/p>

它停頓了半秒——那種恰到好處的、像人一樣的半秒——然后說：「不客氣，隨時(shí)找我?！?/p>

那一刻我突然意識(shí)到，有些技術(shù)革命，是在你沒察覺的情況下發(fā)生的。

等你回過神，世界已經(jīng)變了。