2026 年，你理想中的 AI 助手是什么樣的？

回想過去，Siri 的出現(xiàn)曾讓人眼前一亮。語音喚醒、簡單問答、調(diào)用軟件執(zhí)行基本操作……這些能力在當(dāng)時已經(jīng)足夠驚艷。

但近兩年，隨著大模型能力的飛速發(fā)展，我們對 AI 助手也有了更高的期待：它不應(yīng)該只是一個“你說一句、它答一句”的對話機(jī)器，而應(yīng)該更接近真人交流的狀態(tài)——能夠自由流暢主動對話、可以隨時被打斷、在合適的時機(jī)主動提醒，甚至做到邊聽、邊看、邊思考、邊回答。

然而現(xiàn)實(shí)是，即便是當(dāng)前最先進(jìn)的模型，在“說話”時依然會“閉上眼睛、捂住耳朵”。你可以向它提問，但它只能被動回應(yīng)，無法主動察覺環(huán)境變化并及時介入。這與我們心中那個類人的 AI 助手，仍有不小的距離。

要想達(dá)到與人更相似的交互效果，模型首先需要具備持續(xù)聽和看的能力。但這帶來了一個兩難困境：持續(xù)處理音視頻流需要巨大的算力，云端部署雖能提供充沛算力，卻不可避免地引入延遲問題；更關(guān)鍵的是，當(dāng) AI 助手需要時刻感知你的環(huán)境時，無法回避將音視頻實(shí)時上傳云端帶來的隱私風(fēng)險(xiǎn)。

在這些背景下，端側(cè) AI 是一條理想的解決路徑。本地運(yùn)算既能保障響應(yīng)速度，又能從根本上規(guī)避數(shù)據(jù)外泄的風(fēng)險(xiǎn)，這在機(jī)器人、自動駕駛等需要實(shí)時決策的場景的可控性來說尤為重要。然而，如何在算力有限的端側(cè)設(shè)備上跑出足夠強(qiáng)的智能，始終是行業(yè)共同面臨的難題。

面壁智能是該領(lǐng)域的探索者之一。作為一家將“高效”作為第一性原理的大模型公司，它專注于提升智能密度，即用更小的參數(shù)實(shí)現(xiàn)更強(qiáng)的性能。其 MiniCPM 系列模型以“以小博大”著稱，全平臺下載量已突破 1,800 萬，早在 2024 年就已將 GPT-4o、GPT-4V 級別的核心能力成功部署到手機(jī)、汽車等端側(cè)設(shè)備上。

圖丨劉知遠(yuǎn)（左）和姚遠(yuǎn)（右）（來源：受訪人）

今天，面壁智能發(fā)布的 MiniCPM-o 4.5，是他們在端側(cè)全模態(tài)交互方向上的最新答卷。DeepTech 獨(dú)家專訪了清華大學(xué)計(jì)算機(jī)系長聘教授、面壁智能聯(lián)合創(chuàng)始人兼首席科學(xué)家劉知遠(yuǎn)與清華大學(xué)人工智能學(xué)院助理教授、面壁智能多模態(tài)首席科學(xué)家姚遠(yuǎn)，深入探討了新模型的技術(shù)突破、背后的技術(shù)理念，以及他們對下一代智能交互的展望。

9B 參數(shù)，如何實(shí)現(xiàn)“聽說同步”？

MiniCPM-o 4.5 是面壁智能繼去年發(fā)布的 MiniCPM-o 2.6 之后推出的重要升級。面壁團(tuán)隊(duì)此次首創(chuàng)了原生全雙工技術(shù)，采用端到端的全模態(tài)架構(gòu)，結(jié)合全雙工多模態(tài)實(shí)時流機(jī)制、主動交互機(jī)制、可配置語音建模設(shè)計(jì)，讓參數(shù)規(guī)模僅為 9B 的 MiniCPM-o 4.5 在交互體驗(yàn)上實(shí)現(xiàn)了大幅提升。

（來源：面壁智能）

所謂“全雙工”，通俗來說就是模型可以同時看、聽和說，對話不需要像傳統(tǒng)模型那樣輪流進(jìn)行。而“全模態(tài)”，則是指模型能夠同時處理視頻、音頻、文本等多種信息輸入，并以文本和語音形式輸出回應(yīng)。兩者結(jié)合，意味著 MiniCPM-o 4.5 能夠在“說話”的同時繼續(xù)觀察和傾聽環(huán)境變化，并根據(jù)新的信息實(shí)時調(diào)整回應(yīng)策略。

這和人類的真實(shí)對話更加相似。我們可以從生活中的場景中來理解這種能力：就像推銷員對顧客講解商品時，并不會滔滔不絕地講話，而是一邊說話一邊觀察對方的反應(yīng)，并能夠根據(jù)實(shí)際情況實(shí)時插話、調(diào)整或互動。

相比之下，傳統(tǒng)多模態(tài)大模型只能處理離線靜態(tài)數(shù)據(jù)，且在全模態(tài)方面往往只能處理文本+單一模態(tài)（例如視覺/語音）。更關(guān)鍵的是，當(dāng)模型開始生成回復(fù)時，它必須先完成整個回應(yīng)過程，才能重新接收外部信息。用面壁智能技術(shù)團(tuán)隊(duì)的話來說，就像人在說話時捂住眼睛和耳朵，是一種“對講機(jī)”式的對話。

這種設(shè)計(jì)在實(shí)際使用中會造成諸多不便。比如，當(dāng)你讓 AI 描述眼前的畫面，而畫面內(nèi)容突然發(fā)生變化時，它無法感知這種變化，只能基于幾秒鐘前的舊信息繼續(xù)幻覺般的描述，甚至可能“胡說八道”。

再比如，在智能駕駛場景中，如果 AI 正在播報(bào)導(dǎo)航信息，卻無法同時感知路況變化，可能錯過重要的安全提醒時機(jī)。

MiniCPM-o 4.5 通過全雙工技術(shù)架構(gòu)，為這個問題提供了一種新的解決方案。該模型將并行處理的視頻流和音頻流切成極小的切片，采用脈沖式信息處理方式。

具體來說，模型不再是一口氣吞下整個視頻或音頻文件，而是將多模態(tài)信息實(shí)時交替地輸入到語言模型主干中，在信息建模方面實(shí)現(xiàn)毫秒級時間線上同步所有輸入和輸出流。

它更像是在探索一種伴隨態(tài) AI，而不只是聊天機(jī)器人。伴隨態(tài)的優(yōu)勢是，不持續(xù)提問也會收到持續(xù)反饋以及行為隨環(huán)境變化而調(diào)整，讓模型可以做到即時自由的對話，而非只是一問一答的機(jī)械交互。

例如，現(xiàn)在只需一句指令，就能讓模型對白板畫畫進(jìn)行實(shí)時描述。

這種持續(xù)感知和主動提醒的能力有望在一些場景中，為用戶帶來全新體驗(yàn)，例如在車機(jī)/移動場景，幫助司機(jī)減少頻繁左顧右盼尋找停車位或店鋪。

此前，面壁智能的 MiniCPM-V 系列曾展示這樣一個案例：在車載記錄儀上，告訴用戶剛才路過了幾家怎么樣的店鋪，但它還是一種概念的驗(yàn)證，更像是一種“事后總結(jié)”；而本次發(fā)布的模型 MiniCPM-o 4.5 則實(shí)現(xiàn)了對當(dāng)下狀態(tài)即時提醒和實(shí)用價值。

在車機(jī)智能座艙場景，你只要告訴模型“幫我找停車位”或“看到咖啡店告訴我”，模型可根據(jù)實(shí)際情況即時反饋和提醒，這樣司機(jī)可減少左顧右盼找停車位或店鋪的精力，進(jìn)而更專注地開車。

值得注意的是，市面上已有一些模型具備類似的實(shí)時對話或可打斷的能力，但它們中的大多數(shù)需要依靠 VAD（語音活動檢測，Voice Activity Detection）等外部工具來實(shí)現(xiàn)。

VAD 的作用是檢測環(huán)境中是否有人在說話，一旦檢測到語音信號，系統(tǒng)就會強(qiáng)行中斷模型的輸出，然后重新開始一輪“聽→處理→說”的流程。

姚遠(yuǎn)對 DeepTech 解釋道：“當(dāng)前通行的模型被打斷停下來的機(jī)制，可以理解為并不是它‘感知’到的，其實(shí)是 VAD 聽到后告訴它‘你別說了’?！?/p>

換句話說，VAD 只能檢測到有聲音，但無法理解聲音的內(nèi)容和意圖。比如你正在和 AI 對話，旁邊有人咳嗽一聲，或者電視里傳來人聲，系統(tǒng)就可能誤判為用戶在說話，導(dǎo)致 AI 莫名其妙地停下來；又比如，你只是“嗯”了一聲表示自己在聽，系統(tǒng)也可能把這當(dāng)成打斷信號。

而且 VAD 的判斷存在滯后，它無法從語義上判斷用戶是否真正說完了，只能機(jī)械地依賴聲音信號：在檢測到人聲停止后，還需等待一段時間確認(rèn)沒有后續(xù)語音，才會判定說話結(jié)束。這種“硬等”的機(jī)制導(dǎo)致系統(tǒng)響應(yīng)總是慢半拍，造成不流暢的用戶體驗(yàn)。

與之不同，MiniCPM-o 4.5 的感知和判斷能力是模型內(nèi)生的。在持續(xù)接收視覺和聽覺信息的同時，模型會同步不斷進(jìn)行語義理解與“用戶是否正在說話”“自己是否需要說話”的高頻判斷。

因此，它在保持感知的同時，可以根據(jù)環(huán)境瞬時的變化實(shí)時反應(yīng)，以最合適的時機(jī)、最恰當(dāng)?shù)膬?nèi)容回復(fù)，讓大模型對于信息的感知與傳遞不會慢半拍。

這個特性可進(jìn)一步應(yīng)用在具身智能領(lǐng)域，為機(jī)器人提供持續(xù)感知的大腦底座。

目前，具身智能機(jī)器人在控制方面已展現(xiàn)出良好的能力，領(lǐng)域內(nèi)的共識是：多模態(tài)大模型是具身智能的核心認(rèn)知底座之一，有望為后者提供對多模態(tài)世界的基本理解、知識、規(guī)劃能力。在未來，機(jī)器人可能可以對微波爐“?！钡穆曇?、敲門、水龍頭漏水等事件具有持續(xù)的感知力，并在更多場景中提供及時響應(yīng)與主動服務(wù)。

當(dāng)然，這些展示的案例只是展示模型的能力，后續(xù)還需要產(chǎn)品方面更深入的打磨和調(diào)優(yōu)，以保障用戶在使用模型過程中的高度可控。

劉知遠(yuǎn)對 DeepTech 解釋道：“就像《星際穿越》里的機(jī)器人塔斯，它能主動說話、講笑話，但當(dāng)主角覺得幽默不合時宜，一句‘調(diào)低幽默值’，它就會立刻收斂?！蔽磥恚琈iniCPM-o 4.5 或許也能具備類似的可控性。

除了對話響應(yīng)能力大幅提升外，在基礎(chǔ)能力方面，MiniCPM-o 4.5 延續(xù)了前代產(chǎn)品的亮眼表現(xiàn)，在流式全模態(tài)能力、視覺能力和語音能力方面保持同尺寸領(lǐng)先水平。

（來源：資料圖）

語音交互是本次升級的重點(diǎn)之一。通過深度挖掘海量互聯(lián)網(wǎng)對話數(shù)據(jù)、專業(yè)級語音錄制資源，以及端到端模型結(jié)構(gòu)的優(yōu)化，MiniCPM-o 4.5 在音色自然度、語調(diào)豐富性、語音穩(wěn)定性等方面顯著提升。

尤為突出的是，它有效解決了長語音合成中常見的錯字率高、效果不穩(wěn)定等問題——即使生成大于 1 分鐘的長語音，依然保持較好的穩(wěn)定性、一致性與流暢感。更值得一提的是，該模型支持推理階段的聲音克?。簝H通過系統(tǒng)提示詞和幾秒鐘的語音樣本，即可模擬特定人物的語音風(fēng)格與表達(dá)習(xí)慣。

讓智能真正跑起來的，不只是算法

有了模型還不夠，為了打通到應(yīng)用落地的“最后一公里”，面壁智能本次還透露了將在年中發(fā)布的基于 NVIDIA Jetson 系列模組的“松果派”（Pinea Pi）開發(fā)板套件。

其產(chǎn)品定位是 Agent 原生的端側(cè)多模態(tài)開發(fā)板，目的是讓開發(fā)者用簡單方式快速開發(fā)端側(cè)智能硬件，將端側(cè)智能設(shè)備的定義權(quán)交到用戶和開發(fā)者手中。

（來源：資料圖）

目前，開發(fā)者想要完成 AI 智能硬件開發(fā)，需要面對英偉達(dá)等芯片公司提供的 C++、CUDA 和 TensorRT 等復(fù)雜技術(shù)棧，開發(fā)門檻較高。而市面上的開發(fā)板大多是芯片公司提供的裸板，外設(shè)需要開發(fā)者自行購買、適配驅(qū)動、手動搭建多模態(tài) Pipeline。

松果派則希望改變這一現(xiàn)狀。它被設(shè)計(jì)為“開箱即用”的完整解決方案，預(yù)裝了完整的多模態(tài) AI 開發(fā)環(huán)境，包含攝像頭、麥克風(fēng)等必要外設(shè)，以及經(jīng)過優(yōu)化的驅(qū)動程序和中間件。

從商業(yè)模式角度看，松果派采用了類似早期香橙派、樹莓派的策略。通過標(biāo)準(zhǔn)化、開放的硬件形態(tài)教育市場，吸引開發(fā)者加入生態(tài)。

除了硬件，面壁智能還將配套推出了高效推理框架和演示系統(tǒng)。未來兩者都將開源，為開發(fā)者提供完整的開發(fā)工具鏈。

始于非共識的創(chuàng)新：他們沒有繼續(xù)押注更大的云端模型，而是端側(cè)

在劉知遠(yuǎn)看來，端側(cè) AI 并不是短期押注某個產(chǎn)品的形態(tài)，而是過去數(shù)十年信息革命向智能革命演進(jìn)過程中，必然會出現(xiàn)的一層結(jié)構(gòu)?！斑@并不是因?yàn)樗菀鬃觯彼f，“而是真正能承載智能革命的大規(guī)模落地，一定發(fā)生在距離用戶最近的地方。”

劉知遠(yuǎn)指出：就像 PC 發(fā)展早期一樣，當(dāng)計(jì)算能力足夠強(qiáng)大時，計(jì)算會從大型機(jī)向個人設(shè)備轉(zhuǎn)移。AI 的發(fā)展也將遵循同樣的規(guī)律。

因此，他提出“未來計(jì)算三分天下”的觀點(diǎn)：超算用于科研探索，云計(jì)算支撐通用服務(wù)，而端側(cè)計(jì)算（端算）將成為體量最大、最貼近人類日常的智能形態(tài)。

屆時，“超智-云智-端智”可能呈現(xiàn)金字塔式的分布結(jié)構(gòu)。從規(guī)模 × 頻率 × 場景密度進(jìn)行判斷，劉知遠(yuǎn)認(rèn)為，端側(cè)的核心價值不是算力，而是貼近現(xiàn)實(shí)：盡管單個端側(cè)設(shè)備的智能不一定最強(qiáng)，但從體量分配來看，端側(cè)智能承載的是整個人類社會的日常運(yùn)轉(zhuǎn)，因而必然會超過超智和云智。

2022 年底，OpenAI 正式發(fā)布 ChatGPT，大模型由此進(jìn)入爆發(fā)期。隨后，領(lǐng)域內(nèi)開始爭相復(fù)現(xiàn)大模型的能力：堆參數(shù)、租算力成為扎堆的方向。

而在此之前，劉知遠(yuǎn)已做出了另一種選擇。早在 2018 年，他已明顯察覺到 AI 向“通用”的關(guān)鍵轉(zhuǎn)折點(diǎn)邁進(jìn)，開始從專用系統(tǒng)邁向通用和強(qiáng)大的系統(tǒng)。他對大模型發(fā)展模式的判斷是：與集成電路、計(jì)算機(jī)、搜索引擎等技術(shù)歷史上的變革類似，一旦技術(shù)成熟，創(chuàng)新的主體一定不再只是高校，而是系統(tǒng)性研發(fā)——通過科技公司的推動縮短從前沿探索到產(chǎn)業(yè)應(yīng)用的鏈條。

2020 年底，大模型還未火爆，劉知遠(yuǎn)當(dāng)時正與唐杰（現(xiàn)清華大學(xué)教授）、黃民烈（現(xiàn)清華大學(xué)教授）、文繼榮（現(xiàn)中國人民大學(xué)高瓴人工智能學(xué)院院長）等在智源開發(fā)“悟道”大模型。直到 2021 年 3 月發(fā)布完悟道 1.0 之后，劉知遠(yuǎn)萌生創(chuàng)業(yè)的想法，并于 2022 年 8 月聯(lián)合創(chuàng)立面壁智能。

“當(dāng)時最直接的動力，是看到大模型展現(xiàn)出的通用能力：one for all（一個模型覆蓋多任務(wù)），遠(yuǎn)遠(yuǎn)超出我們當(dāng)年在各自細(xì)分方向上的經(jīng)驗(yàn)。那時候，我們在學(xué)術(shù)方向還在研究自然語言處理里的具體任務(wù)，比如機(jī)器翻譯、關(guān)系抽取、腦圖估計(jì)等等?！眲⒅h(yuǎn)回憶道。

與后來行業(yè)普遍選擇押注更大的云端模型不同，面壁智能從一開始就將重心放在端側(cè) AI 上。這在當(dāng)時，是一條明顯的“非共識”路徑。

而這種路徑在劉知遠(yuǎn)看來是正是驅(qū)動創(chuàng)新的源泉：99% 的人都認(rèn)為正確的方向，往往已經(jīng)沒有太大的空間。他認(rèn)為，有人做了 A，不是再 copy 做 A+。“最底層、最可貴的地方在于，應(yīng)與之協(xié)同構(gòu)建出共生共榮的生態(tài)，這種非共識的創(chuàng)新性正是中國創(chuàng)業(yè)公司稀缺之處?！?/p>

無論從投資還是產(chǎn)業(yè)發(fā)展角度，繼續(xù)在同一條路徑上扎堆、跟風(fēng)并不是一個明智的做法：是一條必然內(nèi)卷的路線，當(dāng)下的時代應(yīng)該多開拓和創(chuàng)新。

從 2000 年前后的互聯(lián)網(wǎng)發(fā)展的歷史浪潮中，也可以印證這一點(diǎn)：當(dāng)時百度、搜狐等企業(yè)“百花齊放”，20 多年后的今天，放眼全球社會各方面都已浸透互聯(lián)網(wǎng)的身影，并催生了各種衍生產(chǎn)業(yè)。

2010 年，中國的創(chuàng)業(yè)風(fēng)向已經(jīng)由過去的“Copy to China”轉(zhuǎn)變到創(chuàng)新商業(yè)模式，逐漸發(fā)展出淘寶、美團(tuán)、滴滴等一系列企業(yè)。

到 2020 年之后，伴隨著大模型與 AI 的這一波浪潮，可以看到的是：包括 AI for Science 在內(nèi)的模式創(chuàng)新，正成為驅(qū)動整個產(chǎn)業(yè)變革、形成新生產(chǎn)力的核心力量?！拔覀冋谧龅氖虑橹徊贿^是順應(yīng)了技術(shù)的發(fā)展浪潮、順應(yīng)了時代的發(fā)展。”劉知遠(yuǎn)表示。

產(chǎn)學(xué)研協(xié)同的落地邏輯：從技術(shù)迭代到 AGI 的長期探索

當(dāng)然，產(chǎn)業(yè)化這條路與學(xué)術(shù)界“少量跑通即可閉環(huán)”有本質(zhì)的不同。姚遠(yuǎn)指出，學(xué)術(shù)界強(qiáng)調(diào)從最前沿探索遙遠(yuǎn)的可能性，而產(chǎn)業(yè)化必須抗住海量數(shù)據(jù)的檢驗(yàn)。因此，如何找到學(xué)術(shù)界的前沿方向與工程可落地的交集，極其考驗(yàn)工程直覺。

假如一條主線模型是通向 AGI 必須持續(xù)推動的核心，他們會從各篇論文里“采蜜”式地挑精華，一旦技術(shù)本身不夠簡潔、沒有直擊本質(zhì)，反而堆了很多臃腫設(shè)計(jì)，它就會妨礙這條主線長期迭代。

這一代從面壁模型迭代中也可以看到：從 MiniCPM-1 到 MiniCPM-o 系列，每一代都會引入新的教師模型。團(tuán)隊(duì)不僅讓模型的基礎(chǔ)能力保持優(yōu)異，更在不斷拓展其能力邊界。沿途積累的所有關(guān)鍵技術(shù)技巧與優(yōu)化策略，都被持續(xù)集成并兼容到最新的代碼庫中。姚遠(yuǎn)表示：“目前的 o 4.5 版本已全面兼容之前所有版本的技術(shù)，這說明它們彼此之間具備高度的可疊加性。”

劉知遠(yuǎn)指出，如果將 AGI 看成是一張拼圖，最關(guān)鍵的一塊未必是高等數(shù)學(xué)，也未必是專業(yè)能力，而是具備很強(qiáng)的人類智商水平。因此從這個角度來看，全模態(tài)的全雙工是可能很慢但值得努力的方向，也是通往未來 AGI 的關(guān)鍵拼圖之一?！凹热淮蠹叶歼€沒做出來，那么讓端側(cè)、全雙工在真實(shí)系統(tǒng)里跑起來就是我們的機(jī)會?！?/p>

他認(rèn)為，從整個人類的未來長遠(yuǎn)發(fā)展來看，AI 扮演的角色是：替代人類花費(fèi)大量機(jī)械、重復(fù)的腦力勞動去完成的事情，而人類則花更多精力去做頂層規(guī)劃、做創(chuàng)新、去思考更有意思的事情?！癆gent 在中文里有一個傳神的名稱叫代理，AI 更重要使命是陪伴人類完成自身共同進(jìn)步的工作，這也是對促進(jìn)新質(zhì)生產(chǎn)力發(fā)展來說長遠(yuǎn)和重要的標(biāo)志。”

他們并不擔(dān)心 AI 走得太快，而是認(rèn)為過去 100 多年，人類整體的科學(xué)與創(chuàng)新其實(shí)在減速，就好像是《三體》中智子將科技鎖死了。

“我們已經(jīng)很久沒有建立關(guān)于世界、宇宙的‘新坐標(biāo)’了，盡管人類在很多方面已竭盡全力，但很難進(jìn)到知識的邊界再去拓展版圖，它的科學(xué)基礎(chǔ)仍然是一兩百年前的東西?！眲⒅h(yuǎn)指出，這背后的邏輯是：人類已無法成為全人類知識的主人，未來唯有依靠 AI，讓我們重新執(zhí)掌全人類的知識，進(jìn)而實(shí)現(xiàn)對世界的全面認(rèn)知。

結(jié)語

全模態(tài)的意義不止是交互，很可能是模型增長的新路徑。未來，它可能會以伴隨態(tài)出現(xiàn)在我們生活的方方面面：盲人輔助、智能車機(jī)、幫助記錄上課/會議并自動整理、語音提問即時答疑……

新方向讓我們看到了更多的可能性：大模型正在從問答模式向持續(xù)參與現(xiàn)實(shí)世界轉(zhuǎn)變。但需要看到的是，技術(shù)目前仍處于早期探索階段，我們并不是要將生活的全部全都交給它，而是通過風(fēng)險(xiǎn)把控和配套人工輔助核驗(yàn)等機(jī)制，共同解鎖 AI 的能力邊界。

當(dāng) AI 具備類人的感知交互，人與智能的邊界正在被重新定義。

運(yùn)營/排版：何晨龍