作者 | 褚杏娟

2023 年，在百模大戰(zhàn)正激烈的時候，面壁智能突然轉(zhuǎn)向端側(cè)大模型，這一戰(zhàn)略決策受到了外界不少質(zhì)疑，直到次年蘋果的入局才讓市場相信他們的判斷。3 年后，面壁的打法和認知更為堅定和清晰，并火力全開：發(fā)布首個可以“即時自由對話”的大模型、年中發(fā)布首款 AI 硬件松果派（Pinea Pi）以支持硬件場景的全棧開發(fā)。

首次手搓全雙工全模態(tài)模型

2 月 4 日，面壁正式發(fā)布并開源了新一代全模態(tài)旗艦?zāi)Ｐ?MiniCPM-o 4.5。作為原生全雙工的全模態(tài)大模型，MiniCPM-o 4.5 新引入了一種端到端的“邊看、邊聽、主動說”的全模態(tài)能力：模型可以進行即時、自由的對話交互，弱化了傳統(tǒng)對話中“一問一答”的輪次概念，而是允許模型根據(jù)語義和場景，自主判斷是否發(fā)起對話。

直接看具體效果：

上述展示中模型一直在觀察，且沒有涉及復(fù)雜的調(diào)度

“全模態(tài)能力是 AI 進入人類物理世界所必備的一項基礎(chǔ)能力。這一次的全模態(tài)模型，最大的特色在于高度擬人、自然的交互方式，也就是說，看、聽、說是并行發(fā)生、互不阻塞，不再采用過去那種回合制交互。這在技術(shù)上是一次非常重要的跨越，也是未來 AI 真正進入物理世界所必須具備的基本能力?！泵姹谥悄苈?lián)合創(chuàng)始人兼首席科學(xué)家劉知遠說道。

清華大學(xué)人工智能學(xué)院助理教授、面壁智能多模態(tài)首席科學(xué)家姚遠，主要負責(zé) MiniCPM-o 4.5 的研發(fā)。他介紹，該模型主要依賴兩項核心創(chuàng)新：一是全雙工機制，多模態(tài)輸入和輸出彼此不阻塞，模型可以持續(xù)感知外界的視頻和音頻流，同時進行語音或文本輸出，不會因“正在說話”暫停對外界的感知；二是全模態(tài)的自主交互機制，模型會持續(xù)判斷當(dāng)前語義是否已經(jīng)成熟，是否達到了適合觸發(fā)自身輸出的時機。

他坦言，目前市面上大多是將圖像模型、語音模型，甚至 instruct 模型和 thinking 模型拆分為不同的模型分別訓(xùn)練。面壁這次嘗試將所有能力統(tǒng)一訓(xùn)練到一個模型中，面臨了不小的挑戰(zhàn)。

首先就是多維度一起訓(xùn)練，整體難度會急劇上升，再加上端到端的多模態(tài)訓(xùn)練，本身就會顯著增加系統(tǒng)負擔(dān)；其次 9B 參數(shù)規(guī)模下，要在語音、全模態(tài)交互以及視覺能力等方面取得不錯效果，就要對模型如何學(xué)習(xí)和吸收知識有更深入的理解，能夠更精細地把握模型在不同訓(xùn)練階段的學(xué)習(xí)動態(tài)，避免新引入的知識與已有能力之間產(chǎn)生沖突。這期間，技術(shù)團隊克服了大量困難。

最后，團隊能夠在多模態(tài)訓(xùn)練過程中較好地保持文本能力，instruct 能力沒有明顯損失，甚至實現(xiàn)小幅提升。此外，模型通過更低的顯存占用、更快的響應(yīng)速度，確保在提供 SOTA 級全模態(tài)表現(xiàn)的同時，實現(xiàn)了最佳的推理效率和最低的推理開銷。

Github：https://github.com/OpenBMB/MiniCPM-o

Hugging Face: https://huggingface.co/openbmb/MiniCPM-o-4_5

體驗鏈接：https://minicpm-omni.openbmb.cn/

目前，模型記憶大概在一分鐘左右，也模型推理的最佳“舒適區(qū)”。姚遠表示，Infra 層雖然可以支持更長時間的訓(xùn)練和推理，但如果模型未來要承擔(dān)更長期、甚至接近全天候陪伴式的使用形態(tài)，就必然要在方法和機制上做更多創(chuàng)新。

端側(cè)對低延時要求非常高。這次，模型側(cè)的低延遲優(yōu)化主要來自兩點：首先，在全雙工狀態(tài)下，模型不再依賴外部的微型工具或小模型來判斷“什么時候開始推理”，傳統(tǒng)邏輯里需要固定等待的時間被去掉，模型可以直接基于語義判斷無縫生成回應(yīng)。其次，現(xiàn)在不少方案會把語音 token 直接放進一個大模型里統(tǒng)一生成，這會帶來非常沉重的計算開銷。面壁技術(shù)團隊采用的方式是，一個大的主干模型加一個輕量級語音生成模塊，在保證效率的同時，兩者通過稠密的隱藏層連接，把主 token 與各個頭部 token 緊密關(guān)聯(lián)起來，因此實現(xiàn)控制能力不受影響。

而使用側(cè)的系統(tǒng)層面，則依賴于高效的推理框架 llama.cpp-omni 和低延遲的交互系統(tǒng)。

姚遠指出，多模態(tài)數(shù)據(jù)本身并不是最大的問題。預(yù)訓(xùn)練階段“數(shù)據(jù)燃料耗盡”主要指文本數(shù)據(jù)；而在多模態(tài)領(lǐng)域，當(dāng)前的挖掘程度遠遠不夠，甚至都還沒有真正找到一種非常有效的方式系統(tǒng)利用這些數(shù)據(jù)。而全雙工、全模態(tài)的自主交互機制，可能正是未來新的學(xué)習(xí)與增長方式。

當(dāng)前，如何在不犧牲單任務(wù)性能的前提下，實現(xiàn)統(tǒng)一建模、高效泛化以及理解生成一體化，是當(dāng)前業(yè)內(nèi)積極探索的研究方向，如今面壁也邁出了自己的關(guān)鍵一步。

讓開發(fā)者回答，AI 硬件該是什么樣

端側(cè)領(lǐng)域，除了開發(fā)端原生的模型，與芯片廠商的合作也越來越重要。

一方面，芯片廠商非常希望從前沿端側(cè)模型的公司，獲取未來訓(xùn)練模型的規(guī)劃和展望，這有助于設(shè)計新的芯片；另一方面，模型公司在設(shè)計和訓(xùn)練新模型時，也希望能夠提前了解芯片的特性，說明需要的算子類型和架構(gòu)特點，以確保訓(xùn)練出的模型在這些芯片上運行時效率最高。

面壁如今就在成為連接芯片廠商和終端廠商的重要媒介，而且還要連接更多的開發(fā)者：今年面壁發(fā)力的重點之一便是開發(fā)者生態(tài)。

25 年上半年，面壁投資人在深圳調(diào)研發(fā)現(xiàn)，在深圳做 AI 硬件的項目，凡涉及端側(cè)模型的，超過一半以上都在使用 MiniCPM。這是面壁今年開始建設(shè)開發(fā)者生態(tài)、提供硬件的根本原因。

面壁智能聯(lián)合創(chuàng)始人兼 COO 雷升濤解釋，單純依靠商業(yè)化，把 MiniCPM 部署到數(shù)百億臺設(shè)備上會比較困難，而通過生態(tài)建設(shè)可以讓開發(fā)者一起參與推動。生態(tài)的優(yōu)勢在于自然生長，只要有好的基礎(chǔ)，它就會衍生出許多依賴性的、難以想象的應(yīng)用。對于“應(yīng)該能開發(fā)出哪些硬件”的問題，面壁沒有設(shè)定特別明確的規(guī)劃或期待，而是把答案留給了開發(fā)者。

面壁踐行這一策略的首個舉措就是發(fā)布松果派：一款 AI 原生 (AI Native) 的端側(cè)智能開發(fā)板。

這背后的邏輯是：推廣語言模型相對容易，但當(dāng)模態(tài)增加、要在設(shè)備上運行、進行微調(diào)、完成對齊后再開發(fā)應(yīng)用，難度就顯著提升，這部分難度需要依靠工具和軟硬件來解決，承載這部分功能的就是松果派。未來面壁模型發(fā)布時，就會針對指定硬件進行優(yōu)化，減少用戶在適配上消耗的大量精力。

松果派構(gòu)建了一套軟硬一體、全棧覆蓋的端側(cè) AI 軟件體系。其基于 NVIDIA Jetson 系列模組打造，內(nèi)置麥克風(fēng)、攝像頭、豐富的接口等多模態(tài)硬件組件，以便開發(fā)者高效開發(fā)和調(diào)用。

松果派計劃在年中正式量產(chǎn)上市，但它今年不會承擔(dān)面壁特別強的商業(yè)化訴求，更多是承擔(dān)市場教育作用：讓更多的人能更快體驗?zāi)Ｐ湍芰?，并在各類場景中?yīng)用起來。打通端側(cè)模型到應(yīng)用的最后一公里硬件、實現(xiàn)對用戶痛點的覆蓋，就是面壁今年的目標。

面壁目前并未透露具體價格，但肯定地表示不會以盈利為主要目的。最初版本選擇了在全球范圍內(nèi)相對成熟的方案，接下來會陸續(xù)推出相應(yīng)的國產(chǎn)化版本以及不同算力的版本，并根據(jù)開發(fā)者反饋進行規(guī)劃和調(diào)整。

這次松果派的硬件本身是由合作伙伴完全設(shè)計，面壁主要將其整合應(yīng)用。面壁智能聯(lián)合創(chuàng)始人兼 CEO 李大海強調(diào)，面壁最重要的是做端側(cè)原生，聚焦端側(cè)模型研發(fā)?！岸藗?cè)模型的商業(yè)化落地，本身既是對我們模型能力的驗證，也是為端側(cè)模型建立數(shù)據(jù)飛輪，形成完整的閉環(huán)。從核心來看，我們的工作一直很專注。在過去，雖然出現(xiàn)了許多看似有吸引力的機會，但我們始終堅持取舍，最終選擇聚焦在端側(cè)模型這件事情上?！?/p>

如何從各種競爭中突圍？

面壁的核心理念是大模型“知識密度定律（Densing Law）”，即大模型的知識密度大約每 100 天提升一倍。這引發(fā)了一個重要推論：大模型的保鮮期非常短。換句話說，任何一家大模型公司都必須持續(xù)不斷地推出優(yōu)秀的大模型?；仡檱鴥?nèi)外所有模型廠商，沒有任何例外。

“如果一個廠商只能在某一個時間點推出一個模型，那么它實際上無法在行業(yè)前沿持續(xù)存在；半年、一年之后，用戶很可能就會忘記這個模型。因此，關(guān)鍵不在于推出單一優(yōu)秀模型，而在于能夠持續(xù)不斷地推出優(yōu)秀模型?！崩畲蠛Ｕf道，“面壁的目標是打造一個能夠持續(xù)訓(xùn)練出高知識密度大模型的系統(tǒng)。這才是我們認為最重要的產(chǎn)品、技術(shù)層面的核心?！?/p>

雷升濤補充道，在模型之外，把底層的 Infra 模型跑到極致也是延長模型領(lǐng)先時間的關(guān)鍵，畢竟端側(cè)的算力很小、內(nèi)存有限，各種約束都非常嚴苛，要做好是非常困難的。另外，產(chǎn)品化能力也非常關(guān)鍵?，F(xiàn)在單靠模型領(lǐng)先已經(jīng)無法持續(xù)保持競爭優(yōu)勢，需要通過底層基礎(chǔ)設(shè)施、產(chǎn)品設(shè)計、品牌建設(shè)以及模型能力的結(jié)合，來更大程度地延長模型的“保鮮期”。

雖然面壁正在同步將商業(yè)優(yōu)勢、生態(tài)優(yōu)勢、品牌優(yōu)勢等單一優(yōu)勢轉(zhuǎn)化為綜合性優(yōu)勢，但作為創(chuàng)業(yè)公司，如何避免被大廠圍剿仍是一個現(xiàn)實問題，李大海對此較為樂觀。

他解釋道，大廠不會放棄通用且規(guī)模巨大的市場，因此競爭激烈。相比之下，端側(cè)是另一個重要方向?！岸藗?cè)包含非常多不同的終端，每個終端面向的應(yīng)用場景各不相同，因此它不是一個統(tǒng)一的市場，創(chuàng)業(yè)公司有更多機會去切入不同細分領(lǐng)域，而不需要像大廠那樣爭奪整個市場?！北澈蟮倪壿嬍牵憾藗?cè)市場分散且長尾，同時存在許多高價值的應(yīng)用場景，這正是創(chuàng)業(yè)公司在初期更適合重點攻克的領(lǐng)域。

此外，終端本身就是高度差異化的，涵蓋了各種各樣的類型。劉知遠強調(diào)，面壁關(guān)注的是終端發(fā)展的核心需求：高效，即用盡可能少的參數(shù)實現(xiàn)盡可能強的能力?！皬纳虡I(yè)角度來看，面壁不會去和很多廠商打陣地戰(zhàn)，這種做法在創(chuàng)業(yè)階段并不聰明。這是一個藍海市場，沒有必要在這方面過多糾結(jié)?！?/p>

李大海也補充稱，即使是在同一個領(lǐng)域內(nèi)，要解決的客戶或用戶問題也是非常多樣化的。同一個領(lǐng)域并不意味著大家一定是你死我活的競爭關(guān)系。尤其端側(cè)市場，覆蓋了非常多應(yīng)用場景，能夠容納很多創(chuàng)業(yè)公司，讓大家都有良好的發(fā)展空間。

內(nèi)部的“一人公司”趨勢

另外，一個值得關(guān)注的現(xiàn)象是，面壁內(nèi)部也逐漸出現(xiàn)了“one person company（一人公司）”趨勢。

面壁內(nèi)部過去十個月一直在推動全公司的 AI 原生計劃。不到兩百人的團隊，在十個月內(nèi)寫了 2000 萬行代碼。如果按傳統(tǒng)方式手寫，這些大概需要 700 人才能完成。

其中，團隊中最核心、最重度投入的一位員工，一個月就寫了 65 萬行代碼，他把核心系統(tǒng)接入 AI，并重構(gòu)了一遍?！拔磥淼钠髽I(yè)，尤其是 AI 企業(yè)，一定會是高度 AI 賦能的，也就是我們所說的 AI Native 模式?！眲⒅h說道。

小團隊甚至個人都可以完成過去需要團隊數(shù)月才能完成的工作，這是一個非常明顯的發(fā)展趨勢。面壁目前就在朝這個方向發(fā)展，這種模式和以往的大公司有很大的不同。

雷升濤解釋，面壁內(nèi)部對“AI Native”的定義包括兩個方面：第一，接到任務(wù)后，第一反應(yīng)是能否用 AI 來完成；第二，如果任務(wù)原本人來完成的，那么用 AI 完成后，能否做得更好。他表示，AI 已經(jīng)滲透到面壁業(yè)務(wù)的各個層面，它不僅被廣泛使用，還深刻地影響了大家的思維方式、工作模式乃至協(xié)作方式。

這也反映在了面壁招人的具體要求中。李大海表示，面壁一直希望能夠吸引 AI 原生的人才，即在思考和解決任何問題時，都能夠?qū)?AI 能力視作自身的內(nèi)在工具去應(yīng)用。這背后反映的，是人才是否具備發(fā)現(xiàn)問題和提出問題的能力，這一點在如今時代尤為重要。同時，他們還需要能夠利用 AI 快速解決問題，并具備足夠強的判斷能力，去評估工具產(chǎn)出的結(jié)果是否高質(zhì)量。

“一個公司的核心競爭力，很大程度上取決于人才的密度和質(zhì)量。換句話說，所謂 AI 原生，不只是態(tài)度上愿意使用 AI，更重要的是通過這個過程展現(xiàn)出個人的綜合能力?！崩畲蠛Ｕf道。

走向 AGI 的兩條發(fā)展主線

對于未來端側(cè)智能的發(fā)展，面壁形成了一個明確判斷：端側(cè)與云端的協(xié)同，將成為未來長期存在的主流形態(tài)。

無論是豆包手機、具身智能，還是引發(fā)廣泛關(guān)注的 OpenClaw，這些爆火的案例都在驗證一個趨勢：智能終端正在成為大模型能力向用戶延伸的重要載體。劉知遠認為，這些探索共同指向一個核心愿景：大模型將越來越貼近用戶。

但從現(xiàn)實情況來看，大部分產(chǎn)品目前仍主要依賴云端模型運行，由此帶來了反饋延遲、隱私保護和安全性等一系列問題。因此，這一方向雖然正確但還不成熟，它只是這場大戲的序幕，甚至連序幕的開端可能都剛剛開始。

面壁判斷，隨著模型逐步進入物理世界，尤其是在對實時性要求極高的任務(wù)中，端側(cè)模型將不可或缺。在本地即時處理大量數(shù)據(jù)、快速做出響應(yīng)，是端側(cè)模型的核心價值所在，這也是端云協(xié)同中，端側(cè)不可替代的意義。

從具體終端形態(tài)來看，李大海指出，手機在大模型應(yīng)用上仍有巨大的拓展空間。目前的探索更多集中在“輸出”側(cè)能力，但同樣重要的還有“輸入”側(cè)。如果手機能夠直接感知并理解現(xiàn)實環(huán)境，就可以更自然地與用戶共享上下文，實現(xiàn)更貼近人類認知方式的交互。但這也意味著更高的技術(shù)與工程挑戰(zhàn)：在資源受限的終端上實現(xiàn)復(fù)雜感知與理解能力，需要更長時間的打磨與更精細的系統(tǒng)優(yōu)化。

而在另一個同樣火熱的具身智能領(lǐng)域，行業(yè)面臨的核心挑戰(zhàn)依然是模型的通用性與泛化能力，即能否讓同一模型穩(wěn)定運行在不同類型的本體之上。多模態(tài)大模型被普遍視為突破這一瓶頸的關(guān)鍵，為跨場景、跨本體的適應(yīng)能力提供基礎(chǔ)支撐。

在劉知遠看來，多模態(tài)乃至全模態(tài)能力，正是未來多智能體體系的基礎(chǔ)。未來將存在大量分布在不同環(huán)境中的智能終端，每個終端的感知條件、背景信息各不相同，正是這種差異性，使得終端之間的協(xié)同成為必然選擇。

他解釋道，從結(jié)構(gòu)上看，一個智能體至少可以抽象為三個核心要素：輸入 x、輸出 y 和模型 m。輸入天然是全模態(tài)的，人類正是通過多模態(tài)感知世界；模型負責(zé)思考、推理與決策；輸出則作用于物理世界，完成各種具體行為。未來智能體能力的演進，正是圍繞這三個要素不斷強化與耦合，最終實現(xiàn)真正面向物理世界的智能行動。

在更宏觀的層面，劉知遠將通用人工智能的發(fā)展總結(jié)為兩條主線：一是智能能力持續(xù)增強，二是智能的實現(xiàn)與使用不斷變得高效。面壁未來的技術(shù)突破，也將圍繞這兩個方向同步推進。

他進一步判斷，在接下來一到兩年內(nèi)，模型的專業(yè)能力和與現(xiàn)實世界交互的能力將快速提升，作為智能體，模型將逐步具備更強的自主學(xué)習(xí)與自我成長能力；當(dāng)模型能夠在特定領(lǐng)域中自主探索與進化后，多智能體協(xié)同將成為下一階段的重要突破，不同智能體將像人類團隊一樣高效協(xié)作，完成單一個體難以完成的復(fù)雜任務(wù)；更長遠來看，模型還將逐步展現(xiàn)出創(chuàng)新與創(chuàng)造能力。

與此同時，智能終端本身也將隨之發(fā)生變化?！耙坏┙K端側(cè)模型具備自主學(xué)習(xí)與協(xié)同能力，就會形成一個關(guān)鍵基點：每個人都將擁有一個持續(xù)成長、越來越懂自己的大模型助手。未來三到五年，這一愿景很可能成為現(xiàn)實?！眲⒅h說道。

聲明：本文為 AI 前線整理，不代表平臺觀點，未經(jīng)許可禁止轉(zhuǎn)載。

會議推薦

InfoQ 2026 全年會議規(guī)劃已上線！從 AI Infra 到 Agentic AI，從 AI 工程化到產(chǎn)業(yè)落地，從技術(shù)前沿到行業(yè)應(yīng)用，全面覆蓋 AI 與軟件開發(fā)核心賽道！集結(jié)全球技術(shù)先鋒，拆解真實生產(chǎn)案例、深挖技術(shù)與產(chǎn)業(yè)落地痛點，探索前沿領(lǐng)域、聚焦產(chǎn)業(yè)賦能，獲取實戰(zhàn)落地方案與前瞻產(chǎn)業(yè)洞察，高效實現(xiàn)技術(shù)價值轉(zhuǎn)化。把握行業(yè)變革關(guān)鍵節(jié)點，搶占 2026 智能升級發(fā)展先機！

今日薦文

你也「在看」嗎？