面壁智能 投稿
量子位 | 公眾號(hào) QbitAI

面壁智能公開(kāi)了自己在全雙工全模態(tài)交互領(lǐng)域的核心技術(shù)——

Omni-Flow 流式全模態(tài)框架。

今天，面壁智能聯(lián)合OpenBMB開(kāi)源社區(qū)、清華大學(xué)THUNLP實(shí)驗(yàn)室和THUMAI實(shí)驗(yàn)室，正式發(fā)布MiniCPM-o 4.5技術(shù)報(bào)告。

過(guò)往大模型均為半雙工交互模式，類似對(duì)講機(jī)式輪次對(duì)話。

用戶與AI無(wú)法并行交流，AI無(wú)法實(shí)時(shí)感知環(huán)境、不能被打斷插話，存在交互時(shí)空割裂，用戶體驗(yàn)差，嚴(yán)重制約多模態(tài)AI落地應(yīng)用。

MiniCPM-o 4.5是面壁智能今年2月發(fā)布的全雙工全模態(tài)模型，也是業(yè)界首個(gè)端到端全雙工全模態(tài)大模型。

該模型參數(shù)規(guī)模約9B，支持視頻、音頻、文本流輸入及文本與語(yǔ)音的連續(xù)輸出。

利用MiniCPM-o 4.5，不用聯(lián)網(wǎng)、僅用一張消費(fèi)級(jí)顯卡，你就能在個(gè)人電腦上擁有一個(gè)“邊看、邊聽(tīng)、邊說(shuō)、還能主動(dòng)提醒”的類人AI助手。

目前，MiniCPM-o 4.5已基于llama.cpp完成模型量化和推理性能優(yōu)化，實(shí)測(cè)最低12GB顯存的RTX 5070即可流暢運(yùn)行全雙工模式（RTF0.4)，極大降低了個(gè)人端側(cè)部署的準(zhǔn)入門檻。M1-M5 Max（包含M5 Pro）的MAC設(shè)備亦可使用，建議內(nèi)存超過(guò)16G。

下面這支視頻展示了MiniCPM-o 4.5在個(gè)人筆記本上的完整部署與運(yùn)行過(guò)程，包括全雙工語(yǔ)音對(duì)話、實(shí)時(shí)視覺(jué)理解、主動(dòng)提醒等能力演示。

模型發(fā)布至今，抱抱臉下載量已突破25萬(wàn)+。

技術(shù)報(bào)告發(fā)布之外，MiniCPM-o 4.5還同步推出在線體驗(yàn)Demo、全模態(tài)全雙工API、端側(cè)安裝包Comni和Demo倉(cāng)庫(kù)。

核心依托Omni-Flow流式全模態(tài)框架

MiniCPM-o 4.5極致流暢的全雙工交互體驗(yàn)，核心依托于面壁智能與清華大學(xué)聯(lián)合研發(fā)的Omni-Flow流式全模態(tài)框架。

這也是本次技術(shù)報(bào)告公開(kāi)的核心底層技術(shù)。

該框架打破傳統(tǒng)模型孤立的回合式交互邏輯，搭建起毫秒級(jí)統(tǒng)一時(shí)間軸。

通過(guò)時(shí)分復(fù)用機(jī)制，Omni-Flow流式全模態(tài)框架將視覺(jué)、音頻、文本等多模態(tài)并行信息流，精準(zhǔn)對(duì)齊、拆分重組為周期性時(shí)序信息組。

模型以每秒一次的高頻次持續(xù)刷新環(huán)境認(rèn)知，實(shí)時(shí)更新對(duì)場(chǎng)景和用戶意圖的理解，全程無(wú)需依賴外部VAD語(yǔ)音活動(dòng)檢測(cè)工具，原生支持持續(xù)感知、即時(shí)響應(yīng)、自由打斷。

在模型架構(gòu)上，MiniCPM-o 4.5采用輕量化端到端全模態(tài)設(shè)計(jì)，整體僅9B參數(shù)，由四大核心模塊高效協(xié)同構(gòu)成：

• 0.4B參數(shù)SigLIP-ViT視覺(jué)編碼器負(fù)責(zé)環(huán)境視覺(jué)感知；
• 0.3B參數(shù)Whisper-Medium音頻編碼器完成聲音信息采集；
• 8B參數(shù)Qwen3-8B LLM基座承擔(dān)核心思考與語(yǔ)義理解；
• 搭配0.3B參數(shù)輕量級(jí)語(yǔ)音Token解碼器實(shí)現(xiàn)語(yǔ)音生成。

模塊化分工設(shè)計(jì)各司其職、高效聯(lián)動(dòng)，既保留了大模型強(qiáng)大的理解推理能力，又規(guī)避了復(fù)雜聲學(xué)任務(wù)對(duì)核心算力的損耗。

同時(shí)搭配自研TAIL時(shí)間對(duì)齊交錯(cuò)語(yǔ)音生成方案，精準(zhǔn)匹配文本與語(yǔ)音輸出節(jié)奏。

在保證語(yǔ)音流暢自然、情感飽滿的前提下，最大限度降低交互延遲，徹底解決流式對(duì)話卡頓、滯后、銜接生硬的行業(yè)難題。

參數(shù)不大，但實(shí)力不容小覷。

在多項(xiàng)權(quán)威評(píng)測(cè)基準(zhǔn)中實(shí)現(xiàn)越級(jí)對(duì)標(biāo)，MiniCPM-o 4.5綜合性能比肩甚至超越多款行業(yè)前沿大模型。

在視覺(jué)能力上，模型OpenCompass綜合得分77.6、MMBench英文得分87.6，整體表現(xiàn)對(duì)標(biāo)Gemini 2.5 Flash，圖像理解、數(shù)學(xué)推理、文檔解析能力表現(xiàn)優(yōu)異。

在全模態(tài)動(dòng)態(tài)交互、視頻場(chǎng)景理解領(lǐng)域，MiniCPM-o 4.5的優(yōu)勢(shì)更為突出。

Daily-Omni、Video-Holmes等多項(xiàng)評(píng)測(cè)數(shù)據(jù)顯示，MiniCPM-o 4.5優(yōu)于Gemini 2.5 Flash等大模型的表現(xiàn)；在LiveSports-3K-CC全雙工視頻基準(zhǔn)測(cè)試中，勝率達(dá)到54.4%，領(lǐng)先各類專用流式視頻模型。

同時(shí)模型推理效率優(yōu)勢(shì)顯著。

INT4量化版本顯存占用大幅降低，僅需12GB顯存即可運(yùn)行，解碼速度可達(dá)212 tokens/s，相較同類模型提速40%以上，響應(yīng)延遲更低，性價(jià)比與落地優(yōu)勢(shì)拉滿。

除此之外，模型搭載多項(xiàng)實(shí)用特色功能，適配多元化使用場(chǎng)景。

MiniCPM-o 4.5全面支持中英雙語(yǔ)實(shí)時(shí)語(yǔ)音對(duì)話，語(yǔ)音生成質(zhì)量行業(yè)領(lǐng)先，中文CER、英文WER錯(cuò)誤率低于CosyVoice2等主流模型，情感表現(xiàn)力更強(qiáng)。

支持簡(jiǎn)易參考音頻即可完成聲音克隆與角色扮演，音色自然逼真。

延續(xù)MiniCPM-V系列優(yōu)勢(shì)，擁有前沿的OCR文檔解析能力，支持高清圖像、高幀率視頻處理，多語(yǔ)言解析能力覆蓋30余種語(yǔ)言。

同時(shí)，模型原生兼容傳統(tǒng)輪次對(duì)話、Omni-Flow全雙工流式交互兩種模式，無(wú)縫切換，兼顧精準(zhǔn)問(wèn)答與實(shí)時(shí)流式交互需求，適配各類使用場(chǎng)景。

兼顧普通用戶體驗(yàn)與開(kāi)發(fā)者二次開(kāi)發(fā)需求

為讓技術(shù)真正落地普惠，MiniCPM-o 4.5打造了全渠道、全人群的開(kāi)放落地體系，兼顧普通用戶體驗(yàn)與開(kāi)發(fā)者二次開(kāi)發(fā)需求。

面向普通用戶，官方開(kāi)放無(wú)需注冊(cè)、無(wú)需下載的在線體驗(yàn)Demo，同時(shí)推出適配Windows、macOS系統(tǒng)的桌面端Comni一鍵安裝包，簡(jiǎn)化部署流程，普通用戶可快速上手體驗(yàn)全雙工AI交互能力。

面向廣大開(kāi)發(fā)者，平臺(tái)免費(fèi)開(kāi)放全雙工實(shí)時(shí)WebSocket API，提供完整規(guī)范的接口文檔，支持快速接入各類應(yīng)用；同時(shí)完整開(kāi)源Demo前后端代碼，開(kāi)放Linux部署方案，支持開(kāi)發(fā)者自由二次開(kāi)發(fā)、自定義調(diào)試，助力各類全模態(tài)AI應(yīng)用快速落地。

依托原生全雙工、持續(xù)感知、主動(dòng)交互的核心能力，MiniCPM-o 4.5突破了傳統(tǒng)AI單次問(wèn)答的場(chǎng)景局限，解鎖了大量全新流式交互應(yīng)用場(chǎng)景。

在生活服務(wù)領(lǐng)域，有望作為沉浸式智能陪伴助手，在用戶運(yùn)動(dòng)、烹飪、日常勞作時(shí)實(shí)時(shí)答疑、主動(dòng)提醒、全程指導(dǎo)。

在無(wú)障礙公益領(lǐng)域，可為視障人群提供實(shí)時(shí)環(huán)境感知服務(wù)，主動(dòng)播報(bào)路況、設(shè)備狀態(tài)、環(huán)境變化，成為可靠的“視覺(jué)輔助助手”。

在智能車載領(lǐng)域，可以持續(xù)監(jiān)測(cè)路況與駕駛員狀態(tài)，主動(dòng)預(yù)警風(fēng)險(xiǎn)、提示可用車位、輔助泊車，提升駕駛安全性。

在具身智能領(lǐng)域，可作為機(jī)器人核心大腦，持續(xù)感知?jiǎng)討B(tài)環(huán)境、自主決策交互時(shí)機(jī)，適配智能機(jī)器人、智能家居等智能化場(chǎng)景，覆蓋生活化、公益化、工業(yè)級(jí)多維度需求。

可以說(shuō)，MiniCPM-o 4.5把“主動(dòng)式AI”從概念變成了可以在你電腦上跑起來(lái)的東西。

當(dāng)然，團(tuán)隊(duì)也在技術(shù)報(bào)告中坦誠(chéng)指出了當(dāng)前不足：

長(zhǎng)時(shí)間交互的穩(wěn)定性、主動(dòng)行為的豐富性、對(duì)復(fù)雜場(chǎng)景的魯棒性，都還有提升空間。

但這不妨礙它已經(jīng)立起了一個(gè)新的起點(diǎn)——全雙工全模態(tài)、端側(cè)可部署、全棧開(kāi)源，這條路線跑通了。

目前，MiniCPM-o 4.5在線體驗(yàn)、API、端側(cè)安裝包、Demo代碼倉(cāng)庫(kù)，所有入口都已在GitHub和面壁官網(wǎng)上線。

感興趣的小伙伴可以直接上手體驗(yàn)～

期待大家在評(píng)論區(qū)反饋。

技術(shù)報(bào)告PDF：

https://github.com/OpenBMB/MiniCPM-o/blob/main/docs/MiniCPM_o_45_technical_report.pdf

在線體驗(yàn)：

https://minicpmo45.modelbest.cn/

在線體驗(yàn)（手機(jī)端推薦）：

https://minicpmo45.modelbest.cn/mobile/

GitHub Demo（含本地安裝包）：

https://github.com/OpenBMB/MiniCPM-o-Demo

抱抱臉：

https://huggingface.co/openbmb/MiniCPM-o-4_5

魔搭：

https://www.modelscope.cn/models/OpenBMB/MiniCPM-o-4_5