在12 月 17 日開(kāi)幕的2025小米人車家全生態(tài)合作伙伴大會(huì)上，備受矚目的小米大模型團(tuán)隊(duì)迎來(lái)了新任掌門人的首次公開(kāi)亮相。作為Xiaomi MiMO大模型負(fù)責(zé)人，羅福莉并沒(méi)有選擇常規(guī)的客套寒暄，而是直接拋出了一枚技術(shù)重磅炸彈——正式發(fā)布最新一代MoE（混合專家）大模型MiMo-V2-Flash。對(duì)于這一里程碑式的發(fā)布，相關(guān)負(fù)責(zé)人將其定義為小米在通往人工通用智能（AGI）宏偉藍(lán)圖中的關(guān)鍵第二步，標(biāo)志著小米在頂級(jí)模型研發(fā)領(lǐng)域已從跟隨邁向了引領(lǐng)。

在隨后的技術(shù)深度解析環(huán)節(jié)，有關(guān)方面披露了MiMo-V2-Flash背后的硬核架構(gòu)細(xì)節(jié)，展現(xiàn)了小米團(tuán)隊(duì)在平衡模型性能與算力效率上的獨(dú)特思考。據(jù)悉，該模型并未盲目堆砌參數(shù)，而是采用了一種名為Hybrid SWA的混合架構(gòu)。這種設(shè)計(jì)被業(yè)內(nèi)評(píng)價(jià)為極具極簡(jiǎn)主義美學(xué)，既摒棄了繁復(fù)的冗余結(jié)構(gòu)，又在長(zhǎng)文本推理能力上實(shí)現(xiàn)了對(duì)傳統(tǒng)線性注意力變體的顯著超越。

特別值得關(guān)注的是，技術(shù)團(tuán)隊(duì)在研發(fā)過(guò)程中發(fā)現(xiàn)了一個(gè)頗為反直覺(jué)的現(xiàn)象：窗口大小并非越大越好。經(jīng)過(guò)反復(fù)驗(yàn)證，128被確定為最佳的窗口大小設(shè)定，一旦超過(guò)這個(gè)閾值，模型的綜合性能反而會(huì)出現(xiàn)下滑。這一發(fā)現(xiàn)不僅為行業(yè)提供了新的調(diào)優(yōu)思路，配合固定的KV緩存設(shè)計(jì)，更是極大地提升了新模型與現(xiàn)有計(jì)算基礎(chǔ)設(shè)施的兼容性，為大規(guī)?？焖俨渴饞咔辶苏系K。

除了架構(gòu)層面的革新，羅福莉還著重介紹了多標(biāo)記預(yù)測(cè)（MTP）技術(shù)的應(yīng)用。這項(xiàng)技術(shù)被視為此次性能飛躍的另一大引擎，特別是在強(qiáng)化學(xué)習(xí)（RL）的高效化方面效果卓著。有別于傳統(tǒng)模型逐個(gè)預(yù)測(cè)下一個(gè)token的低效模式，MTP技術(shù)允許模型在預(yù)測(cè)時(shí)看得更遠(yuǎn)。數(shù)據(jù)表明，即便僅在第一層之外進(jìn)行少量的微調(diào)，MTP也能幫助模型獲得極高的接受長(zhǎng)度。

在具體的編程任務(wù)測(cè)試中，三層MTP架構(gòu)的表現(xiàn)尤為搶眼，不僅實(shí)現(xiàn)了大于3的接受長(zhǎng)度，更將推理速度提升了約2.5倍。這一改進(jìn)直擊當(dāng)前AI訓(xùn)練的痛點(diǎn)，有效解決了在小批量On-Policy強(qiáng)化學(xué)習(xí)過(guò)程中常見(jiàn)的GPU空轉(zhuǎn)問(wèn)題，讓昂貴的算力資源得到了最大化利用。

在后訓(xùn)練階段，小米團(tuán)隊(duì)展現(xiàn)了極強(qiáng)的技術(shù)整合能力。據(jù)透露，團(tuán)隊(duì)采納了Thinking Machine提出的On-Policy Distillation（在線策略蒸餾）方案，旨在將多個(gè)強(qiáng)化學(xué)習(xí)模型的優(yōu)勢(shì)進(jìn)行深度融合。這一策略的效果立竿見(jiàn)影：小米成功在傳統(tǒng)的監(jiān)督微調(diào)（SFT）和強(qiáng)化學(xué)習(xí)流程中，以僅僅相當(dāng)于教師模型五十分之一的計(jì)算量，達(dá)到了同等水平的性能表現(xiàn)。這種四兩撥千斤的方法，展示了學(xué)生模型在不斷迭代中具備的驚人進(jìn)化潛力，最終形成了一個(gè)自我增強(qiáng)、自我完善的良性閉環(huán)。

回顧整個(gè)研發(fā)歷程，相關(guān)負(fù)責(zé)人感慨團(tuán)隊(duì)展現(xiàn)出的非凡戰(zhàn)力。從理論構(gòu)想到轉(zhuǎn)化為可上線運(yùn)行的生產(chǎn)級(jí)系統(tǒng)，小米AI團(tuán)隊(duì)僅用了短短幾個(gè)月時(shí)間。這種高效與創(chuàng)造力，不僅是小米技術(shù)實(shí)力的體現(xiàn)，更為其在激烈的人車家全生態(tài)競(jìng)爭(zhēng)中構(gòu)筑了堅(jiān)實(shí)的護(hù)城河。