訓(xùn)練一個(gè)大型人工智能模型的成本極為高昂，不僅體現(xiàn)在資金上，還涵蓋時(shí)間、能耗和計(jì)算資源等多個(gè)維度。傳統(tǒng)方法若想獲得一個(gè)體積更小、運(yùn)行更快的模型，要么先訓(xùn)練一個(gè)龐大的模型再進(jìn)行裁剪，要么從頭訓(xùn)練小模型但不得不接受性能上的妥協(xié)。

來(lái)自麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）、馬克斯·普朗克智能系統(tǒng)研究所、歐洲學(xué)習(xí)與智能系統(tǒng)實(shí)驗(yàn)室、蘇黎世聯(lián)邦理工學(xué)院以及Liquid AI的研究人員，聯(lián)合開(kāi)發(fā)出一種全新方法，徹底繞開(kāi)了上述兩難困境——在訓(xùn)練過(guò)程中直接壓縮模型，而非等到訓(xùn)練完成之后。

這項(xiàng)名為CompreSSM的技術(shù)，專門針對(duì)一類名為狀態(tài)空間模型的AI架構(gòu)。該類架構(gòu)廣泛應(yīng)用于語(yǔ)言處理、音頻生成和機(jī)器人控制等領(lǐng)域。研究團(tuán)隊(duì)借助控制理論中的數(shù)學(xué)工具，能夠在訓(xùn)練早期識(shí)別出模型中哪些部分真正發(fā)揮作用、哪些是冗余負(fù)擔(dān)，并在此基礎(chǔ)上將不必要的組件精準(zhǔn)剔除。

"這本質(zhì)上是一種讓模型在訓(xùn)練過(guò)程中同步變得更小、更快的技術(shù)，"該論文第一作者、麻省理工學(xué)院電氣工程與計(jì)算機(jī)科學(xué)系博士生、CSAIL成員Makram Chahine說(shuō)，"模型在學(xué)習(xí)的同時(shí)，也在不斷淘汰那些對(duì)其發(fā)展沒(méi)有價(jià)值的部分。"

該方法的核心發(fā)現(xiàn)在于：模型內(nèi)部各組件的相對(duì)重要性，在訓(xùn)練早期便會(huì)出現(xiàn)驚人的穩(wěn)定性。研究團(tuán)隊(duì)利用一種稱為Hankel奇異值的數(shù)學(xué)量——它可以衡量每個(gè)內(nèi)部狀態(tài)對(duì)模型整體行為的貢獻(xiàn)程度——證明了在訓(xùn)練完成約10%時(shí)，就能可靠地對(duì)各維度的重要性進(jìn)行排序。一旦排序確定，重要性較低的組件便可安全丟棄，剩余90%的訓(xùn)練過(guò)程將以更小模型的速度高效推進(jìn)。

"這項(xiàng)工作令人興奮之處在于，它將壓縮從事后補(bǔ)救變成了學(xué)習(xí)過(guò)程本身的一部分，"資深作者、麻省理工學(xué)院教授兼CSAIL主任Daniela Rus說(shuō)，"CompreSSM不是先訓(xùn)練大模型再想辦法縮小，而是讓模型在學(xué)習(xí)過(guò)程中自己發(fā)現(xiàn)高效結(jié)構(gòu)。這是構(gòu)建AI系統(tǒng)的一種根本性的不同思路。"

實(shí)驗(yàn)結(jié)果十分亮眼。在圖像分類基準(zhǔn)測(cè)試中，壓縮后的模型在保持與全尺寸模型幾乎相同精度的同時(shí)，訓(xùn)練速度提升了約1.5倍。一個(gè)狀態(tài)維度被壓縮至原始大小約四分之一的模型，在CIFAR-10基準(zhǔn)上實(shí)現(xiàn)了85.7%的準(zhǔn)確率，而從頭訓(xùn)練的同等小模型僅達(dá)到81.8%。在廣泛使用的Mamba狀態(tài)空間架構(gòu)上，該方法實(shí)現(xiàn)了約4倍的訓(xùn)練加速，將128維模型壓縮至約12維，同時(shí)保持了具有競(jìng)爭(zhēng)力的性能表現(xiàn)。

"你能獲得大模型的性能，因?yàn)樵陬A(yù)熱階段就捕捉到了大部分復(fù)雜動(dòng)態(tài)，之后只保留最有用的狀態(tài)，"Chahine解釋道，"模型的最終表現(xiàn)仍然優(yōu)于從一開(kāi)始就訓(xùn)練小模型的方案。"

CompreSSM區(qū)別于現(xiàn)有方案的關(guān)鍵在于其堅(jiān)實(shí)的理論基礎(chǔ)。傳統(tǒng)剪枝方法需要先完整訓(xùn)練一個(gè)大模型，再事后裁剪參數(shù)，意味著仍需承擔(dān)大模型訓(xùn)練的全部計(jì)算成本。知識(shí)蒸餾這一流行技術(shù)則要求先將大"教師"模型完整訓(xùn)練一遍，再在此基礎(chǔ)上訓(xùn)練第二個(gè)較小的"學(xué)生"模型，實(shí)際上讓訓(xùn)練成本翻倍。CompreSSM通過(guò)在訓(xùn)練中途做出有據(jù)可依的壓縮決策，同時(shí)避免了上述兩種開(kāi)銷。

研究團(tuán)隊(duì)將CompreSSM與上述兩種方案進(jìn)行了直接對(duì)比。與近年提出的用于鼓勵(lì)緊湊狀態(tài)空間模型的譜技術(shù)——Hankel核范數(shù)正則化相比，CompreSSM的速度快出逾40倍，且精度更高。該正則化方法因需要在每個(gè)梯度步驟都進(jìn)行高成本的特征值計(jì)算，導(dǎo)致訓(xùn)練速度降低約16倍，且最終模型性能反而更差。在CIFAR-10上與知識(shí)蒸餾的對(duì)比中，CompreSSM對(duì)于高度壓縮的模型優(yōu)勢(shì)明顯：在較小狀態(tài)維度下，蒸餾模型的準(zhǔn)確率出現(xiàn)顯著下降，而CompreSSM壓縮后的模型仍維持接近完整的性能。此外，由于蒸餾在每個(gè)訓(xùn)練步驟都需要同時(shí)對(duì)教師和學(xué)生模型進(jìn)行前向傳播，即便是其較小的學(xué)生模型，訓(xùn)練速度也慢于全尺寸基準(zhǔn)模型。

研究人員借助Weyl定理從數(shù)學(xué)上證明，模型各狀態(tài)的重要性在訓(xùn)練過(guò)程中平滑變化，并通過(guò)實(shí)驗(yàn)驗(yàn)證了這些狀態(tài)相對(duì)排名的穩(wěn)定性。這兩項(xiàng)發(fā)現(xiàn)共同為實(shí)踐者提供了保障：在早期被判定為無(wú)關(guān)緊要的維度，不會(huì)在后續(xù)訓(xùn)練中突然變得至關(guān)重要。

該方法還內(nèi)置了一個(gè)實(shí)用的安全機(jī)制。若某次壓縮步驟導(dǎo)致性能出現(xiàn)意外下降，實(shí)踐者可以回滾至此前保存的檢查點(diǎn)。"這給了用戶更直觀的控制權(quán)，讓他們能自主決定愿意在性能上付出多少代價(jià)，而不是被迫去定義一個(gè)不那么直觀的能量閾值，"Chahine說(shuō)。

當(dāng)然，該技術(shù)也存在一定的適用邊界。CompreSSM在內(nèi)部狀態(tài)維度與整體性能之間相關(guān)性較強(qiáng)的模型上效果最佳，而這一特性因任務(wù)和架構(gòu)的不同而有所差異。該方法在多輸入多輸出（MIMO）模型上尤為有效，因?yàn)檫@類模型中狀態(tài)大小與表達(dá)能力的關(guān)聯(lián)最為緊密。對(duì)于按通道處理的單輸入單輸出架構(gòu)，收益則相對(duì)有限，原因在于這類模型本身對(duì)狀態(tài)維度變化就不那么敏感。

該理論最適用于線性時(shí)不變系統(tǒng)，但研究團(tuán)隊(duì)也針對(duì)日益流行的輸入相關(guān)、時(shí)變架構(gòu)開(kāi)發(fā)了相應(yīng)擴(kuò)展。由于狀態(tài)空間模型家族還延伸至線性注意力等架構(gòu)——作為傳統(tǒng)Transformer替代方案的這一領(lǐng)域正日益受到關(guān)注——CompreSSM的潛在應(yīng)用范圍相當(dāng)廣闊。

Chahine和團(tuán)隊(duì)將這項(xiàng)工作視為一塊跳板。目前團(tuán)隊(duì)已完成向Mamba等線性時(shí)變系統(tǒng)的擴(kuò)展，未來(lái)方向包括將CompreSSM進(jìn)一步推廣至線性注意力機(jī)制中使用的矩陣值動(dòng)力系統(tǒng)，從而使該技術(shù)更接近支撐當(dāng)今絕大多數(shù)大型AI系統(tǒng)的Transformer架構(gòu)。

"這必須是第一步，因?yàn)檫@里的理論最為清晰，方法也能保持嚴(yán)謹(jǐn)，"Chahine說(shuō)，"這是向行業(yè)中廣泛使用的其他架構(gòu)延伸的基礎(chǔ)。"

"Chahine及其同事的工作為現(xiàn)代狀態(tài)空間模型的壓縮提供了一個(gè)引人入勝、具有堅(jiān)實(shí)理論基礎(chǔ)的新視角，"未參與本研究的ELLIS圖賓根研究所首席研究員、馬克斯·普朗克智能系統(tǒng)研究所獨(dú)立團(tuán)隊(duì)負(fù)責(zé)人Antonio Orvieto評(píng)價(jià)道，"該方法提供了充分證據(jù)，表明這些模型的狀態(tài)維度可以在訓(xùn)練過(guò)程中有效降低，控制理論視角能夠成功指導(dǎo)這一過(guò)程。這項(xiàng)工作為未來(lái)研究開(kāi)辟了新方向，所提出的算法有望成為預(yù)訓(xùn)練大型基于狀態(tài)空間模型時(shí)的標(biāo)準(zhǔn)方法。"

這項(xiàng)研究已被國(guó)際學(xué)習(xí)表征大會(huì)2026（ICLR 2026）接收為會(huì)議論文，將于本月晚些時(shí)候正式發(fā)表。研究工作部分得到了馬克斯·普朗克-蘇黎世聯(lián)邦理工學(xué)院學(xué)習(xí)系統(tǒng)中心、赫克托基金會(huì)、波音公司以及美國(guó)海軍研究辦公室的資助。

Q&A

Q1：CompreSSM是什么技術(shù)？它解決了什么問(wèn)題？

A：CompreSSM是一種在AI模型訓(xùn)練過(guò)程中直接壓縮模型的新技術(shù)，專門針對(duì)狀態(tài)空間模型架構(gòu)。它解決的核心問(wèn)題是：傳統(tǒng)獲得小型高效模型的方式要么需要先訓(xùn)練大模型再裁剪，要么從頭訓(xùn)練小模型但性能較差。CompreSSM通過(guò)在訓(xùn)練早期識(shí)別并丟棄不重要的模型組件，讓模型邊學(xué)習(xí)邊"瘦身"，同時(shí)兼顧速度與性能。

Q2：CompreSSM與知識(shí)蒸餾、傳統(tǒng)剪枝相比有什么優(yōu)勢(shì)？

A：傳統(tǒng)剪枝需要完整訓(xùn)練大模型再裁剪，計(jì)算成本高；知識(shí)蒸餾要先訓(xùn)練完整的教師模型，再訓(xùn)練學(xué)生模型，相當(dāng)于雙倍訓(xùn)練成本。CompreSSM在訓(xùn)練中途就做出壓縮決策，避免了這兩種額外開(kāi)銷。實(shí)驗(yàn)顯示，在CIFAR-10測(cè)試中，CompreSSM壓縮模型的準(zhǔn)確率明顯優(yōu)于知識(shí)蒸餾，與Hankel核范數(shù)正則化相比速度快逾40倍，且精度更高。

Q3：CompreSSM適用于哪些AI架構(gòu)？有沒(méi)有局限性？

A：CompreSSM主要針對(duì)狀態(tài)空間模型（SSM）架構(gòu)，在多輸入多輸出（MIMO）模型上效果最佳，也已擴(kuò)展至Mamba等線性時(shí)變架構(gòu)，未來(lái)有望延伸至線性注意力機(jī)制乃至Transformer架構(gòu)。局限性在于：該方法在狀態(tài)維度與性能相關(guān)性強(qiáng)的模型上效果更顯著；對(duì)于單輸入單輸出架構(gòu)，收益相對(duì)有限；理論基礎(chǔ)最適用于線性時(shí)不變系統(tǒng)。