這項(xiàng)由南衛(wèi)理公會大學(xué)萊爾工程學(xué)院領(lǐng)導(dǎo)的研究發(fā)表于2026年2月的arXiv預(yù)印本平臺，論文編號為arXiv:2602.17363v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。

現(xiàn)代AI語言模型就像一個(gè)非常聰明但極其健忘的學(xué)生。為了記住之前學(xué)過的內(nèi)容，它需要隨身攜帶一個(gè)巨大的筆記本，筆記本越厚，記憶就越好，但背起來也越累。這個(gè)"筆記本"在AI世界里叫做注意力機(jī)制，而它的厚度就是我們今天要討論的內(nèi)存消耗問題。

目前最流行的AI模型使用一種叫做"softmax注意力"的方法來處理信息，就像我們的學(xué)生需要同時(shí)翻閱筆記本的每一頁來回答問題一樣。這種方法雖然效果很好，但隨著筆記本頁數(shù)的增加，翻閱的時(shí)間和消耗的精力會急劇增長。當(dāng)筆記本變得非常厚時(shí)，學(xué)生可能會因?yàn)轶w力不支而無法繼續(xù)學(xué)習(xí)。

為了解決這個(gè)問題，研究人員提出了"線性注意力"的方法，就像給學(xué)生一個(gè)簡化版的筆記本，雖然輕便很多，但往往記不住重要信息，導(dǎo)致回答問題時(shí)準(zhǔn)確性下降。這就產(chǎn)生了一個(gè)兩難境地：要么選擇準(zhǔn)確但笨重的方法，要么選擇輕便但不夠精確的方法。

南衛(wèi)理公會大學(xué)的研究團(tuán)隊(duì)不愿意接受這種妥協(xié)。他們深入研究了一種叫做Mamba-2的先進(jìn)方法，這種方法試圖在準(zhǔn)確性和效率之間找到平衡點(diǎn)。研究團(tuán)隊(duì)就像細(xì)心的工程師一樣，把Mamba-2拆開來看看哪些零件真正重要，哪些只是裝飾品。

通過大量的實(shí)驗(yàn)和分析，他們發(fā)現(xiàn)Mamba-2就像一臺復(fù)雜的機(jī)器，里面有很多看起來重要但實(shí)際上可有可無的部件。他們把這臺機(jī)器簡化，只保留最核心的組件，創(chuàng)造出了一個(gè)叫做Mamba-2S的簡化版本。這個(gè)簡化版本不僅運(yùn)行更快，而且同樣有效。

但研究團(tuán)隊(duì)的野心不止于此。他們想起了一個(gè)數(shù)學(xué)原理：如果你想要更精確地描述某個(gè)復(fù)雜現(xiàn)象，可以使用更高階的數(shù)學(xué)公式。就像用一條直線只能粗略描述一個(gè)彎曲的軌跡，但用二次曲線就能描述得更準(zhǔn)確一樣。他們把這個(gè)想法應(yīng)用到AI模型中，創(chuàng)造出了2Mamba方法。

2Mamba的核心創(chuàng)新就像給我們的學(xué)生筆記本升級成了一個(gè)更智能的版本。這個(gè)新筆記本不僅能記住單個(gè)概念，還能記住概念之間的復(fù)雜關(guān)系。通過使用二階隱藏狀態(tài)（相當(dāng)于記住概念的平方關(guān)系），2Mamba能夠達(dá)到與傳統(tǒng)softmax注意力相同的準(zhǔn)確性，但在處理長文本時(shí)消耗的內(nèi)存要少得多。

具體來說，當(dāng)處理的文本長度超過某個(gè)臨界點(diǎn)時(shí)，2Mamba的內(nèi)存使用量會比傳統(tǒng)方法更低。對于研究中使用的64維頭部尺寸，這個(gè)臨界點(diǎn)大約是1058個(gè)詞匯。超過這個(gè)長度，2Mamba就開始顯示出內(nèi)存優(yōu)勢，而且文本越長，優(yōu)勢越明顯。

為了驗(yàn)證2Mamba的實(shí)際效果，研究團(tuán)隊(duì)進(jìn)行了大量測試。他們使用了FineWeb數(shù)據(jù)集，這是一個(gè)包含超過15萬億個(gè)清潔去重詞匯的大型數(shù)據(jù)集，來源于互聯(lián)網(wǎng)網(wǎng)頁爬蟲。測試結(jié)果顯示，2Mamba在各種任務(wù)上都能達(dá)到與傳統(tǒng)softmax注意力相似的性能水平。

更令人興奮的是，研究團(tuán)隊(duì)還開發(fā)出了2Mamba的一個(gè)增強(qiáng)版本——2Mamba-E。這個(gè)版本使用指數(shù)函數(shù)而不是平方函數(shù)來處理信息關(guān)系，結(jié)果竟然超越了傳統(tǒng)的softmax注意力，在準(zhǔn)確性上有了進(jìn)一步提升。這就像給我們的智能筆記本又加上了一個(gè)超級索引系統(tǒng)，讓查找信息變得更加精確高效。

研究團(tuán)隊(duì)還通過"大海撈針"測試來驗(yàn)證2Mamba在長文本處理方面的能力。這個(gè)測試就像在一本厚厚的書中隱藏一個(gè)特定的詞匯，然后看AI模型能否準(zhǔn)確找到它。結(jié)果顯示，2Mamba不僅能找到隱藏的信息，而且表現(xiàn)比原始的Mamba-2方法要好，甚至在某些情況下超過了傳統(tǒng)的softmax注意力。

從技術(shù)實(shí)現(xiàn)角度來看，2Mamba采用了一種聰明的數(shù)學(xué)技巧來減少計(jì)算量。當(dāng)處理二階關(guān)系時(shí)，很多計(jì)算項(xiàng)實(shí)際上是重復(fù)的（由于乘法的交換律），研究團(tuán)隊(duì)開發(fā)了一種方法來避免這些重復(fù)計(jì)算，將所需的計(jì)算項(xiàng)數(shù)量從原來的d?減少到d(d+1)/2，幾乎減少了一半。

這項(xiàng)研究的意義不僅僅在于技術(shù)層面的改進(jìn)。隨著AI模型被應(yīng)用到越來越多的場景中，處理長文本的能力變得至關(guān)重要。無論是分析長篇文檔、進(jìn)行復(fù)雜對話，還是處理代碼和技術(shù)文檔，都需要模型能夠高效地處理大量信息。2Mamba為這些應(yīng)用提供了一個(gè)更實(shí)用的解決方案。

研究團(tuán)隊(duì)在不同規(guī)模的模型上都驗(yàn)證了2Mamba的效果，從3億參數(shù)的小模型到7億參數(shù)的中型模型，結(jié)果都很一致。這說明這種方法具有良好的可擴(kuò)展性，不會因?yàn)槟Ｐ鸵?guī)模的變化而失效。

值得注意的是，2Mamba還解決了訓(xùn)練穩(wěn)定性的問題。在某些配置下，特別是加入時(shí)間離散化操作時(shí)，大型模型的訓(xùn)練可能會變得不穩(wěn)定。研究團(tuán)隊(duì)通過仔細(xì)的工程優(yōu)化，確保了方法在各種條件下的穩(wěn)定性。

整個(gè)研究過程體現(xiàn)了科學(xué)研究的系統(tǒng)性方法。研究團(tuán)隊(duì)首先通過細(xì)致的分析確定了Mamba-2中真正重要的組件，然后基于理論洞察提出了改進(jìn)方案，最后通過大量實(shí)驗(yàn)驗(yàn)證了方法的有效性。這種"分析-設(shè)計(jì)-驗(yàn)證"的研究流程為其他研究者提供了很好的范例。

研究團(tuán)隊(duì)還公開了所有的實(shí)驗(yàn)代碼和實(shí)現(xiàn)細(xì)節(jié)，包括高效的Triton內(nèi)核實(shí)現(xiàn)，這為其他研究者和開發(fā)者提供了寶貴的資源。這種開放的研究態(tài)度有助于整個(gè)學(xué)術(shù)界和工業(yè)界的技術(shù)進(jìn)步。

從更廣闊的角度來看，2Mamba代表了AI研究中一個(gè)重要趨勢：通過更深入的理論理解和更精巧的工程實(shí)現(xiàn)，我們可以創(chuàng)造出既高效又準(zhǔn)確的AI系統(tǒng)。這種進(jìn)步對于AI技術(shù)的普及和應(yīng)用具有重要意義，特別是在計(jì)算資源有限的環(huán)境中。

說到底，2Mamba為我們展示了一種解決AI領(lǐng)域經(jīng)典權(quán)衡問題的新思路。它不是簡單地在準(zhǔn)確性和效率之間做出妥協(xié)，而是通過創(chuàng)新的方法論找到了一個(gè)更好的平衡點(diǎn)。這種思路可能會啟發(fā)更多類似的研究，推動AI技術(shù)向更實(shí)用、更高效的方向發(fā)展。

歸根結(jié)底，這項(xiàng)研究告訴我們，在AI技術(shù)發(fā)展的道路上，總有創(chuàng)新的空間等待我們?nèi)ヌ剿?。通過深入理解現(xiàn)有技術(shù)的本質(zhì)，我們可以發(fā)現(xiàn)改進(jìn)的機(jī)會，創(chuàng)造出更好的解決方案。對于普通用戶來說，這意味著未來的AI應(yīng)用將能夠處理更長的文本，消耗更少的計(jì)算資源，為我們提供更好的服務(wù)體驗(yàn)。

Q&A

Q1：2Mamba相比傳統(tǒng)AI模型有什么優(yōu)勢？

A：2Mamba最大的優(yōu)勢是在處理長文本時(shí)既保持高準(zhǔn)確性又節(jié)省內(nèi)存。當(dāng)文本長度超過約1000個(gè)詞匯時(shí)，它比傳統(tǒng)softmax注意力方法消耗的內(nèi)存更少，而且準(zhǔn)確性幾乎相同，甚至在某些情況下更好。

Q2：2Mamba是如何做到既準(zhǔn)確又高效的？

A：2Mamba通過使用二階隱藏狀態(tài)技術(shù)，能夠記住概念之間的復(fù)雜關(guān)系，就像升級版的記憶系統(tǒng)。它還采用了巧妙的數(shù)學(xué)優(yōu)化，避免重復(fù)計(jì)算，將計(jì)算量減少近一半。

Q3：普通人什么時(shí)候能用上2Mamba技術(shù)？

A：研究團(tuán)隊(duì)已經(jīng)公開了所有代碼和實(shí)現(xiàn)細(xì)節(jié)，這意味著技術(shù)公司可以很快將其集成到實(shí)際產(chǎn)品中。預(yù)計(jì)在不久的將來，我們就能在各種AI應(yīng)用中體驗(yàn)到更快速、更節(jié)能的長文本處理能力。