機(jī)器之心發(fā)布

作者：白鉑 博士

白鉑 博士，華為 2012 實(shí)驗(yàn)室理論研究部主任 信息論首席科學(xué)家

2022 年底，ChatGPT 橫空出世，其能力震驚了整個(gè)世界。2024 年底，DeepSeek 以極低的訓(xùn)練成本和極高的性能再次震驚了世界。短短幾年間，大模型瘋狂迭代，能力不斷提升，僅在美國(guó)，AI 領(lǐng)域的投資規(guī)模便超過了許多國(guó)家全年的 GDP！2025 年底，Google 強(qiáng)勢(shì)推出 Gemini 3，模型能力突飛猛進(jìn)，TPU 訓(xùn)練范式也對(duì)英偉達(dá)的生態(tài)發(fā)起了顛覆式挑戰(zhàn)。

業(yè)界普遍認(rèn)為 Gemini 3 是邁向通用人工智能（Artificial General Intelligence，AGI） 和超級(jí)人工智能（ASI，Artificial Super Intelligence，ASI）的關(guān)鍵突破，是人類和機(jī)器合作的驚人之作。然而，正如 Ilya Sutskever 于 11 月 26 日的訪談中指出：大模型 Scaling Law 和摩爾定律一樣，遲早會(huì)因?yàn)槲锢硐拗贫?。因此，如何打開大模型訓(xùn)練的煉丹爐，看清黑盒子背后的基本原理，回答大模型是否已逼近其能力極限就成為迫在眉睫的問題了。但是，前人對(duì)大模型的理論研究一直停留在單一維度，使得人們只能看到大模型背后原理的冰山一角，對(duì)黑盒子的理解也失之片面。

11 月 3 日，我們?cè)?arXiv 上掛出了一篇論文 Forget BIT, It is All about TOKEN: Towards Semantic Information Theory for LLMs [1]。該研究將統(tǒng)計(jì)物理、信號(hào)處理和信息論三者有機(jī)結(jié)合，系統(tǒng)地總結(jié)了對(duì)大模型背后數(shù)學(xué)原理的思考和理解，期望給全面揭示大模型的第一性原理帶來曙光。過去一段時(shí)間，我們?cè)谝韵碌膶W(xué)術(shù)會(huì)議上分別報(bào)告了這方面的工作：

• 11 月 2 日：中國(guó)電子學(xué)會(huì)第 32 屆信息論學(xué)術(shù)年會(huì)
• 11 月 15 日：中國(guó)工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會(huì)第 3 屆信息通信數(shù)學(xué)及應(yīng)用大會(huì)
• 11 月 17 日：The 2nd Conference-School on Tensor Methods in Mathematics and Artificial Intelligence Computing
• 11 月 29 日：福州大學(xué)圖論與組合研討會(huì)

會(huì)上和專家、學(xué)者們有很多互動(dòng)，也收到了不少有價(jià)值的反饋。同時(shí)也將論文發(fā)給了一些海內(nèi)外的專家、學(xué)者們，也收到了不少意見和建議。但是，原論文涉及的領(lǐng)域很多、概念體系復(fù)雜，加之寫法上很學(xué)術(shù)，因而比較晦澀難懂。

為了便于理解，這里嘗試用通俗易懂的語言寫一個(gè)文章系列來解讀這篇論文，其中一些內(nèi)容也是原論文沒有包含的。預(yù)計(jì)至少包括以下三篇文章，每一篇圍繞一個(gè)專題展開：

大模型的第一性原理：（一）統(tǒng)計(jì)物理篇，主要內(nèi)容和結(jié)論包括：

• Attention 模塊和 Transformer 架構(gòu)都可以用統(tǒng)計(jì)物理中的能量模型來描述，因而推理是輸出能量函數(shù)最小的下一個(gè) Token；而訓(xùn)練則是逼近平均能量函數(shù)最小的參數(shù)組態(tài)；
• 大模型的記憶容量隨著模型參數(shù)的線性增加而指數(shù)增長(zhǎng)，因而小模型也可以具備很強(qiáng)的能力，但由于記憶容量的限制，小模型增訓(xùn)很容易導(dǎo)致模型崩塌；
• 大模型泛化誤差上界的核心參數(shù)是 Logits 的絕對(duì)值的和，因而模型縮減，如剪枝、蒸餾和量化等，必須謹(jǐn)慎的控制對(duì) Logits 的影響；
• 大模型的能力極限是時(shí)間序列維度的 Granger 因果推斷，因而 Scaling Law 還會(huì)延續(xù)，但不會(huì)產(chǎn)生真正的符號(hào)化、概念抽象和邏輯推理能力。

大模型的第一性原理：（二）信號(hào)處理篇，主要內(nèi)容和結(jié)論包括：

• 大模型的輸入是向量化的 Token 序列，因而可將基于概率統(tǒng)計(jì)的自然語言處理問題轉(zhuǎn)化為易于數(shù)值計(jì)算的信號(hào)處理問題；
• 向量?jī)?nèi)積描述了 Token 之間的語義相關(guān)性，因而 Gromov-Wasserstein 距離是天然的語義向量空間距離，Johnson-Lindenstrauss 引理和壓縮感知等技術(shù)可用于語義壓縮 / 降維；
• 大模型的目標(biāo)是預(yù)測(cè)下一個(gè) Token，因而可以用倒向定向信息為優(yōu)化目標(biāo)來實(shí)現(xiàn)信息論意義下最優(yōu)的 Token 向量化；
• Transformer 是時(shí)變向量自回歸時(shí)間序列，它建模的是作為時(shí)間序列的自然語言，因而預(yù)測(cè)下一個(gè) Token 是時(shí)間序列維度的 Granger 因果推斷。

大模型的第一性原理：（三）信息論篇，主要內(nèi)容和結(jié)論包括：

• 大模型的信息論抽象是有狀態(tài)、帶反饋的信道，因而符合該抽象的任何結(jié)構(gòu)（不一定是神經(jīng)網(wǎng)絡(luò)）都能達(dá)到相同的效果；
• 大模型的端到端性能指標(biāo)以定向信息為基礎(chǔ)，包括預(yù)訓(xùn)練階段的定向速率 - 失真函數(shù)、后訓(xùn)練階段的定向報(bào)酬 - 失真函數(shù)和推理階段的定向信息密度，因而只要將核心概念從 Bit 轉(zhuǎn)換為 Token 就可以在 Shannon 信息論的框架下研究大模型；
• 大模型在推理階段可以定義語義信息容量，因而上下文工程（或提示詞工程）的信息論本質(zhì)就是通過優(yōu)化上下文的概率分布來逼近語義信息容量，這與信道編碼逼近 Shannon 容量的思想一致；
• 定向信息是 Granger 因果強(qiáng)度的測(cè)度，因而統(tǒng)計(jì)物理、信號(hào)處理和信息論三個(gè)維度共同印證了大模型的能力極限是時(shí)間序列維度的 Granger 因果推斷。

需要指出，我們的研究并不是要否定大模型的重要價(jià)值，它是一個(gè)非常強(qiáng)大的工具，當(dāng)前形態(tài)就能極大提升人們整合和處理信息的效率，這是誰也無法否認(rèn)的。我們想要探討的是當(dāng)前大模型的第一性原理，從而界定其能力極限，并探討面向未來的技術(shù)路徑。

神經(jīng)網(wǎng)絡(luò)與統(tǒng)計(jì)物理

2024 年諾貝爾物理學(xué)獎(jiǎng)授予了 John Hopfield 和 Geoffrey Hinton，頒獎(jiǎng)詞為：For foundational discoveries and inventions that enable machine learning with artificial neural networks。許多人不太理解，甚至一些 AI 領(lǐng)域的人也認(rèn)為諾貝爾獎(jiǎng)開始蹭熱點(diǎn)了。但實(shí)際上從早期的 Hopfield 網(wǎng)絡(luò)開始，神經(jīng)網(wǎng)絡(luò)和統(tǒng)計(jì)物理就有非常深刻的聯(lián)系。

Hopfield 本身就是一位物理學(xué)家，他于 1982 年提出了 Hopfield 網(wǎng)絡(luò)，其聯(lián)想記憶能力震驚了當(dāng)時(shí)的世界 [2]。這一突破重新激發(fā)了人們對(duì)神經(jīng)網(wǎng)絡(luò)和 AI 的大范圍研究?？梢哉f，他對(duì) AI 研究走出寒冬做出了不可磨滅的貢獻(xiàn)。被稱為 “AI 教父” 的 Hinton 則是第一位認(rèn)識(shí)到統(tǒng)計(jì)物理方法在神經(jīng)網(wǎng)絡(luò)中有巨大價(jià)值的計(jì)算機(jī)科學(xué)家。1985 年，他與另外兩位合作者提出了 Boltzmann 機(jī)，其關(guān)鍵就是引入了統(tǒng)計(jì)物理中的能量模型（Energy-based Model，EBM）[3][4]。除了兩位諾獎(jiǎng)得主外，還有一位女物理學(xué)家 Elizabeth Gardner 非常關(guān)鍵。1988 年，Gardner 三度出手，系統(tǒng)地研究了 Hopfield 網(wǎng)絡(luò)的記憶容量問題，即到底能記住多少個(gè)隨機(jī)模式 [5][6][7]。后來人們將這個(gè)容量稱為 Gardner 容量。Gardner 用的方法就是統(tǒng)計(jì)物理中的 Spin Glass 模型和 Replica 方法。Replica 方法的提出者則是 2021 年諾貝爾物理學(xué)獎(jiǎng)得主 Giorgio Parisi [8][9]。我們今年和他有一場(chǎng)訪談（視頻鏈接：https://weixin.qq.com/sph/AlRVrYjAi），深入探討了 AI 與統(tǒng)計(jì)物理的關(guān)系。

Attention 模塊的 EBM 形式

人們逐步認(rèn)識(shí)到大模型的目標(biāo)只有一個(gè)：預(yù)測(cè)下一個(gè) Token。Transformer 是當(dāng)前實(shí)現(xiàn)這一目標(biāo)的有效架構(gòu)?？紤]一個(gè) Decoder-only 的 Transformer 架構(gòu)，按照從輸入到輸出的順序，可以分解為 Attention 和 FFN 兩個(gè)主要模塊 [10]。本節(jié)將重點(diǎn)討論 Attention 模塊。

Transformer 的 EBM 形式

Transformer 的記憶容量

近年來，人們經(jīng)常會(huì)用能力涌現(xiàn)來描述大模型為什么大就是好。從 Gardner 容量的角度看，其本質(zhì)可以理解為隨著參數(shù)量的增加，大模型記住的知識(shí)量超過了某個(gè)閾值，就出現(xiàn)了統(tǒng)計(jì)物理中的相變現(xiàn)象。實(shí)際上，Parisi 教授也是從相變的角度來研究 Shannon 容量的，并且提出：即使通信速率小于信道容量，也存在計(jì)算上困難的區(qū)域。因此，通過統(tǒng)計(jì)物理方法，有望從理論上解釋模型規(guī)模和模型能力的尺度定律（Scaling Law），并最終解釋能力涌現(xiàn)的相變現(xiàn)象。我們?cè)谶@個(gè)方向也取得了一些初步成果 [22]。

Transformer 的泛化誤差界

泛化誤差是刻畫大模型實(shí)際效果的關(guān)鍵指標(biāo)?；?Transformer 的 EBM 形式，可以從理論上推導(dǎo)泛化誤差界。詳細(xì)的數(shù)學(xué)證明可以參見論文的對(duì)應(yīng)章節(jié)。主要用到的數(shù)學(xué)工具是 Rademacher 復(fù)雜度和 Talagrand 不等式 [23]：

• Rademacher 復(fù)雜度的核心思想是考察一個(gè)模型對(duì)于純隨機(jī)序列的擬合能力。這個(gè)序列以 0.5 的概率取值于 {?1,1}，通常稱之為 Rademacher 序列。后面將看到，Rademacher 復(fù)雜度項(xiàng)在泛化誤差界中起到了核心作用。
• 前面提到的數(shù)學(xué)家 Talagrand，發(fā)展出了泛型鏈 (Generic Chaining) 理論，它能對(duì)一類非常廣泛的隨機(jī)過程的上確界給出極其精確的估計(jì)。這深刻地改變了人們對(duì)隨機(jī)性和高維空間的理解。

大模型推理能力與 Granger 因果

續(xù)篇簡(jiǎn)介

其中 L 為相互影響的長(zhǎng)度。后續(xù)的相關(guān)研究則進(jìn)一步印證：對(duì)于向量高斯自回歸過程，傳遞熵和 Granger 因果是等價(jià)的 [27]。另一方面，傳遞熵也是有限長(zhǎng)度版本的定向信息。這一概念由 1988 年香農(nóng)獎(jiǎng)得主 James Massey 在 1990 年提出 [28]。他在論文中也討論了帶反饋的通信系統(tǒng)的因果性問題。由此，我們引出了后續(xù)兩篇的主要內(nèi)容：

• 本系列的第二篇，即信號(hào)處理篇，將深入探討向量自回歸時(shí)間序列與大模型之間的深刻聯(lián)系。
• 本系列的第三篇，即信息論篇，將以定向信息為核心，探討與結(jié)構(gòu)無關(guān)的、更抽象、更本質(zhì)的大模型第一性原理。

參考文獻(xiàn)

1. B. Bai, "Forget BIT, it is all about TOKEN: Towards semantic information theory for LLMs," arXiv:2511.01202, Nov. 2025.

2. J. Hopfield, “Neural networks and physical systems with emergent collective computational abilities,” Proceedings of the National Academy of Sciences, vol. 79, no. 8, pp. 2554-2558, Apr. 1982.

3. D. Ackley, G. Hinton, and T. Sejnowski, "A learning algorithm for Boltzmann machines," Cognitive Science, vol. 9, no. 1, pp. 147-169, Jan. 1985.

4. G. Hinton, "A practical guide to training restricted Boltzmann machines," in Neural Networks: Tricks of the Trade, 2nd ed., Berlin, Germany: Springer, 2012, pp. 599-619.

5. E. Gardner, "The space of interactions in neural network models," Journal of Physics A: Mathematical and General, vol. 21, no. 1, pp. 257-270, Jan. 1988.

6. E. Gardner and B. Derrida, "Optimal storage properties of neural network models," Journal of Physics A: Mathematical and General, vol. 21, no. 1, pp. 271-284, Jan. 1988.

7. E. Gardner and B. Derrida, "Three unfinished works on the optimal storage capacity of networks," Journal of Physics A: Mathematical and General, vol. 22, no. 12, pp. 1983-1994, Jun. 1989.

8. M. Mezard, G. Parisi, and M. Virasoro, Spin Glass Theory and Beyond: An Introduction to the Replica Method and Its Applications. Singapore: World Scientific Publishing, 1987.

9. G. Parisi, In a Flight of Starlings: The Wonders of Complex Systems. Milan, Italy: Penguin Press, 2023.

10. A. Vaswani et al., "Attention is all you need," in Proc. 31st Annual Conference on Neural Information Processing Systems ’17, Long Beach, CA, USA, Dec. 2017.

11. E. Jaynes, Probability Theory: The Logic of Science. New York, NY, USA: Cambridge University Press, 2003.

12. A. Gu and T. Dao, "Mamba: Linear-time sequence modeling with selective state spaces," arXiv: 2312.00752, May 2024.

13. T. Dao and A. Gu, "Transformers are SSMs: Generalized models and efficient algorithms through structured state space duality," arXiv: 2405.21060, May 2024.

14. DeepSeek-AI, “DeepSeek-V3.2: Pushing the frontier of open large language models,” DeepSeek, Hangzhou, China, Dec. 2025.

15. T. Cover, "Geometrical and statistical properties of systems of linear inequalities with applications in pattern recognition," IEEE Transactions on Electronic Computers, vol. EC-14, no. 3, pp. 326–334, Jun. 1965.

16. M. Talagrand, Mean Field Models for Spin Glasses - Vol. 1: Basic Examples. Berlin, Germany: Springer, 2011.

17.M. Talagrand, Mean Field Models for Spin Glasses - Vol. 2: Advanced Replica-Symmetry and Low Temperature. Berlin, Germany: Springer, 2011.

18. H. Ramsauer et al., "Hopfield networks is all you need," arXiv: 2008.02217, 28 Apr. 2021.

19. M. Geva, R. Schuster, J. Berant, and O. Levy, "Transformer feed-forward layers are key-value memories," in Proc. ACL Conference on Empirical Methods in Natural Language Processing ‘21, Punta Cana, Dominican Republic, Nov. 2021, pp. 5484–5495.

20. J. Fang et al., "AlphaEdit: Null-space constrained knowledge editing for language models," arXiv: 2410.02355, 22 Apr. 2025.

21. W. Fei et al., "NeuralDB: Scaling knowledge editing in LLMs to 100,000 facts with neural KV database," arXiv: 2507.18028, 24 July 2025.

22. X. Niu, B. Bai, L. Deng, and W. Han, "Beyond scaling laws: Understanding transformer performance with associative memory," arXiv: 2405.08707, 14 May 2024.

23. M. Mohri, A. Rostamizadeh, and A. Talwalkar, Foundations of Machine Learning, 2nd ed. Cambridge, MA, USA: The MIT Press, 2018.

24. C. Granger, "Testing for causality: A personal viewpoint," Journal of Economic Dynamics and Control, vol. 2, no. 1, pp. 329-352, Jan. 1980.

25. J. Pearl, Causality: Models, Reasoning, and Inference, 2nd ed. New York, NY, USA: Cambridge University Press, 2009.

26. T. Schreiber, "Measuring information transfer," Physical Review Letters, vol. 85, no. 2, pp. 461-464, Jul. 2000.

27. L. Barnett, A. B. Barrett, and A. K. Seth, "Granger causality and transfer entropy are equivalent for Gaussian variables," Physical Review Letters, vol. 103, no. 23, p. 238701, Dec. 2009.

28. J. Massey, “Causality, feedback and directed information,” in Proc. IEEE International Symposium on Information Theory ‘90, Waikiki, HI, USA, Nov. 1990.