導語

人類語言具有獨特的系統(tǒng)性結(jié)構(gòu)，話語會拆分為有獨立意義的詞匯，這些詞匯再組合成短語。本研究表明，類自然語言的系統(tǒng)性，會在受預測信息（又稱超額熵）約束的編碼中形成。預測信息是衡量隨機過程中，過去信息對未來事件可預測程度的統(tǒng)計指標，本質(zhì)反映過去與未來的互信息。模擬實驗發(fā)現(xiàn)，最小化預測信息的編碼，會將信息拆分為近似獨立的特征組，以系統(tǒng)、局部的方式表達，對應語言中的詞匯與短語?？缯Z言語料庫研究進一步驗證，人類語言在語音、形態(tài)、句法及詞匯語義層面，均能產(chǎn)生更低的預測信息。該研究建立了語言統(tǒng)計結(jié)構(gòu)與代數(shù)結(jié)構(gòu)的關(guān)聯(lián)，證實這類結(jié)構(gòu)是普遍認知約束下交流過程的產(chǎn)物。

關(guān)鍵詞：預測信息（Predictive Information）、系統(tǒng)性（Systematicity）、認知約束（Cognitive Constraints）、跨語言實證（Cross-linguistic Evidence）

趙思語丨作者

趙思怡丨審校

論文題目：Linguistic structure from a bottleneck on sequential information processing 論文鏈接：https://doi.org/10.1038/s41562-025-02336-w 發(fā)表日期：2024 年 11 月 1 日 論文來源：Nature Human Behaviour

核心謎題：人類語言為何偏愛 “系統(tǒng)性”？

人類語言最顯著的特征是系統(tǒng)性（systematicity）與局部性（locality），二者共同構(gòu)成了人類語言的核心結(jié)構(gòu)內(nèi)核——所謂“系統(tǒng)性”，指語言能將完整意義拆分為獨立的基礎(chǔ)成分（如詞匯），再按固定規(guī)則組合生成新表達；所謂“局部性”，指語言形式與意義成分呈精準的局部對應關(guān)系，不會出現(xiàn)意義與形式的跨成分混亂匹配。

當描述 “一只貓和一只狗在一起” 的場景時，英語使用者會自然地說出 “a cat with a dog”，其中 “cat” 對應貓、“dog” 對應狗，完美契合“局部性”的意義-形式精準對應；同時，這些詞匯按“冠詞+名詞+介詞+冠詞+名詞”的固定規(guī)則線性拼接，又體現(xiàn)了“系統(tǒng)性”的組合邏輯，最終形成邏輯清晰的表達。這種結(jié)構(gòu)模式的優(yōu)勢十分明確，能讓人類輕松理解和生成無限多的新語句，實現(xiàn)高效的創(chuàng)造性交流。

圖1. 英語與多種假設(shè)語言描述圖像的示例語句。a. 展現(xiàn)自然局部系統(tǒng)性的英語語句。b. 一種非自然系統(tǒng)性語言，其中‘gol’表示貓頭與狗頭的組合，‘nar’表示貓身與狗身的組合。c. 一種非局部但具有系統(tǒng)性的語言，其語句通過交替使用‘貓’和‘狗’的詞匯構(gòu)成。d. 一種整體性語言，其中‘vek’形式表示‘一只貓和一只狗’，且形式與意義之間不存在對應關(guān)系。

但從邏輯上來說，語言并非必須如此。我們完全可以構(gòu)想多種 “非自然語言”：一種是 “非自然拆分” 的語言，用 “gol” 同時指代貓的頭部和狗的頭部，用 “nar” 指代貓的身體和狗的身體，表達同樣場景時會說 “A gol with a nar”；另一種是 “交錯排列” 的語言，將 “a cat”“with”“a dog” 的字母打亂交錯，形成 “waitacdahogt” 這樣難以解析的表達；還有一種是 “整體化表達” 的語言，用 “vek” 這樣一個無內(nèi)部結(jié)構(gòu)的詞匯直接指代 “一只貓和一只狗在一起”，就像霍夫曼編碼（Huffman codes）那樣追求編碼效率卻缺乏系統(tǒng)性。

但從邏輯上來說，語言并非必須遵循這種“系統(tǒng)性+局部性”的結(jié)構(gòu)。我們完全可以構(gòu)想多種 “非自然語言”：一種是 “非自然拆分” 的語言，用 “gol” 同時指代貓的頭部和狗的頭部，用 “nar” 指代貓的身體和狗的身體，打破了“局部性”的意義-形式精準對應；另一種是 “交錯排列” 的語言，將 “a cat”“with”“a dog” 的字母打亂交錯，形成 “waitacdahogt” 這樣的表達，破壞了“系統(tǒng)性”的有序組合規(guī)則；還有一種是 “整體化表達” 的語言，用 “vek” 這樣一個無內(nèi)部結(jié)構(gòu)的詞匯直接指代 “一只貓和一只狗在一起”，既無系統(tǒng)性也無局部性，就像霍夫曼編碼（Huffman codes）那樣追求編碼效率卻缺乏核心結(jié)構(gòu)特征。

這些假想語言在理論上同樣能完成交流任務，為何人類語言卻最終演化出系統(tǒng)性和局部性的結(jié)構(gòu)？這一問題不僅關(guān)乎語言本身的本質(zhì)，更涉及人類認知與語言進化的深層關(guān)聯(lián)。傳統(tǒng)理論認為，語言的系統(tǒng)性源于語言學習者需要對未見過的意義進行泛化，但這類解釋無法說明為何語言的拆分方式是 “自然” 的，也無法解釋局部性特征。而另一類理論則依賴于語言學習者的先天歸納偏置或意義的心理表征假設(shè)，缺乏跨語言、跨認知場景的普遍解釋力。

理論基石：預測信息最小化的認知邏輯

（一）預測信息的核心概念

為破解 “人類語言為何選擇系統(tǒng)性結(jié)構(gòu)” 這一謎題，研究團隊引入信息論中的預測信息（Predictive Information）作為核心度量工具，該指標又稱超額熵（excess entropy）。簡單來說，預測信息描述的是：在一段隨機符號序列中，要準確預測后續(xù)內(nèi)容，需要從前面已出現(xiàn)的內(nèi)容中提取多少信息。

對應到語言場景，它的本質(zhì)是衡量 “根據(jù)前文猜后文” 的難度：預測信息數(shù)值越低，說明語言序列的局部可預測性越強，人類理解話語、組織表達時，所需投入的認知資源（比如記憶負荷、注意力分配、大腦加工成本）就越少；反之，預測信息越高，語言加工越費力。

這一概念的提出，源于對人類認知局限的精準洞察。研究團隊基于三點基礎(chǔ)觀察構(gòu)建邏輯：第一，人類話語本質(zhì)是一維離散符號序列（比如構(gòu)成語言的音素、詞匯，需按順序依次呈現(xiàn)）；第二，這些符號在短時間尺度內(nèi)的可預測性，會直接影響語言理解與表達的難易程度；第三，人類大腦在預測序列內(nèi)容時，認知資源是有限的（無法同時處理大量雜亂無章的信息）。

基于上述觀察，研究團隊提出核心假設(shè)：人類語言的系統(tǒng)性、局部性結(jié)構(gòu)，本質(zhì)是為了最小化預測信息—— 通過將完整意義拆分為近似獨立的特征組（對應語言中的詞匯、短語），再以有序、局部對應的方式組合，讓語言序列更適配人類有限的認知資源，實現(xiàn)高效加工與交流。

（二）理論推導：從認知約束到語言結(jié)構(gòu)

預測信息的獨特屬性為語言結(jié)構(gòu)提供了關(guān)鍵解釋。當預測信息較低時，符號能夠依賴附近的上下文被準確預測，這意味著語言無需依賴長距離的整合信息，就能讓使用者順暢理解。為了實現(xiàn)這一目標，語言需要將意義分解為 “近似獨立的特征”—— 因為獨立特征之間的統(tǒng)計依賴性低，表達這些特征的符號序列也更容易被局部預測。同時，這些特征需要以局部的方式組合，即相關(guān)的符號保持連續(xù)，而不是交錯分布。否則，符號之間的統(tǒng)計依賴被拉長，預測難度隨之上升。

這種邏輯自然催生了語言的系統(tǒng)性和局部性：意義被拆分為獨立成分，每個成分對應一個詞匯（系統(tǒng)性），詞匯按順序拼接形成短語和句子（局部性），就像搭積木一樣，既保證了表達的靈活性，又降低了預測難度。而那些不遵循這種局部、系統(tǒng)組織方式的“非自然語言”，無論是非自然拆分還是交錯排列，都會破壞局部可預測性，導致預測信息升高，超出人類的認知處理能力。

實證支撐：模擬實驗與跨語言驗證的雙重印證

為了驗證 “預測信息最小化塑造語言結(jié)構(gòu)” 這一假設(shè)，研究團隊采用了 “模擬實驗” 與 “跨語言語料分析” 相結(jié)合的研究方法，從理論和現(xiàn)實兩個層面提供了堅實證據(jù)。

（一）模擬實驗：預測信息如何催生系統(tǒng)性

模擬實驗的核心思路是：構(gòu)建不同的意義集合，設(shè)計多種可能的語言編碼方式，計算每種編碼的預測信息，觀察哪種編碼方式的預測信息最低，是否與自然語言的結(jié)構(gòu)一致。

圖2.硬幣翻轉(zhuǎn)分布的語言模擬。a、兩種系統(tǒng)化表達方式：3表示完全系統(tǒng)化語言，0表示完全無歧義語言，用于表示由三次加權(quán)硬幣翻轉(zhuǎn)構(gòu)成的意義。整體語言。插圖框放大顯示低預測區(qū)域。在系統(tǒng)化語言中，每個字母對應一個信息源的輸出結(jié)果。d、e中使用的語言及示例源，其中包含硬幣翻轉(zhuǎn)信息。在整體語言中，不存在自然的系統(tǒng)化關(guān)系，互信息I[M2:M3]≈0.18比特。e、形式與意義之間不同預測信息量。b、計算不同互信息水平下硬幣翻轉(zhuǎn)M2與源語言及a中兩種語言的預測信息。系統(tǒng)化語言具有較低的預測信息M3（參見正文）。零互信息對應b和c?！匀弧畔?。c、所有雙射映射從意義到語言的預測信息。M2和M3共同整體表達語言?！亲匀弧Z言對應長度為3的二進制字符串，用于表示a中的意義和源語言。語言共同整體表達M1和M2。按預測信息排序并按硬幣翻轉(zhuǎn)次數(shù)著色。

在第一個模擬實驗中，研究團隊構(gòu)建了 “三次硬幣翻轉(zhuǎn)” 的意義集合，每個硬幣翻轉(zhuǎn)的結(jié)果（正面或反面）是獨立的意義特征。實驗設(shè)計了兩種編碼方式：一種是 “系統(tǒng)性語言”，每個硬幣翻轉(zhuǎn)結(jié)果對應一個獨立的符號（如 “a” 代表正面，“b” 代表反面），語句由這些符號按順序拼接而成；另一種是 “整體化語言”，每個意義組合對應一個無內(nèi)部結(jié)構(gòu)的符號串，不進行特征拆分。結(jié)果顯示，系統(tǒng)性語言的預測信息顯著低于整體化語言，且在所有可能的編碼方式中，只有系統(tǒng)性語言能實現(xiàn)預測信息最小化。這一結(jié)果表明，當意義特征獨立時，拆分特征并系統(tǒng)表達是降低預測信息的最優(yōu)選擇。

在第二個模擬實驗中，研究團隊調(diào)整了意義特征的性質(zhì)，讓部分特征高度相關(guān)（如第二次和第三次硬幣翻轉(zhuǎn)的結(jié)果始終一致）。此時，模擬結(jié)果發(fā)生了有趣的變化：最優(yōu)編碼方式不再是完全的系統(tǒng)性拆分，而是將高度相關(guān)的特征 “整體化表達”，形成一個統(tǒng)一的 “詞匯”，而獨立特征仍保持系統(tǒng)性表達。這一發(fā)現(xiàn)恰好解釋了自然語言中 “詞素的任意性”—— 例如 “cat” 這個詞，其內(nèi)部沒有拆分，但它所指代的 “貓” 的各項特征（毛茸茸、哺乳動物、有尾巴等）高度相關(guān)，整體化表達這些相關(guān)特征能降低預測信息，而 “數(shù)量” 這一相對獨立的特征，則通過 “-s” 這樣的后綴系統(tǒng)性表達，形成 “cats”。

此外，針對局部性和層級結(jié)構(gòu)的模擬實驗也得出了一致結(jié)論。在針對 Zipf 分布意義集合的實驗中，保持詞匯連續(xù)拼接的編碼方式，預測信息顯著低于詞匯交錯排列的編碼；而在具有層級結(jié)構(gòu)的意義集合（如 “[貓 + 狗]”“[藍色 + 方形]” 這樣的嵌套特征組）中，“特征組連續(xù)嵌套” 的編碼方式（類似自然語言的句法層級）預測信息最低，進一步印證了局部性對降低預測信息的重要作用。

（二）跨語言實證：人類語言確實具有低預測信息

模擬實驗驗證了理論邏輯的合理性，但自然語言是否真的遵循這一規(guī)律？為解答這一問題，研究團隊分析了 61 種語言的大規(guī)模語料庫，涵蓋語音、形態(tài)、句法、詞匯語義四個層面，通過與 “非自然結(jié)構(gòu)基線” 的對比，檢驗真實語言的預測信息是否更低。

圖3.研究證實，自然語言在音系學、形態(tài)學和句法學層面具有減少預測信息的結(jié)構(gòu)特征。a. 選定語言中音系形式的預測信息計算：將實證形式與保留發(fā)音方式的隨機排列形式進行對比。b. 名詞形態(tài)的字母級預測信息（黑色垂直線）與四個隨機基線的預測信息值對比（樣本密度為10,000；詳見正文）。P值表示基線樣本中預測信息低于實證形式的比例。c. 12種語言形容詞-名詞對的字母級預測信息與基線對比。非局部基線始終產(chǎn)生遠高于實證形式的預測信息，故未予展示。

在語音層面，人類語言均存在特定的語音規(guī)則（phonotactics），即對語音組合有固定限制，例如英語中 “blick” 符合語音規(guī)則，是可能存在的詞匯，而 “bnick” 違背規(guī)則，無法成為合法詞匯。為驗證語音規(guī)則與預測信息的關(guān)聯(lián)，研究團隊設(shè)計了對照實驗：將每種語言的詞匯語音序列打亂（僅打亂組合順序，保留單個語音的發(fā)音方式不變），以此構(gòu)建 “打亂基線”，再對比真實詞匯語音序列與打亂序列的預測信息差異。實驗結(jié)果明確顯示，61 種語言的真實詞匯語音序列，其預測信息均顯著低于對應的打亂基線，這一統(tǒng)一結(jié)果證明，自然語言的語音規(guī)則并非隨機形成，本質(zhì)是為降低預測信息而演化存在的。

在形態(tài)層面，研究團隊分析了匈牙利語、阿拉伯語、芬蘭語、拉丁語和土耳其語五種語言的名詞變格系統(tǒng)。這些語言的名詞通過后綴變化表達 “數(shù)”“格” 等語法特征，具有明顯的系統(tǒng)性。研究團隊構(gòu)建了三種基線：一是 “非局部基線”，打亂后綴的字母順序；二是 “非自然基線”，打亂形態(tài)與語法特征的對應關(guān)系；三是 “長度匹配非自然基線”，在保持后綴長度不變的前提下打亂形態(tài) - 特征對應。結(jié)果顯示，五種語言的真實形態(tài)系統(tǒng)，預測信息均顯著低于所有基線，即使是阿拉伯語中存在的非連續(xù)形態(tài)（如 “broken plurals”），其預測信息依然低于基線，說明這種有限的非連續(xù)結(jié)構(gòu)仍符合預測信息最小化原則。

在句法層面，研究團隊分析了 12 種語言的形容詞 - 名詞組合（如英語 “blue square”）。通過構(gòu)建 “詞匯交錯” 和 “形態(tài) - 意義錯配” 的基線，發(fā)現(xiàn)真實語言的形容詞 - 名詞組合預測信息更低。而在名詞短語語序的研究中，團隊分析了不同語言中限定詞（D）、數(shù)詞（N）、形容詞（A）和名詞（n）的排列順序，發(fā)現(xiàn)跨語言中更常見的語序（如英語 D-N-A-n、西班牙語 D-N-n-A），其預測信息顯著低于罕見語序，說明語序的跨語言分布也受到預測信息最小化的約束。

在詞匯語義層面，研究團隊利用蘭卡斯特感覺運動規(guī)范（Lancaster Sensorimotor Norms）分析了英語名詞的語義特征。結(jié)果顯示，名詞的核心語義特征（如 “是否毛茸茸”“是否為哺乳動物”）之間高度相關(guān)，而 “數(shù)量” 特征與這些核心特征的相關(guān)性較低。這恰好符合模擬實驗的結(jié)論：相關(guān)特征整體化表達于一個詞匯中，獨立特征則系統(tǒng)性表達，從而實現(xiàn)預測信息最小化。同時，研究還發(fā)現(xiàn)，同一詞匯內(nèi)的語義特征相關(guān)性顯著高于不同詞匯間的特征相關(guān)性，進一步印證了 “相關(guān)特征聚類表達” 的原則。

跨學科啟示：語言、認知與人工智能的交匯

這項研究的意義遠超出語言學領(lǐng)域，它建立了語言結(jié)構(gòu)與信息論、認知科學、機器學習、神經(jīng)科學等多個學科的橋梁，為相關(guān)領(lǐng)域提供了全新的研究視角。

在認知科學層面，研究揭示了人類語言與認知約束（Cognitive Constraints）之間的深層關(guān)聯(lián)。長期以來，研究者們知道人類認知資源有限，但如何具體影響語言結(jié)構(gòu)尚不明確。該研究表明，預測信息最小化是連接認知約束與語言結(jié)構(gòu)的關(guān)鍵紐帶，語言的系統(tǒng)性、局部性等核心特征，本質(zhì)上是人類為了適配有限認知資源而進化出的最優(yōu)解。這一發(fā)現(xiàn)也為理解 “語言習得” 提供了新視角：兒童學習語言時，可能會本能地偏好預測信息更低的系統(tǒng)性結(jié)構(gòu)（Systematic Structure），從而加速語言習得過程。

在機器學習領(lǐng)域，研究為自然語言處理提供了理論啟示。大型語言模型的核心任務是根據(jù)前文預測下一個詞，而這項研究表明，自然語言的結(jié)構(gòu)本身就是為了降低這種預測難度而設(shè)計的 —— 這正是大型語言模型能夠取得成功的重要原因。同時，研究中 “預測信息最小化” 的原則，也為構(gòu)建更高效的語言模型提供了參考：未來的模型設(shè)計可以更注重語言的局部可預測性和特征獨立性，從而提升模型的效率和可解釋性。此外，研究還解釋了為何大型語言模型難以學習 “非自然語言”—— 這類語言的預測信息過高，超出了模型的學習能力。

在神經(jīng)科學領(lǐng)域，研究與大腦的語言加工機制相呼應。神經(jīng)科學研究發(fā)現(xiàn)，大腦在處理語言時，會對可預測的詞匯產(chǎn)生更高效的神經(jīng)響應。而這項研究表明，自然語言的低預測信息特征，恰好與大腦的這種加工偏好相適配。預測信息最小化意味著語言序列的局部可預測性更高，這能減少大腦加工語言時的認知負荷，提升交流效率。這一發(fā)現(xiàn)為理解 “語言與大腦的協(xié)同進化” 提供了重要線索。

局限與未來：未竟的探索之路

盡管這項研究取得了突破性進展，但仍存在一些局限，為未來的研究指明了方向。首先，研究主要關(guān)注單個語句內(nèi)部的預測信息，而語言交流往往是多語句的語篇層面。未來的研究可以探究語篇層面的預測信息是否同樣受到最小化約束，以及如何解釋語篇的層級結(jié)構(gòu)（如話題組織）。其次，研究假設(shè)語言是意義與形式的一一對應映射，但自然語言中存在大量歧義現(xiàn)象（如多義詞、歧義句）。歧義是否會影響預測信息？語言如何在歧義與預測信息最小化之間權(quán)衡？這些問題值得進一步探索。

此外，自然語言中也存在一些看似違背局部性的結(jié)構(gòu)，例如長距離指代（如 “The girl who met the boy yesterday likes music” 中，“who” 指代 “the girl”，二者相距較遠）。這些結(jié)構(gòu)為何會存在？它們對預測信息有何影響？是否存在其他認知約束與預測信息最小化相互作用？這些問題需要更深入的實證研究來解答。

最后，研究尚未探討語言進化過程中，預測信息最小化是如何具體發(fā)揮作用的。是通過個體交流中的效率壓力，還是通過語言學習者的認知偏好，抑或是群體層面的文化進化？厘清這些機制，將有助于更全面地理解語言結(jié)構(gòu)的起源與演變。

大語言模型與多智能體系統(tǒng)讀書會

集智俱樂部聯(lián)合西湖大學工學院特聘研究員趙世鈺、浙江大學教授任沁源、鵬城實驗室高級工程師崔金強，共同發(fā)起，探究大語言模型給機器人領(lǐng)域帶來的新思想新價值。讀書會已完結(jié)，現(xiàn)在報名可加入社群并解鎖回放視頻權(quán)限。

詳情請見：

1.

2.

3.

4.

5.

6.

7.