來源：PaperWeekly

　　人們一直以為，大模型的隱藏狀態(tài)是抽象的“語義壓縮”。但這篇論文發(fā)現(xiàn)，Transformer 并沒有丟掉任何輸入信息——它能憑隱藏狀態(tài)精確反演出你說的每一個字。

　　我們一直以為，語言模型的隱藏狀態(tài)是對輸入的一種“壓縮”或“抽象”。在這層抽象里，模型似乎丟掉了表面信息，只保留“語義精華”——這就是我們所說的“理解”。

　　但這篇論文顛覆了這個想法。作者發(fā)現(xiàn)，在標準的 Transformer 結構下，模型的最后一 token 隱狀態(tài)幾乎必然能唯一確定輸入序列。

　　換句話說，只要你知道這個隱藏狀態(tài)，就能反推出原文。而且，這個性質(zhì)不僅在隨機初始化時成立，在整個訓練過程中也不會被破壞。

　　更令人震撼的是，他們沒有停留在數(shù)學證明，而是進一步提出了一個實際算法——SipIt（Sequential Inverse Prompt via Iterative Updates）。它不需要任何外部模型訓練，僅憑 Transformer 的隱藏狀態(tài)，就能把輸入一個 token 一個 token 地完整還原。

　　▲圖1.Prompt 到 Latent Space 的單射映射：可視化 Transformer 將輸入映射到隱空間，并通過 SIPIT 完整反演。

　　論文標題：

　　Language Models are Injective and Hence Invertible

　　論文鏈接：

　　https://www.arxiv.org/pdf/2510.15511

　　研究背景：為什么單射性如此重要？

　　在 Transformer 的每一層里，我們都能看到“似乎會丟信息”的環(huán)節(jié)：LayerNorm 會重標尺度，殘差連接可能抵消特征，注意力層還會把多個 token 混合成一個上下文表示。這些操作看起來都不利于可逆性。

　　然而作者從另一個角度切入——解析性（real-analyticity）。他們將 Transformer 視為從離散序列到連續(xù)表示的解析映射：

　　這里 是輸入 token 序列， 是模型參數(shù)， 是最后一 token 的隱藏狀態(tài)。

　　作者進一步形式化地指出，這個映射幾乎處處是單射的：

　　也就是說，不同輸入序列映射到相同隱藏狀態(tài)的概率為零。解析函數(shù)的零點集要么處處為零，要么測度為零。這意味著，只要存在一個參數(shù)配置讓兩個不同輸入產(chǎn)生不同輸出，幾乎所有參數(shù)下都不會“撞車”。

　　于是作者定義了一個碰撞檢測函數(shù)：

　　只要存在某個 讓 ，那就意味著“不同輸入映射成相同隱藏態(tài)”的概率為零。

　　▲圖2.零測集的可視化直覺：零點集合只形成細線（measure zero），說明碰撞幾乎不可能發(fā)生。

　　他們進一步證明：即使經(jīng)過有限步梯度下降，這種性質(zhì)仍然保持。因為參數(shù)更新：

　　本身也是解析函數(shù)，其雅可比行列式非零，不會把空間“壓塌”。更嚴格地，他們給出了如下結論：

　　也就是說，在有限步梯度下降（步長 ）后，模型依然保持輸入到隱藏空間映射的單射性。

　　這表明，Transformer 的可逆性是整個訓練過程的結構性特征，而非偶然現(xiàn)象。

　　方法：SipIt如何“倒放”Transformer？

　　有了理論基礎，作者提出了一個問題：

　　如果隱藏狀態(tài)真的能唯一對應輸入，我們能否直接把原文還原回來？

　　他們的答案是——可以。

　　核心思路

　　作者定義了函數(shù) ，其中 表示前綴序列。也就是說，每個位置的隱藏狀態(tài)由前綴和當前 token 唯一決定。

　　因此，已知隱藏狀態(tài) ，我們可以遍歷詞表 ，尋找唯一滿足 的 token。只要找到這個 token，就能確定當前位置的輸入。

　　▲圖3.SIPIT 反演偽代碼：逐位反演輸入的迭代流程，僅依賴隱藏狀態(tài)即可完成重建。

　　SipIt 基于這個原則逐位反演輸入：從第一個 token 開始，對候選詞按策略遍歷，當匹配的隱藏狀態(tài)落入允許的 ε 鄰域（ε-ball）時即接受，并進入下一位。

　　作者在文中指出：“在實踐中，我們接受那些觀測隱藏狀態(tài)位于預測值 ε 球鄰域內(nèi)的匹配結果?！?這種基于容差的檢查方式保證了算法在有限步內(nèi)收斂并找到唯一匹配。

　　當所有位置都驗證完畢，SipIt 即可還原出完整輸入 。理論上時間復雜度為線性，最壞情況下也不超過 步，即保持線性時間復雜度（linear-time bound）。

　　SipIt 把“單射性”從一個理論命題變成可操作事實——能否被 SipIt 完整反演，就是模型是否真正保留信息的實證檢測。

　　實驗結果：模型真的沒丟信息嗎？

　　作者在 GPT-2 Small、Gemma-3、Llama-3.1、Mistral-7B、Phi-4-mini 等多種架構上做了驗證。他們?yōu)槊總€模型計算不同輸入的最后一 token 表示之間的最小 距離。

　　結果顯示，所有最小距離都遠高于 ，說明幾乎不存在碰撞。

　　▲圖4.不同層間的最小距離始終高于閾值，未出現(xiàn)重疊。

　　▲表1.不同模型的距離分布均明顯高于碰撞閾值

　　極限窮舉測試：仍未出現(xiàn)碰撞

　　為避免采樣偏差，作者挑出最相似的 10 對前綴，并窮舉詞表的所有接續(xù)組合——相當于檢索上千億條輸入。即便在這個極端測試下，隱藏狀態(tài)的最小距離依然大于 0。

　　▲圖5. 在極限應激測試下，所有最小距離仍遠高于零

　　他們還觀察了距離隨序列長度變化的趨勢：短句在前幾層迅速拉開間距，長句則趨于穩(wěn)定。

　　▲圖6.短序列距離上升更快，長序列趨于穩(wěn)定

　　反演實驗：SipIt 的可行性驗證

　　在 GPT-2 Small 上，作者選取 100 條提示序列，僅使用隱藏狀態(tài)進行反演。SipIt 實現(xiàn)了 100 % token-level 精確恢復，反演耗時與序列長度線性增長。

　　▲表2. SipIt 在保持 100% 精度的同時速度領先百倍

　　▲圖7.反演耗時隨層深度緩慢上升，整體呈線性增長

　　總結

　　這項研究并未改動模型結構，卻動搖了我們對“隱藏表示”的長期假設。Transformer 的最后一 token 隱藏狀態(tài)在解析意義上幾乎處處可逆：不同輸入有不同表示，訓練過程不會破壞這種區(qū)分性。

　　SipIt 把理論轉(zhuǎn)化為工具——在不訓練任何外部網(wǎng)絡的前提下，僅憑隱藏狀態(tài)就能線性時間重建原文。

　　從科研角度，這為解釋 LLM 內(nèi)部表征提供了堅實起點；從工程角度，這提醒我們：緩存隱藏狀態(tài)等價于緩存用戶輸入，隱私治理必須覆蓋這一層；從方法論角度，它展示了一種范式——先證明結構，再把結構做成算法。

　　也許我們需要重新定義“理解”與“記憶”的界限。 至少從這篇論文的結果看——LLM 沒有忘記你說過的每一個字。