作者｜周煒皓

編輯｜閆俊豪

2025年12月30日，字節(jié)跳動Seed團(tuán)隊發(fā)布《Dynamic Large Concept Models》論文，挑戰(zhàn)了“Token是計算的原子單位”這一根深蒂固的假設(shè)，提出計算應(yīng)當(dāng)是分層、動態(tài)和抽象的。

一天之后，12月31日，DeepSeek提交了一篇有梁文鋒署名的論文，論文題目是《mHC：流形約束超連接》，這篇論文直指大模型訓(xùn)練中的“信號爆炸”問題，用mHC架構(gòu)為打造超大模型搭建起“腳手架”。

從打破“如何想得更快更深”的推理瓶頸，到解決“如何長得更大更穩(wěn)”的現(xiàn)實困境，字節(jié)跳動和DeepSeek團(tuán)隊分別從兩個方向，揭開了未來AI發(fā)展的圖景一隅。

讓AI學(xué)會“速讀”與“深思”

2011年，諾貝爾獎得主丹尼爾·卡尼曼在《思考，快與慢》中提出了System 1（快思考）和System 2（慢思考）的雙系統(tǒng)理論，常被用來類比AI的推理模式。

現(xiàn)有的 Transformer 模型，無論規(guī)模多大，本質(zhì)上都在執(zhí)行System 1式的直覺反應(yīng)，基于統(tǒng)計規(guī)律快速預(yù)測下一個詞，缺乏System 2所具備的深思熟慮、規(guī)劃和概念抽象能力。字節(jié)跳動團(tuán)隊則在論文中指出，語言模型不應(yīng)受限于其輸入形式，而應(yīng)具備在更高維度的“概念空間”進(jìn)行操作的能力。

舉個例子，人類在理解“中華人民共和國”這個詞時，大腦激活的不僅僅是七個字的字面意義，而是一個包含政治、經(jīng)濟(jì)、文化和歷史背景的語義網(wǎng)絡(luò)。DLCM 正是試圖在神經(jīng)網(wǎng)絡(luò)中構(gòu)建這種“概念”實體。

目前的 AI 模型存在一個通病，無論是處理無意義的虛詞，比如“的”、“是”，還是處理復(fù)雜的邏輯難題，消耗的計算資源是一樣的。這不僅效率低下，也限制了模型處理復(fù)雜任務(wù)的能力。DLCM通過引入“動態(tài)概念”機制，讓 AI 具備了類似人類的“速讀”和“慢思考”能力。

DLCM架構(gòu)概述

這套機制將處理過程分為兩步，首先，模型不再逐字逐句看書，而是自動識別語義，將“今天天氣不錯”這樣簡單的一串詞瞬間打包成一個“概念”略過，不費腦力。其次，當(dāng)遇到“相對論推導(dǎo)”這樣的硬骨頭時，模型會停下來，在壓縮后的“概念空間”里調(diào)動深層算力進(jìn)行縝密推理。

用更容易理解的話說，過去AI就像個死板的經(jīng)理，無論是審批買文具的 5 元發(fā)票，還是審批5個億的投資項目，都要花1個小時去審核。而引入DLCM后，這個經(jīng)理就有了抓大放小的能力，審批文具發(fā)票只花1秒鐘，把節(jié)省下來的時間和精力，全部用來仔細(xì)研究那個5億的投資項目。

把好鋼用在了刀刃上，比起普通AI，DLCM在處理燒腦的邏輯推理題時更聰明，推理計算量減少了約34%，處理多步邏輯推理任務(wù)時，準(zhǔn)確率反而平均提升了2.69%。對于擁有億級用戶的字節(jié)跳動來說，這意味著可以用更低的芯片成本，提供更聰明、反應(yīng)更快的 AI 服務(wù)。

“音量守恒”魔咒

“信號爆炸”，是過去大模型訓(xùn)練中的“地雷”。一旦踩中，不管你花了多少錢進(jìn)行訓(xùn)練，模型都可能瞬間崩潰，前功盡棄。

為了理解 DeepSeek 這項mHC技術(shù)的價值，我們可以把訓(xùn)練大模型想象成一場幾百人參與的“傳話游戲”。

在這個游戲中，“人”就是神經(jīng)網(wǎng)絡(luò)的層，“話”就是數(shù)據(jù)傳輸?shù)男盘柣蛱卣餍畔?。在最早的深度網(wǎng)絡(luò)中，幾百人排成一列傳話。如果每個人都只靠“聽和說”，傳到第100個人時，消息往往已經(jīng)面目全非或者變得極其夸張。

這就是早期深層網(wǎng)絡(luò)訓(xùn)練困難的原因。過去，ResNet的解決方案是制定規(guī)則，讓每個人在傳話的同時，必須把上一給人給你的“原話”寫在小紙條上，原封不動地遞給下一個人。即使某個人腦子短路了，下一個人至少還能收到那張“小紙條”，保證了最基礎(chǔ)的信息不會丟，這就是恒等映射。

但問題在于，這是一條“單行道”，隨著模型越來越大，這張“小紙條”上寫的字越來越多，想在上面塞進(jìn)更多的邏輯、語法和知識，變得越來越困難。

為了解決“單行道”擁擠的問題，字節(jié)跳動等研究者想出了一個辦法，從過去的一列隊伍改成多排幾列，并允許這幾列隊伍之間互相交流。新的問題出現(xiàn)了，由于沒有制定嚴(yán)格的“音量規(guī)則”，大家因為能互相交流變得非常興奮。

第一列的人喊了一嗓子，第二列的人覺得很重要，于是拿個大喇叭復(fù)述，第三列的人聽到了，又把聲音放大幾倍傳回去。就這么一團(tuán)亂麻傳到最后，聲音被放大幾千倍，全是噪音，根本聽不清原本的消息，導(dǎo)致訓(xùn)練直接崩潰，這就是HC導(dǎo)致的大模型訓(xùn)練的困境。

結(jié)果表明，mHC 在損失和梯度范數(shù)方面都表現(xiàn)出更高的穩(wěn)定性

在這個背景下，DeepSeek的研究員意識到，多列隊伍是好主意，但必須治理“噪音爆炸”。于是他們引入了數(shù)學(xué)上的流形約束，依然是多列隊伍并行，依然允許互相交流，但每個人面前放了一個分貝儀，如果你想聽其他列的消息，可以，但你從他們那里接收的“總音量”必須嚴(yán)格等于1。

你想多聽第一列的人在說什么，就得捂住另一只耳朵少聽其他列里的人說話，如果你要往后面?zhèn)髟?，你的聲音也必須?分貝。這樣的好處在于，不管隊伍排多長，不管大家怎么互相傳八卦，整個房間的總音量始終控制在一個合理的范圍內(nèi)。

這就是mHC最關(guān)鍵的作用，將深層網(wǎng)絡(luò)的信號增益從3000倍壓制到1.6倍左右，實現(xiàn)了3個數(shù)量級的穩(wěn)定性提升。DeepSeek 利用 Sinkhorn-Knopp 算法強行“熨平”了所有的信號波動，無論模型有多大，內(nèi)部結(jié)構(gòu)都穩(wěn)如泰山。

這項技術(shù)以僅增加 6.7% 訓(xùn)練時間的微小代價，換來了極度的穩(wěn)定性。

從“恐懼”到“貪婪”

這兩篇論文發(fā)布后，市場的反應(yīng)也值得關(guān)注。

回想一年前的2025年1月27日，DeepSeek發(fā)布初代R1模型，全球資本市場曾陷入“算力通縮”的恐慌。當(dāng)時，華爾街擔(dān)心中國廠商極高的算法效率會大幅減少對GPU的需求，導(dǎo)致英偉達(dá)股價單日暴跌17%，市值蒸發(fā)近5900億美元。

然而，2026 年1月2日，面對mHC和DLCM這兩項進(jìn)一步大幅降低算力成本、提升模型效率的“王炸”級技術(shù)，資本市場卻表現(xiàn)出截然不同的態(tài)度。在兩篇論文發(fā)布后的首個交易日，英偉達(dá)股價并未因“需求減少”的邏輯而下跌，反而逆勢上揚1.26%，收于188.85 美元。

這種反差背后，是“杰文斯悖論”在發(fā)揮作用。早在工業(yè)革命時代，這位英國經(jīng)濟(jì)學(xué)家就發(fā)現(xiàn)，當(dāng)技術(shù)進(jìn)步提高了使用資源的效率，但成本降低導(dǎo)致需求增加，會令資源消耗的速度不減反增。

比起“DeepSeek時刻”那會兒，市場擔(dān)心效率提升會導(dǎo)致顯卡需求下降，現(xiàn)在的投資者們想明白了一點，效率提升以后，還可以把AI塞進(jìn)手機、眼鏡和汽車?yán)?，不僅不會少買，反而需要建設(shè)更龐大的推理集群來服務(wù)數(shù)十億用戶。

字節(jié)跳動的DLCM通過降低34%的推理成本，為AI落地應(yīng)用掃清了障礙，DeepSeek的mHC則保證了未來更大規(guī)模模型的誕生，這兩者疊加，AI的蛋糕被做得更大了。

2026年開年的這兩篇論文，不僅是字節(jié)跳動和DeepSeek的技術(shù)秀，更是中國AI產(chǎn)業(yè)在高端芯片受限背景下走出的一條“不對稱競爭”之路。如果說過去兩年大家還在比拼誰的顯卡更多，那么從現(xiàn)在開始，比賽進(jìn)入了比拼誰的腦子更快的新階段。