本文參考LLaDA：Large Language Diffusion Models

這個圖可以很輕松的讓沒有任何基礎(chǔ)的人看懂DLM的工作原理，它會根據(jù)問題直接生成一個回答草稿，然后一次次的修改和潤色草稿，最終輸出回答。

Prompt：Explain what artificial intelligence is.

來源：https://ml-gsai.github.io/LLaDA-demo/

而傳統(tǒng)的大模型是一個字一個字的吐，比如我問DeepSeek，跟上面同樣的問題，它的回答模式就是線性的，下一個字的輸出取決于前面的內(nèi)容，跟后面的內(nèi)容沒有關(guān)系。

這個就是現(xiàn)在最為主流的大模型生成原理，autoregressive modeling (ARM)，它的核心公式就是下面，就是根據(jù)前面的所有內(nèi)容預(yù)測下個字。

我在介紹ChatGPT原理的時候提到過（從deepseek書里面找）。

而DLM（Diffusion Large language model）走的是非常不一樣，但是又比較符合人類直覺的路子。

就比如說高考作文題要求寫一篇不少于800字的議論文，“AI的出現(xiàn)給人類帶來了什么改變？”

傳統(tǒng)的LLM會一個字一個字的往外蹦，也就是線性生成過程。

就比如這個生成了一句話。

下一時刻它生成的就只有一個字，不多不少，就只多一個字。

你可以觀察任何一個傳統(tǒng)的大模型，DeepSeek，ChatGPT，Qwen，Gemini等等，都是這樣的，跳不出這個邏輯，因為它的底層設(shè)計就是一個字一個字的往外吐。

而DLM則是完全不同的邏輯，它是直接生成一篇800字的“文章”，為什么要加引號，是因為這個最初生成的“文章”很有可能狗屁不通，壓根不能算做文章。

但是它快呀，你別管它能不能讀，反正快是肯定的。

并且它有獨特的更新機制，就像下面的這張圖，它會一輪輪的迭代更新自己的內(nèi)容，你看當前時刻可能只確定了一部分的詞匯（紅色），但是在下一時刻，可能就有更多的內(nèi)容被確定了出來（綠色）。

多輪迭代之后，就可以實驗整體性的優(yōu)化，最后實現(xiàn)跟傳統(tǒng)大模型類似的結(jié)果，你像這個領(lǐng)域的經(jīng)典工作，LLaDA，在同等模型大小的前提下，在大多數(shù)的任務(wù)上表現(xiàn)并不比其他的模型差多少。

從結(jié)果為導(dǎo)向來看，這也是DLM為什么會吸引關(guān)注的主要原因，因為它真的快，傳統(tǒng)大模型生成速度再快，也得一個字一個字來。

有些工作雖然在做next two tokens（預(yù)測下兩個字符），甚至更多的字符，但是進展非常緩慢，并且從直覺來看，DLM明顯要比傳統(tǒng)大模型更具備可擴展性。

就跟我們寫作文的時候，很少時候是一個字一個字的往出蹦想法，而是總體上有個考量，然后甚至?xí)趲讉€部分想幾個金句出來，只不過在最后執(zhí)行的時候是一個字一個字的寫。

油畫的創(chuàng)作過程就比較類似，先來一個非常粗略的草稿，然后一層層的上顏色，一次次的涂個幾層幾十層都不是什么稀罕事。

其實這個正好暗合了DLM中D這個字母所代表的技術(shù)，也就是Diffusion，這個技術(shù)原本是應(yīng)用在圖像生成（Image generation）上面的，可以說現(xiàn)在絕大多數(shù)的圖像以及視頻生成都是基于這個技術(shù)，比如OpenAI的Sora，阿里的Wan通義萬相等。

簡單來說，就是生成一堆亂七八糟的噪音，然后讓AI學(xué)習(xí)怎么從噪音轉(zhuǎn)換到想要的圖片或者視頻。

DLM只不過是把脫胎于圖像生成的技術(shù)應(yīng)用到了文字生成，所以這也是很多技術(shù)到了最后都會兼容的主要原因，單一技術(shù)總會存在這樣那樣的限制，而取眾家之長則是必然要走的路。

DLM的核心技術(shù)技術(shù)其實原理上很直觀，不同于LLM的next token prediction，它做的是mask predictor。

Next token prediction我們之前講過了，那就是根據(jù)現(xiàn)有的句子，預(yù)測下一個詞，

Mask predictor類似，就是隨機的把一段話的部分內(nèi)容“掩蓋”住，這就是Mask的來源，被蓋住的內(nèi)容就叫掩碼（masked token）。

比如說在最開始訓(xùn)練的時候，我們提供了一個數(shù)據(jù)，下面這個基本上大家都知道。

如果是LLM學(xué)習(xí)的話，它在知道“世上無”這三個字之后，基本上可以穩(wěn)定輸出后面的所有內(nèi)容，它是線性的。

而DLM不太一樣，它會隨機“掩蓋”幾個字，就比如說這樣的，然后讓大模型去學(xué)習(xí)怎么去填空。

它可能會這么填，也可能有其他的填法。

但是在一輪輪的訓(xùn)練，迭代，它也能學(xué)會這種填空的方法。

正好契合了LLaDA的流程，總體上就是隨機掩蓋一部分字符，然后去預(yù)測這些內(nèi)容。

最后達到極致，就是直接輸出要求的所有內(nèi)容，只不過是以隨機的字符輸出，然后在一輪輪的迭代下，生成最終需要的文章。

這篇文章的這個例子很直觀，用戶了提問了一個簡單的數(shù)學(xué)題：

Lily can run 12 kilometers per hour for 4 hours. After that, she runs 6 kilometers per hour. How many kilometers can she run in 8 hours?

LLaDA在生成回答的時候，顏色深的部分是后面確定的，顏色淺的部分時早些時候確定的。

可以看到非關(guān)鍵信息比如人名Lily，量詞hours，很早就確定了下來。而比較關(guān)鍵的數(shù)字，特別是4這個數(shù)字，以及涉及到運算和邏輯的部分，都是在后面確定的。

也可以從這個案例中看到，DLM在生成內(nèi)容的時候，在遵循一定的主次關(guān)系。

還有更多的案例，可以在論文的附錄appendix里找到。

總的來說，這是一項非常有前景的技術(shù)，只不過相比起只預(yù)測下一個字符來說，技術(shù)難度要更高一些；但從長遠來說，潛力不小，特別是Google也在下場做這件事。