機(jī)器之心編輯部

試想一下，如果把當(dāng)下大火的大模型技術(shù)帶回 1970 年，會(huì)發(fā)生什么？

彼時(shí)，沒(méi)有 GPU、沒(méi)有 CUDA，也沒(méi)有浮點(diǎn)數(shù)，甚至沒(méi)有任何深度學(xué)習(xí)框架，只有一臺(tái) PDP-11 小型機(jī)，以及一門幾乎已經(jīng)退出歷史舞臺(tái)的語(yǔ)言：匯編語(yǔ)言。

近日，一位開(kāi)發(fā)者給出了答案。他復(fù)現(xiàn)了那個(gè)年代的技術(shù)環(huán)境，用 1970 年代的 PDP-11 匯編語(yǔ)言，實(shí)現(xiàn)了一個(gè) Transformer，并且真正訓(xùn)練成功了，這個(gè)項(xiàng)目叫做 ATTN-11。

具體來(lái)看，就是在 1970 年代的小型機(jī) PDP-11 上，用純匯編語(yǔ)言，實(shí)現(xiàn)一個(gè)單層、單頭的 Transformer，并完成一個(gè)「序列反轉(zhuǎn)」的任務(wù)，即輸入一串?dāng)?shù)字，輸出其反序結(jié)果。

比如，輸入：4 7 4 9 6 3 6 5，輸出：5 6 3 6 9 4 7 4。

看似很容易，但關(guān)鍵特征是，機(jī)器無(wú)法通過(guò)「記住內(nèi)容」來(lái)完成這個(gè)任務(wù)，必須理解「位置之間的映射關(guān)系」。而這恰恰是自注意力（Attention）機(jī)制的的核心能力。

項(xiàng)目結(jié)果顯示，在一臺(tái) 1970 年代的計(jì)算機(jī)上，一個(gè)僅有 1216 個(gè)參數(shù)、單層單頭的 Transformer，在約 350 步訓(xùn)練后就實(shí)現(xiàn)了 100% 的準(zhǔn)確率，而訓(xùn)練時(shí)間只有 5 分鐘左右。

有意思的是，由于 PDP-11 時(shí)代，程序的主要存儲(chǔ)介質(zhì)是 Paper Tape（穿孔紙帶），因此，該項(xiàng)目開(kāi)發(fā)者又稱該項(xiàng)目為「Paper Tape is All You Need」。

而當(dāng)開(kāi)發(fā)者將該項(xiàng)目發(fā)布之后，引起了網(wǎng)友的熱議。

當(dāng)下，大模型的發(fā)展主要圍繞 Scaling Law 展開(kāi)，更多的參數(shù) ，更多的數(shù)據(jù)，更的多算力…… 而 ATTN-11，卻在極低的資源、極簡(jiǎn)的結(jié)構(gòu)下，成功實(shí)現(xiàn)功能閉環(huán)。因此，大家不禁在思考：Transformer，到底需要什么？

一位網(wǎng)友該項(xiàng)目「在 PDP-11 上訓(xùn)練只要 5 分鐘」表示驚訝，而更讓他震驚的是，這似乎說(shuō)明「我們其實(shí)一直都可以做到這些？？？」

另一位網(wǎng)友則認(rèn)為，不必驚訝，是的，我們一直可以做到這些。因?yàn)?，?980 年代的 Cray 超級(jí)計(jì)算機(jī)非常厲害，尤其在矩陣乘法方面性能極其強(qiáng)大。

比如一臺(tái) 1984 年的四核 CPU Cray X-MP，可以持續(xù)提供 800 MFLOPS 到 1 GFLOPS 的算力，如果配上一塊 1GB 的 SSD，在算力和帶寬上已經(jīng)足以在半年內(nèi)訓(xùn)練一個(gè) 700 萬(wàn)到 1000 萬(wàn)參數(shù)的語(yǔ)言模型，并以每秒 18 到 25 個(gè) token 的速度進(jìn)行推理。

而到了 1990 年代中期，一臺(tái) Cray T3E 的算力，就已經(jīng)可以承載 GPT-2（1.24 億參數(shù)）規(guī)模的模型，這要比 OpenAI 早 24 年。

而我自己，甚至還用一臺(tái) 1965 年的打孔卡計(jì)算機(jī)，通過(guò)反向傳播學(xué)會(huì)了 XOR。

真正的瓶頸從來(lái)都不是硬件，而是想法?！?/strong>

另一位網(wǎng)友也現(xiàn)身說(shuō)法，他舉了后量子密碼學(xué)的例子。他表示，基于格（lattice）的加密方案早在 1990 年代就已被提出，但真正走向產(chǎn)業(yè)落地，卻花了整整幾十年，而問(wèn)題的關(guān)鍵不在于數(shù)學(xué)不成熟，也不在于硬件不足，而是讓這些理論真正「跑起來(lái)」的關(guān)鍵思路，當(dāng)時(shí)還沒(méi)有出現(xiàn)。

接下來(lái)，詳細(xì)了解一下具體項(xiàng)目實(shí)現(xiàn)。

開(kāi)發(fā)者稱，該項(xiàng)目是 Xortran 的精神續(xù)作，Xortran 是一個(gè)在 IBM 1130（1965 年）和 PDP-11/20（1970 年）上，用 Fortran IV 實(shí)現(xiàn)反向傳播來(lái)學(xué)習(xí) XOR 運(yùn)算的神經(jīng)網(wǎng)絡(luò)。

自然而然地，下一步就想看看這些機(jī)器是否能在可接受的時(shí)間內(nèi)（幾小時(shí)）成功訓(xùn)練一個(gè)小型 Transformer。

從架構(gòu)上看，Transformer 實(shí)際上只是基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的適度擴(kuò)展。矩陣乘法、反向傳播、隨機(jī)梯度下降（SGD）和交叉熵等構(gòu)建模塊早已存在。

新增的三個(gè)部分是：

• 自注意力：映射后的查詢（Query）與鍵（Key）之間的點(diǎn)積得分；
• 位置編碼：學(xué)習(xí)到的位置嵌入，加到輸入上；
• Softmax：將得分轉(zhuǎn)換為概率分布；

該項(xiàng)目的目標(biāo)是訓(xùn)練一個(gè) Transformer 來(lái)反轉(zhuǎn)數(shù)字序列。盡管看似簡(jiǎn)單，但對(duì)神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，模型必須學(xué)會(huì)將每個(gè) token 路由到僅由其索引決定的位置，沒(méi)有基于內(nèi)容的捷徑。而這類問(wèn)題正是為自注意力設(shè)計(jì)的，實(shí)際上也是 Tensor2Tensor（谷歌 2017 年原始 Transformer 的參考實(shí)現(xiàn)）中包含的算法基準(zhǔn)之一。

架構(gòu)

數(shù)據(jù)路徑很直接，token 被嵌入，通過(guò)帶有殘差連接的自注意力層，然后映射回詞表并通過(guò) softmax 得到預(yù)測(cè)：

該模型是一個(gè)極簡(jiǎn)的 Transformer：嵌入、帶殘差連接的自注意力、輸出映射。它是真正的帶自注意力的 Transformer，但既不是 BERT 也不是 GPT：沒(méi)有層歸一化、沒(méi)有前饋網(wǎng)絡(luò)、沒(méi)有解碼器。

該任務(wù)中，不需要對(duì) token 表示做任何變換，因此注意力和殘差連接就足夠了。層歸一化在深層網(wǎng)絡(luò)中用于防止激活漂移，但在單層中并不需要。

針對(duì) 1970 年代硬件的優(yōu)化

第一次實(shí)現(xiàn)沿用了 Xortran 的方案，并使用 Fortran IV 編寫。在統(tǒng)一學(xué)習(xí)率為 0.01 的情況下，模型完成 100 步訓(xùn)練需要 25 分鐘，而要達(dá)到 100% 的準(zhǔn)確率則需要約 1500 個(gè)訓(xùn)練步數(shù)。這在真實(shí)硬件上大約相當(dāng)于 6.5 小時(shí)的訓(xùn)練時(shí)間，在 IBM 1130 上甚至可能需要整整一周。

即便是按照 1970 年代的標(biāo)準(zhǔn)來(lái)看，這樣的耗時(shí)也是難以接受的，因?yàn)楫?dāng)時(shí)的計(jì)算機(jī)通常采用分時(shí)共享機(jī)制，計(jì)算資源非常寶貴。

因此，第一次改進(jìn)是將統(tǒng)一學(xué)習(xí)率替換為手動(dòng)調(diào)優(yōu)的分層學(xué)習(xí)率：

編碼「反轉(zhuǎn)模式」的注意力權(quán)重更適合使用較高的學(xué)習(xí)率，而輸出映射層在較小學(xué)習(xí)率下收斂效果更好。通過(guò)這一調(diào)優(yōu)，訓(xùn)練步數(shù)降至 600 步，預(yù)計(jì)訓(xùn)練時(shí)間約為 2.5 小時(shí)。

優(yōu)化器采用的是最基礎(chǔ)的隨機(jī)梯度下降（SGD）。像 Adam 這樣的優(yōu)化器雖然可以為每個(gè)參數(shù)自適應(yīng)調(diào)整步長(zhǎng)，但代價(jià)是每個(gè)權(quán)重需要額外維護(hù)兩個(gè)狀態(tài)向量，使參數(shù)所占內(nèi)存增加到原來(lái)的 3 倍。同時(shí)，每次更新還需要進(jìn)行平方根和除法運(yùn)算，即便在配備 EIS 的 PDP-11 上，這些操作也依然開(kāi)銷較大。

相比之下，分層學(xué)習(xí)率在不增加額外成本的情況下實(shí)現(xiàn)了類似效果，而且由于模型規(guī)模較小，這三組學(xué)習(xí)率可以手動(dòng)調(diào)優(yōu)。此外，這也使得 Transformer 可以裝入 32KB 的核心內(nèi)存，而不是 64KB，這在 1970 年代尤為關(guān)鍵。

補(bǔ)充說(shuō)明：由于采用裸機(jī)匯編實(shí)現(xiàn)，ATTN/11 的內(nèi)存占用并不高于 Xortran，后者還需要承擔(dān) RT-11 V3 操作系統(tǒng)和 Fortran 運(yùn)行時(shí)的開(kāi)銷。最終生成的二進(jìn)制文件也相當(dāng)緊湊，僅為 6179 字節(jié)。

NN11

核心算術(shù)運(yùn)算基于 NN11，這是一個(gè)為 ATTN/11 和 PDP-11 設(shè)計(jì)的最小化定點(diǎn)神經(jīng)網(wǎng)絡(luò)計(jì)算棧。

NN11 的組織結(jié)構(gòu)類似于 BLAS，分為多個(gè)層級(jí)：最底層是標(biāo)量基礎(chǔ)操作（FXMATH）；其上是向量運(yùn)算，如點(diǎn)積和縮放（VECOP）；再往上是矩陣–向量運(yùn)算（MATOP），每一層都構(gòu)建在下層之上。

此外，還有兩個(gè)模塊將該計(jì)算棧擴(kuò)展到線性代數(shù)之外：一個(gè)是激活函數(shù)及其查找表（ACTFN），另一個(gè)是層級(jí)操作（LAYER），用于將前述運(yùn)算組合起來(lái)，實(shí)現(xiàn)、映射以及注意力等功能。

這些算術(shù)計(jì)算會(huì)根據(jù)不同的計(jì)算階段進(jìn)行適配：

在 PDP-11 上，前向計(jì)算使用 Q8、反向傳播使用 Q15 的組合非常契合：將一個(gè) Q8 數(shù)與一個(gè) Q15 數(shù)相乘，會(huì)在一個(gè) 32 位寄存器對(duì)中得到 Q23 的結(jié)果，只需一次「ASHC #-8」操作即可將其縮放回 Q15。

因此，反向傳播中的乘法開(kāi)銷并不高于前向計(jì)算，同時(shí)還能讓梯度的精度達(dá)到激活值的 128 倍。

經(jīng)過(guò)優(yōu)化后，模型在 350 步內(nèi)即可收斂，使得在開(kāi)發(fā)者的 PDP-11/34A 上，總訓(xùn)練時(shí)間縮短至僅 5.5 分鐘。

在該項(xiàng)目中，開(kāi)發(fā)者并沒(méi)有使用真正的紙帶讀取器，因此是通過(guò)控制臺(tái)將目標(biāo)代碼直接寫入內(nèi)存。

以下是運(yùn)行該 Transformer 后的結(jié)果：

原型

在正式轉(zhuǎn)向匯編實(shí)現(xiàn)之前，必須先驗(yàn)證其正確性。因此，開(kāi)發(fā)者先在 Sheaf 中對(duì)浮點(diǎn)和定點(diǎn)算術(shù)進(jìn)行了原型設(shè)計(jì)與驗(yàn)證。Sheaf 是開(kāi)發(fā)者開(kāi)發(fā)的一個(gè)函數(shù)式 ML 框架，內(nèi)置了可觀測(cè)性機(jī)制。

對(duì)于這類機(jī)器學(xué)習(xí)工作，Sheaf 相比 Python 有幾個(gè)優(yōu)勢(shì)：

• 代碼量大約減少三分之一；
• 其純函數(shù)式語(yǔ)義帶來(lái)了更強(qiáng)的正確性保障；
• 能夠?qū)γ恳粋€(gè)中間張量進(jìn)行內(nèi)置追蹤，包括其形狀、數(shù)值范圍以及計(jì)算時(shí)間。在開(kāi)發(fā)定點(diǎn)算術(shù)時(shí)，這一點(diǎn)尤為關(guān)鍵。

例如，在「vtmul」上設(shè)置一個(gè)范圍保護(hù)，可以立刻捕捉到遺漏「>>8」位移的問(wèn)題：

浮點(diǎn)與定點(diǎn)兩種原型實(shí)現(xiàn)都可以在「proto」文件夾中找到，同時(shí)還包含最初的 Fortran 版本。

實(shí)現(xiàn)細(xì)節(jié)

由于沒(méi)有浮點(diǎn)運(yùn)算單元，超越函數(shù)（如 exp、log）被預(yù)先計(jì)算的查找表所替代。在 PDP-11 上，一次查表只需一條「MOV」指令，其開(kāi)銷遠(yuǎn)低于多項(xiàng)式近似或 CORDIC 算法。

Softmax

Softmax 使用一個(gè)包含 256 個(gè)條目的查找表（EXPTBL，Q8），將每個(gè)索引 i 映射為 exp (?i/32)。計(jì)算分為三個(gè)步驟：

• 找到輸入向量中的最大值，并從每個(gè)元素中減去該值，以保證數(shù)值穩(wěn)定性；
• 將差值（max ? x_i）除以 8，作為查表索引，并限制在 [0, 255] 范圍內(nèi)；
• 將得到的 exp 值除以它們的總和（通過(guò) FXDIV），得到概率分布。

該查找表大約覆蓋了輸入范圍內(nèi)的 8 個(gè)單位，在趨近于 0 之前，這對(duì)于一個(gè) 10 類詞表來(lái)說(shuō)已經(jīng)完全足夠。

交叉熵?fù)p失

損失函數(shù)每 50 步計(jì)算一次，用于報(bào)告訓(xùn)練過(guò)程。它依賴另一個(gè)查找表（LOGTBL，257 個(gè)條目，Q12），將每個(gè)值 x ∈ [0, 256] 映射為 ?ln (x/256) × 4096。

計(jì)算流程遵循標(biāo)準(zhǔn)路徑：先對(duì) logits 做 softmax，讀取目標(biāo) token 的概率，然后在查找表中查得 ?ln (p)。8 個(gè)位置（每個(gè)序列位置一個(gè)）的結(jié)果累加到一個(gè) 32 位寄存器對(duì)中（因?yàn)?8 個(gè) Q12 值的和可能超過(guò) 16 位），再通過(guò)「ASHC #-3」除以 8。Q12 精度（1/4096 ≈ 0.0002）可以提供四位小數(shù)，足以用于監(jiān)控收斂過(guò)程。

查找表

ATTN/11 使用兩個(gè)查找表。第一個(gè)將每個(gè)索引映射為 Q8 表示的 exp (?i/32)，在 softmax 中用一條「MOV」指令替代指數(shù)計(jì)算。另一個(gè)表主要用于便利計(jì)算，將每個(gè)值映射為 Q12 表示的 ?ln (x/256)，每 50 步用于計(jì)算交叉熵?fù)p失，以監(jiān)控模型收斂情況。

兩個(gè)查找表均通過(guò) Sheaf 腳本離線生成，并以 .WORD 常量的形式存儲(chǔ)在源代碼中。

交叉熵梯度

反向傳播利用了 softmax 與交叉熵組合的一個(gè)經(jīng)典性質(zhì)：logits 的梯度可以簡(jiǎn)化為

從而在訓(xùn)練過(guò)程中完全避免了對(duì)數(shù)運(yùn)算的開(kāi)銷。該結(jié)果最初以 Q8 表示，隨后左移 7 位轉(zhuǎn)換為 Q15，這是整個(gè)反向傳播過(guò)程中使用的數(shù)值格式。同一個(gè) SFTMX 例程同時(shí)用于前向與反向計(jì)算，無(wú)需單獨(dú)實(shí)現(xiàn)反向傳播版本。

最后補(bǔ)充一點(diǎn)：在這些算法的開(kāi)發(fā)過(guò)程中，開(kāi)發(fā)者僅將 AI 工具作為輔助使用，而所有的設(shè)計(jì)決策、縮放策略，以及數(shù)值驗(yàn)證，均是在硬件上由人工完成的。

內(nèi)存布局

ATTN/11 總共占用 19.2 KB 內(nèi)存。下表展示了其內(nèi)存分布情況，整理自 MACRO-11 匯編器的輸出列表：

這 1216 個(gè)參數(shù)由于計(jì)算需要被復(fù)制了三份：Q16 累加器（4.8 KB）、用于前向計(jì)算的 Q8（2.4 KB），以及用于梯度的 Q15（2.4 KB）。僅模型本身就占用了 9.6 KB，是整體內(nèi)存使用中占比最大的部分。

構(gòu)建

構(gòu)建所需的兩個(gè)條件是：MACRO11 匯編器，以及用于將目標(biāo)代碼轉(zhuǎn)換為可加載二進(jìn)制文件的 obj2bin 工具。

運(yùn)行

運(yùn)行，需要具備以下條件之一：

• 一臺(tái)真實(shí)的 PDP-11，且其 CPU 支持 EIS 指令，并配備 32KB 的核心內(nèi)存或 MOS 內(nèi)存；
• 或使用 ll-34：這是我設(shè)計(jì)的一款電路級(jí)、微周期精確的 PDP-11/34 模擬器，可作為真實(shí)硬件的數(shù)字復(fù)刻。

ll-34 幾乎可以視作擁有一臺(tái)真正的 11/34。啟動(dòng) ATTN/11 的方式如下：

或者，如果只是想快速體驗(yàn)，可以使用這里提供的 WebAssembly 版本：

• https://dbrll.github.io/ll-34/。

SIMH 也可以使用，但它模擬的是 PDP-11 的高層行為（而非電路級(jí)），并以宿主機(jī) CPU 的速度運(yùn)行。雖然可以通過(guò)人為方式降低速度，但其時(shí)序并非周期級(jí)精確，因此不太適合用于性能調(diào)優(yōu)或還原真實(shí)體驗(yàn)。

大家詳細(xì)了解該項(xiàng)目后有何感想，可以在評(píng)論區(qū)留言交流！

https://github.com/dbrll/ATTN-11?tab=readme-ov-file#attn11---paper-tape-is-all-you-need

https://news.ycombinator.com/item?id=47518568