先岔開(kāi)個(gè)題外話，我有個(gè)朋友叫鍇杰，顏值在線，在樂(lè)團(tuán)當(dāng)過(guò)首席

在線應(yīng)援(bushi

對(duì)于鍇杰，我一直覺(jué)得
偶像前景>技術(shù)品味>產(chǎn)品塑造

他有個(gè)產(chǎn)品叫馬卡龍，但本文和這個(gè)無(wú)關(guān)
上個(gè)月鍇杰來(lái)酒吧，跟我說(shuō)：
做產(chǎn)品的過(guò)程中，他們有一些技術(shù)上的發(fā)現(xiàn)，然后成立了一個(gè) Lab

這對(duì)于鍇杰來(lái)說(shuō)，我覺(jué)得，比單純做產(chǎn)品靠譜多了

現(xiàn)在，Mind Lab 正式成立，并交出了第一份答卷

• ? 萬(wàn)億參數(shù) LoRA 強(qiáng)化學(xué)習(xí)

• ? GPU 消耗砍掉 90%

• ? 記憶算法 SOTA

現(xiàn)在他不但搞了產(chǎn)品，還搞了技術(shù)，很好
偶像之路，再緩緩吧

https://macaron.im/mindlab 預(yù)訓(xùn)練結(jié)束了

Richard Sutton 是 DeepMind 首席科學(xué)家，強(qiáng)化學(xué)習(xí)之父
他今年有個(gè)判斷：預(yù)訓(xùn)練時(shí)代結(jié)束了

互聯(lián)網(wǎng)數(shù)據(jù)總共就 14T 左右，該訓(xùn)的都訓(xùn)過(guò)了
那接下來(lái)怎么繼續(xù)提升模型智能？
Sutton 給的方向叫Era of Experience
翻譯過(guò)來(lái)就是「經(jīng)驗(yàn)智能」

核心思路是這樣：
把模型放進(jìn)真實(shí)產(chǎn)品里，基于用戶真實(shí)反饋，持續(xù)訓(xùn)練訓(xùn)練
讓模型，在產(chǎn)品里一直訓(xùn)、一直長(zhǎng)

Era of Experience

...等等，鍇杰跟我講這些的時(shí)候
我突然想到了之前的另一個(gè)產(chǎn)品
Hitem 為了訓(xùn)練 3D 模型，專門建立了個(gè)工廠，也是這個(gè)理由

Mind Lab 做了個(gè)實(shí)驗(yàn)，恰好也驗(yàn)證這件事：
真實(shí)反饋數(shù)據(jù)流訓(xùn)練的模型，智能提升效果遠(yuǎn)比用固定 reward 訓(xùn)練的好

流式 Reward vs 固定 Reward 效果對(duì)比

順道說(shuō)一下，這里有個(gè)概念上的區(qū)分

預(yù)訓(xùn)練造的是 Brain——大腦
大腦是靜態(tài)的，訓(xùn)完就定型了，記住了互聯(lián)網(wǎng)上的海量知識(shí)，但不會(huì)再進(jìn)化

強(qiáng)化學(xué)習(xí)造的是 Mind——心智
心智會(huì)在環(huán)境中不斷進(jìn)化，能從反饋中學(xué)習(xí)，能動(dòng)態(tài)調(diào)整行為

這是 Mind Lab 名字的由來(lái)

Mind Lab 在干啥

鍇杰他們，在技術(shù)上做了兩件事

第一件：萬(wàn)億參數(shù) LoRA 強(qiáng)化學(xué)習(xí)

在萬(wàn)億參數(shù)模型上跑全參數(shù)強(qiáng)化學(xué)習(xí)，算力太貴，絕大多數(shù)團(tuán)隊(duì)玩不起

Mind Lab 的解法是用 LoRA

LoRA 的意思是：不動(dòng)整個(gè)大模型，只取出大約 0.5% 的核心參數(shù)來(lái)訓(xùn)練

效果基本不打折，成本砍到十分之一

他們?cè)?Kimi K2 上驗(yàn)證了這套方案：
64 張 H800 搞定萬(wàn)億參數(shù)模型的強(qiáng)化學(xué)習(xí)

訓(xùn)練曲線，穩(wěn)定收斂

這套方案，已經(jīng)合并到 NVIDIA Megatron-Bridge 和字節(jié) seed verl，代碼開(kāi)源

鍇杰跟我說(shuō)，目前全球做這個(gè)方向的，只有兩家
Thinking Machine 和 Mind Lab

第二件：Memory Diffusion

這是一個(gè)記憶算法，我很喜歡

傳統(tǒng)模型想要保存更多的東西，要么每輪對(duì)話總結(jié)記憶（開(kāi)銷大、細(xì)節(jié)丟失），要么存數(shù)據(jù)庫(kù)檢索（容易丟上下文）

Mind Lab 的思路很有意思，它是把對(duì)話軌跡本身當(dāng)記憶
通過(guò)「遮蔽-分配-重填」三步動(dòng)態(tài)壓縮

• ? 選一塊遮掉

• ? 根據(jù)重要性分配 token 預(yù)算

• ? 在預(yù)算約束下重新生成

靈感來(lái)自人類的遺忘機(jī)制：
比如...在開(kāi)車的時(shí)候，你會(huì)忘掉路過(guò)的廣告牌，只記住目的地

這套東西，在 Locomo 基準(zhǔn)上達(dá)到 93% 準(zhǔn)確率，SOTA

一個(gè)有意思的發(fā)現(xiàn)

Mind Lab 做了個(gè)對(duì)照實(shí)驗(yàn)

三個(gè)模型，控制總計(jì)算量一致，來(lái)做個(gè)訓(xùn)練對(duì)比

• ?1.5B 全參數(shù)訓(xùn)練

• ?7B LoRA 訓(xùn)練

• ?32B LoRA 訓(xùn)練

結(jié)論是32B + LoRA 效果最好

模型

可訓(xùn)練參數(shù)

效果提升

1.5B 全參數(shù)

1.5B

8.33%

7B LoRA

0.16B

11.31%

32B LoRA

0.07B

20.61%

為什么？
因?yàn)閺?qiáng)化學(xué)習(xí)本質(zhì)上是「先驗(yàn)受限」的
如果基座模型本身生成不出高質(zhì)量軌跡，強(qiáng)化學(xué)習(xí)就沒(méi)什么有用的信號(hào)可以放大

大模型已經(jīng)編碼了豐富的推理模式，強(qiáng)化學(xué)習(xí)在這些基礎(chǔ)上精修，比從頭造輪子效率高得多

大先驗(yàn) + 小 LoRA，比小模型全參數(shù)訓(xùn)練更劃算

還挺有意思的

產(chǎn)品是天然的 RL 環(huán)境

和鍇杰認(rèn)識(shí)很久了，也一直很喜歡他的技術(shù)品味
但即便是這樣，我依然會(huì)有一個(gè)問(wèn)題
這樣的技術(shù)，為什么是來(lái)自產(chǎn)品團(tuán)隊(duì)？

得到了這樣的回答
產(chǎn)品本身，就是最好的強(qiáng)化學(xué)習(xí)環(huán)境

這里說(shuō)個(gè)很有趣的事實(shí)
Cursor 的估值，能買下國(guó)內(nèi)所有的大模型創(chuàng)業(yè)公司

Cursor 最新一輪融資

Cursor 值錢，在于它有最多的真實(shí)用戶數(shù)據(jù)
用戶用 Cursor 寫代碼，接受或拒絕建議，編輯或刪除生成內(nèi)容，這些全是訓(xùn)練信號(hào)

作為對(duì)比，X.AI 有很多算力、很多優(yōu)秀研究員，但模型提升速度不夠快
為什么？沒(méi)有真實(shí)產(chǎn)品環(huán)境，獎(jiǎng)勵(lì)函數(shù)沒(méi)法持續(xù)進(jìn)化

Mind Lab 的邏輯也是這樣
研究給產(chǎn)品帶來(lái)體驗(yàn)升級(jí)（比如生成速度從 20 分鐘到 2 分鐘），產(chǎn)品給研究帶來(lái)真實(shí)數(shù)據(jù)，這些是互相增強(qiáng)的

示意圖

預(yù)訓(xùn)練時(shí)代，贏家是數(shù)據(jù)多的
經(jīng)驗(yàn)智能時(shí)代，贏家會(huì)是產(chǎn)品好的

最后

Ilya 說(shuō)過(guò)：
預(yù)訓(xùn)練時(shí)代正在走向終結(jié)

那下一個(gè)時(shí)代是什么？
可能是「經(jīng)驗(yàn)智能」，也或者不是

但正如我們所體驗(yàn)的，
大腦在真實(shí)世界中，產(chǎn)生的心智會(huì)不斷進(jìn)化
AI 或許也會(huì)遵循，在人類的世界中不斷進(jìn)化

至于鍇杰，他準(zhǔn)備啥時(shí)候開(kāi)啟偶像之路》

我覺(jué)得...可能得等他先把心智這件事搞明白

Lab 主頁(yè)
https://macaron.im/mindlab

合并PR
https://github.com/volcengine/verl/pull/4063
https://github.com/NVIDIA-NeMo/Megatron-Bridge/pull/1310