剛剛，Andrej Karpathy發(fā)布了一個新的項目：nanochat。

與之前只覆蓋預訓練的nanoGPT不同，nanochat是一個從頭開始、代碼極簡的全棧式ChatGPT克隆體訓練/推理流水線。它被集成在一個單一、依賴極少的代碼庫中

Karpathy表示，用戶只需啟動一個云端GPU機器，運行一個腳本，最快4小時后，就能在類似ChatGPT的網(wǎng)頁界面中與自己訓練的LLM對話

整個項目代碼量約8000行，覆蓋了以下完整流程：

訓練分詞器：使用新的Rust實現(xiàn)

預訓練：在FineWeb上預訓練一個Transformer LLM，并根據(jù)多項指標評估CORE分數(shù)

中間訓練：在來自SmolTalk的用戶-助手對話、多項選擇題和工具使用數(shù)據(jù)上進行訓練

SFT（監(jiān)督微調(diào)）：在世界知識選擇題（ARC-E/C, MMLU）、數(shù)學（GSM8K）和代碼（HumanEval）上對聊天模型進行微調(diào)和評估

RL（強化學習）：可選地使用“GRPO”在GSM8K上對模型進行強化學習

高效推理：在帶有KV緩存的引擎中進行高效推理，支持簡單的prefill/decode和工具使用（在輕量級沙箱中調(diào)用Python解釋器），并可通過命令行或類似ChatGPT的WebUI進行交互

生成報告卡：撰寫一份markdown格式的報告卡，對整個過程進行總結和游戲化呈現(xiàn)

成本與性能

Karpathy詳細介紹了不同投入下的模型表現(xiàn)：

約100美元成本（在8xH100節(jié)點上訓練約4小時）：可以訓練出一個能進行簡單對話、寫故事/詩歌、回答簡單問題的小ChatGPT克隆體

約12小時訓練：CORE指標超過GPT-2

更高投入，約1000美元成本（約41.6小時訓練）：模型會變得更加連貫，能夠解決簡單的數(shù)學和代碼問題，并參加多項選擇題測試

例如，一個深度為30、訓練24小時的模型（其FLOPs約等于GPT-3 Small 125M，是GPT-3的1/1000），在MMLU測試上得分40多分，ARC-Easy上70多分，GSM8K上20多分

Karpathy的目標是將完整的強基線技術棧整合到一個有凝聚力、最小化、可讀、可破解、最大程度可fork的倉庫中。nanochat也將成為他仍在開發(fā)的LLM101n課程的頂點項目。他認為，這個項目有潛力發(fā)展成為一個研究工具或基準，就像之前的nanoGPT一樣

他也坦言，項目遠未完成、調(diào)優(yōu)或優(yōu)化，可能還有很多容易優(yōu)化的部分，但目前的整體框架已經(jīng)足夠好，可以發(fā)布到GitHub上，讓社區(qū)共同改進。

GitHub倉庫地址：

https://github.com/karpathy/nanochat

更詳細的技術介紹：

https://github.com/karpathy/nanochat/discussions/1

技術細節(jié)與問答

在發(fā)布后，Karpathy也回答了網(wǎng)友們關心的一些問題。

問：這個模型訓練的架構是什么？

Karpathy：基本上類似Llama，但更簡單一些，也受到一些修改版nanoGPT的影響。我試圖為這個規(guī)模找到一個堅實的基線：

密集Transformer

旋轉嵌入（RoPE），無位置嵌入

QK Norm

Embedding和Unembedding權重不綁定

Token embedding后接Norm

MLP中使用relu^2激活函數(shù)

RMSNorm中無可學習參數(shù)

線性層中無偏置項

多查詢注意力（MQA）

Logit softcap

優(yōu)化器是Muon+AdamW，深受修改版nanoGPT的影響。我有一個TODO是嘗試很好地調(diào)整Adam的學習率（例如按模塊調(diào)整）以移除Muon，但我還沒有足夠努力地去嘗試。

問：我可以用它來訓練我自己的數(shù)據(jù)嗎？比如我所有的Notion筆記、健康數(shù)據(jù)和其他LLM聊天記錄，來做一個理解我的個人聊天機器人？

Karpathy：好問題。我認為這個倉庫不適合做這件事。你應該把這些微型模型更多地看作是非常年幼的孩子（比如幼兒園水平），它們不具備那些更大模型的原始智能。如果你用自己的數(shù)據(jù)對它進行微調(diào)/訓練，你可能會得到一些有趣的模仿，風格上感覺像你的寫作，但內(nèi)容會很糟糕。

要實現(xiàn)你想要的效果，你需要更復雜的流程：

1.獲取你的原始數(shù)據(jù)。
2.在其之上進行大量的合成數(shù)據(jù)生成和重寫（這很棘手，不簡單，屬于研究范疇）。
3.在一個最先進的開源LLM上進行微調(diào)。
4.你可能還需要混合大量的預訓練數(shù)據(jù)，以避免在微調(diào)過程中損失過多的原始智能。

基本上，要讓這個工作得很好，仍然是研究領域的范疇，并不簡單。你最好的非研究選擇是，把你的所有寫作內(nèi)容交給像NotebookLM這樣的工具，它會通過RAG（檢索增強生成）來處理你的數(shù)據(jù)。你的數(shù)據(jù)通過RAG進入上下文窗口，但不會影響模型權重。所以模型并不真正“了解你”，但這可能是你最容易接近的效果。

問：這些代碼有多少是你手寫的？

Karpathy：好問題，基本上完全是手寫的（配合Tab自動補全）。我試過幾次使用Claude/Codex的AI智能體，但它們的效果根本不夠好，最終沒什么幫助，可能是因為這個倉庫偏離了它們的數(shù)據(jù)分布太遠