你知道大模型是怎么工作的，但讓你從零寫一個(gè)，從哪行代碼開始？

GitHub上有個(gè)叫"LLM From Scratch"的免費(fèi)課程，名字直白到像詐騙——但它確實(shí)教你從空白文件開始，一步步搭出一個(gè)能跑在筆記本上的AI。沒有調(diào)用API，沒有現(xiàn)成的框架，每一行代碼自己寫。

課程分五部分，路徑很清晰。第一部分講分詞（tokenization），從字符級(jí)編碼入手，解釋為什么小數(shù)據(jù)量下BPE算法會(huì)失效。第二部分進(jìn)入Transformer架構(gòu)，把嵌入層、自注意力、層歸一化、MLP模塊逐個(gè)實(shí)現(xiàn)。第三部分是訓(xùn)練循環(huán)，包括損失函數(shù)、AdamW優(yōu)化器、梯度裁剪和學(xué)習(xí)率調(diào)度。第四部分講文本生成，涉及溫度采樣、top-k篩選、自回歸解碼。最后一部分整合起來，用真實(shí)數(shù)據(jù)訓(xùn)練，觀察損失曲線，做擴(kuò)展實(shí)驗(yàn)，目標(biāo)是訓(xùn)練出一個(gè)"最佳AI詩人"。

這個(gè)課程的定位很明確：不是讓你挑戰(zhàn)ChatGPT或Gemini，而是讓愛好者理解底層機(jī)制。最終模型能在筆記本上運(yùn)行，訓(xùn)練數(shù)據(jù)是詩歌集。Hackaday發(fā)現(xiàn)這個(gè)項(xiàng)目時(shí)，強(qiáng)調(diào)的正是這種"從無到有"的完整體驗(yàn)——很多人用過LLM，但沒見過數(shù)據(jù)怎么變成參數(shù)、參數(shù)怎么變成下一個(gè)token的概率分布。

課程作者把全部材料開源在GitHub頁面，包括靈感來源和每一步的預(yù)期成果。對(duì)于想深入理解而非僅會(huì)調(diào)用的開發(fā)者，這種手搓過程的價(jià)值在于暴露所有中間狀態(tài)：token怎么編碼、注意力權(quán)重長什么樣、損失下降是否平滑。這些在調(diào)用現(xiàn)成模型時(shí)都是黑箱。

本地運(yùn)行小模型的場(chǎng)景正在變多。有人在斷網(wǎng)環(huán)境用本地LLM處理敏感文檔，有人把微調(diào)后的模型嵌入硬件項(xiàng)目。這個(gè)課程提供的不是即戰(zhàn)力，而是拆解復(fù)雜系統(tǒng)的能力——當(dāng)你需要優(yōu)化延遲、壓縮模型或調(diào)試幻覺時(shí)，知道內(nèi)部結(jié)構(gòu)比知道API參數(shù)更重要。