大模型從“學(xué)認字”到“學(xué)做人類偏好”的成長之路，是如何一步步訓(xùn)練出來的？本文帶你了解從預(yù)訓(xùn)練到后訓(xùn)練的全過程，以及訓(xùn)練師在其中的關(guān)鍵作用。

———— / BEGIN / ————

隨著大模型逐漸走進每個人的生活，我們似乎已經(jīng)習(xí)慣了和它對話、讓它寫作、讓它總結(jié)資料。

但絕大多數(shù)人不知道的是：這些 AI 并不是突然擁有智能的。

它從最初只會“猜單詞”的階段，通過一層層訓(xùn)練和優(yōu)化，最終變成能陪你聊天、能寫代碼、能提建議的數(shù)字伙伴。

如果把 AI 比作一個孩子，那么大模型的訓(xùn)練，就是一條從“學(xué)認字”到“學(xué)表達”，再到“學(xué)做人類偏好”的成長路徑。

為了讓你在一篇文章里徹底搞懂大模型到底是怎么訓(xùn)練出來的，我們從最底層的預(yù)訓(xùn)練講起，再到后訓(xùn)練、微調(diào)的項目流程。

你不需要任何算法背景，只需要像看故事一樣閱讀就好。

預(yù)訓(xùn)練：讓模型擁有“語言直覺”的大工程

如果你把模型想象成一個人，那么預(yù)訓(xùn)練階段就像把他扔進一個巨大圖書館，讓他從小讀到大，不停讀到吐。這些“書”包含：

• 網(wǎng)站文章

• 小說

• 論文

• 新聞

• 代碼

• 百科知識

• 各類專業(yè)文本

預(yù)訓(xùn)練的核心任務(wù)只有一個——預(yù)測下一個詞。

但別看任務(wù)簡單，讀的量足夠大，它會逐漸建立語言規(guī)律的直覺。例如：

“今天我想喝一杯——”模型能猜出“奶茶”、“咖啡”、“水”，并懂得選擇哪個更自然。

這是大模型的底層能力來源，也是在這個階段產(chǎn)生了我們常說的參數(shù)（parameters）。參數(shù)就像模型的大腦神經(jīng)連接，越多代表模型越“聰明”。而聰明到一定程度，會出現(xiàn)一種特別神奇的現(xiàn)象——涌現(xiàn)能力（Emergent Abilities）。

所謂“涌現(xiàn)”，就好像平時成績一般的學(xué)生突然某天開竅，數(shù)學(xué)題全都會做了。并不是他被教了什么，而是知識積累到了某個閾值，能力自己“跳”出來。

但預(yù)訓(xùn)練也有它的問題。因為它只是從海量文本中學(xué)語言，所以非常容易產(chǎn)生幻覺（Hallucination）——就是一本正經(jīng)地胡說八道。它并不知道什么是真的，只是覺得“這個詞接下來應(yīng)該出現(xiàn)”。

這就是為什么預(yù)訓(xùn)練只是“基礎(chǔ)教育”，還遠遠不能讓模型安全可靠地用在產(chǎn)品里。

后訓(xùn)練：把聰明的模型，訓(xùn)練成“會說話的模型”

預(yù)訓(xùn)練結(jié)束后，我們得到一個能力驚人但“不太會說人話”的大模型。它的表達可能生硬、邏輯跳躍、容易胡說，甚至無法分辨是否該拒答敏感問題。

所以接下來，我們必須對它進行第二階段的打磨，也就是所謂的后訓(xùn)練（Post-training）。

后訓(xùn)練的目標很明確：

• 修正模型亂回答的傾向

• 學(xué)會理解指令

• 學(xué)會拒絕危險內(nèi)容

• 學(xué)會用人類能接受的方式表達

• 讓它的回答更貼近實際應(yīng)用

• 讓它“像個聊天對象”而不是只會猜詞的機器人

如果說預(yù)訓(xùn)練是“知識儲備”，那后訓(xùn)練就是“行為矯正”＋“社交訓(xùn)練”。

這是大模型進化的關(guān)鍵一步，讓它從一個“讀書機器”變成真正能跟人類互動的智能體。

為什么訓(xùn)練師的工作如此重要？

許多人誤以為大模型全部都是算法搞出來的。實際上，算法只是“搭框架”，真正讓模型“像人”的，是在后訓(xùn)練階段由訓(xùn)練師、標注者和數(shù)據(jù)團隊共同完成的細致工作。

訓(xùn)練師在這里扮演了極重要的角色：

• 決定模型應(yīng)該如何回答問題

• 決定什么是“好的回答”

• 決定什么內(nèi)容需要拒答

• 決定什么樣的數(shù)據(jù)能進入模型

• 決定模型最終的“對話風(fēng)格”

換句話說，一個模型是不是“冷冰冰”、是不是“啰嗦”、是不是“愛瞎編”、是不是“溫柔有耐心”，都與訓(xùn)練師的工作息息相關(guān)。

你現(xiàn)在之所以覺得 GPT、Gemini、Claude“感覺不一樣”，很大部分不是模型結(jié)構(gòu)不同，而是訓(xùn)練團隊提供的數(shù)據(jù)風(fēng)格不同。

大模型是被“養(yǎng)”出來的，不是憑空長出的

我們常說 AI 是“擬人化”的，它懂語言、懂指令，甚至懂情緒。但你現(xiàn)在應(yīng)該明白，這一切能力都不是天生的，而是通過：

• 海量文本堆起來的預(yù)訓(xùn)練（基礎(chǔ)認知）

• 大量人工示范與規(guī)則構(gòu)建的后訓(xùn)練（能力矯正）

才變成今天你能看到的樣子。

相比算法的復(fù)雜，我更希望你記住一句話：

AI 不是自然智能，而是人類智能的放大結(jié)果。它會什么、不會什么，都是我們教出來的。

本文來自作者：青藍色的海

2025AI產(chǎn)品大會，將于12月20-21日在深圳開幕！

聚焦“AI+行業(yè)”的落地實踐，分享AI在物流、音視頻、內(nèi)容、數(shù)字化、工業(yè)制造、大數(shù)據(jù)、協(xié)同辦公、出海、具身智能、智能硬件等等領(lǐng)域的具體案例。