哈嘍，大家好，今天就帶大家揭秘大模型的“成長密碼”——從只會“猜單詞”的“書呆子”到懂你心意的“智能伙伴”，它到底經(jīng)歷了怎樣的雙重訓(xùn)練？

但很少有人知道，這些“數(shù)字大腦”并非天生智能，而是像人類成長一樣，經(jīng)歷了“基礎(chǔ)教育”與“社會打磨”兩大階段。

從海量數(shù)據(jù)中“學(xué)知識”，到在人類引導(dǎo)下“守規(guī)矩”，大模型的訓(xùn)練過程藏著AI能力的核心密碼。

數(shù)據(jù)海洋里的“知識打底”

如果說大模型的成長是蓋房子，預(yù)訓(xùn)練就是筑牢地基。

這一階段的核心，是讓模型在海量數(shù)據(jù)中“博聞強(qiáng)識”，建立對語言規(guī)律的直覺。與傳統(tǒng)認(rèn)知不同，現(xiàn)代大模型的預(yù)訓(xùn)練早已超越單純的“預(yù)測下一個詞”，而是構(gòu)建多維度知識體系。

訓(xùn)練數(shù)據(jù)的規(guī)模和質(zhì)量直接決定模型的基礎(chǔ)能力。

據(jù)人民論壇網(wǎng)發(fā)布的研究顯示，大模型“涌現(xiàn)能力”的出現(xiàn)，必須以足夠量級的訓(xùn)練數(shù)據(jù)為前提，當(dāng)模型參數(shù)達(dá)到千億級、訓(xùn)練數(shù)據(jù)突破萬億token時，就會出現(xiàn)類似“開竅”的質(zhì)變，比如GPT-3在未專門訓(xùn)練的情況下，突然具備兩位數(shù)乘法能力。

一本正經(jīng)地編造虛假信息。更值得關(guān)注的是，若訓(xùn)練數(shù)據(jù)存在偏見，模型還會復(fù)刻這些問題。

預(yù)訓(xùn)練后的模型就像“滿腹經(jīng)綸卻不懂社交的書呆子”，表達(dá)生硬、邏輯跳躍，甚至無法識別敏感問題。

人類引導(dǎo)下的“行為校準(zhǔn)”

預(yù)訓(xùn)練結(jié)束后，模型雖具備基礎(chǔ)能力，卻難以直接服務(wù)人類。

后訓(xùn)練階段的核心，是通過技術(shù)手段與人類反饋，讓模型“學(xué)會說人話、守規(guī)矩”，這也是大模型從“工具”到“伙伴”的關(guān)鍵一躍。

后訓(xùn)練的核心技術(shù)是RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)），這一技術(shù)被ChatGPT成功應(yīng)用并普及。

光明網(wǎng)報(bào)道顯示RLHF分為三個步驟：首先由人類訓(xùn)練師扮演用戶與AI，生成高質(zhì)量對話樣本進(jìn)行監(jiān)督微調(diào)。

再由訓(xùn)練師對模型的多個回復(fù)打分，訓(xùn)練獎勵模型，最后用強(qiáng)化學(xué)習(xí)算法讓模型持續(xù)優(yōu)化，貼合人類偏好。

訓(xùn)練師在這一階段扮演著“AI導(dǎo)師”的關(guān)鍵角色。隨著大模型產(chǎn)業(yè)爆發(fā)，人工智能訓(xùn)練師成為熱門職業(yè)，招聘需求同比增長56%，薪資區(qū)間在6000-19000元，畢業(yè)生簡歷常被企業(yè)“秒搶”。

他們的工作遠(yuǎn)比“標(biāo)注數(shù)據(jù)”復(fù)雜，在醫(yī)療領(lǐng)域，高年資醫(yī)生需親自標(biāo)注病理切片數(shù)據(jù)，避免模型誤診。

在客服場景，訓(xùn)練師要輸入上千條相似問句，讓模型精準(zhǔn)理解用戶需求。

在倫理層面，還要通過標(biāo)注敏感內(nèi)容、設(shè)定拒答規(guī)則，引導(dǎo)模型樹立正確價值觀。

算力與語料的雙重保障

大模型的訓(xùn)練之路，離不開算力與語料的硬核支撐。

算力方面大模型訓(xùn)練堪稱“電力巨獸”。OECD與IEEE聯(lián)合報(bào)告顯示，GPT-4單次訓(xùn)練耗電達(dá)2.4億千瓦時，相當(dāng)于3000戶家庭一年的用電量，而推理階段的能耗更是訓(xùn)練階段的10倍。