【本文翻譯自nearlyright.com】

還記得那條人人遵守的“機(jī)器學(xué)習(xí)鐵律”嗎？模型太大必然過(guò)擬合，只會(huì)死記硬背、學(xué)不到東西。這不是傳說(shuō)，而是寫(xiě)進(jìn)教科書(shū)的定律——三個(gè)世紀(jì)以來(lái)的統(tǒng)計(jì)理論都這么說(shuō)。

直到有一天，這條“神圣不可侵犯”的規(guī)則被打破了。

現(xiàn)在，擁有數(shù)千億甚至數(shù)萬(wàn)億參數(shù)的神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)著 ChatGPT，破解蛋白質(zhì)結(jié)構(gòu)，還引發(fā)了一場(chǎng)高達(dá)數(shù)千億美元的全球 AI 軍備競(jìng)賽。而真正發(fā)生轉(zhuǎn)變的，不只是算力，而是我們對(duì)“學(xué)習(xí)本質(zhì)”的重新理解。

這個(gè)故事揭示了一項(xiàng)劃時(shí)代的 AI 突破，它的誕生源自一群敢于挑戰(zhàn)領(lǐng)域基礎(chǔ)假設(shè)的“異端”。

300 年的偏差-方差法則，是怎么倒下的

在很長(zhǎng)一段時(shí)間里，偏差-方差權(quán)衡（bias-variance tradeoff）被視為學(xué)習(xí)理論的基石：模型太簡(jiǎn)單，看不到重點(diǎn)；模型太復(fù)雜，記住的只是噪聲。

想象一個(gè)小學(xué)生在學(xué)加法。他有兩個(gè)選擇：要么理解進(jìn)位規(guī)則和位值原理，要么死記硬背所有題目和答案。后者在做作業(yè)時(shí)可能無(wú)懈可擊，但一到考試就全軍覆沒(méi)。

傳統(tǒng)理論認(rèn)為，神經(jīng)網(wǎng)絡(luò)尤其容易“走歪路”。參數(shù)越多，越容易記住全部訓(xùn)練數(shù)據(jù)而無(wú)法泛化。于是學(xué)術(shù)界的共識(shí)變成了：模型要小巧精致，結(jié)構(gòu)要嚴(yán)控，正則化必須到位。誰(shuí)要是提出“加點(diǎn)參數(shù)”來(lái)解決問(wèn)題，簡(jiǎn)直是學(xué)術(shù)異端。

異端的反叛，撞出了“雙重下降”

但就在 2019 年，一群研究者反其道而行之。他們不僅不在模型“剛好”學(xué)會(huì)時(shí)停下，反而繼續(xù)擴(kuò)大規(guī)模，一路沖向“理論高危區(qū)”。

結(jié)果呢？模型不僅沒(méi)崩塌，反而“第二次變強(qiáng)”。

這一現(xiàn)象被稱(chēng)為“double descent”（雙重下降）：模型先是如理論所預(yù)言地過(guò)擬合，誤差上升，但接著神奇地誤差又開(kāi)始下降，仿佛它穿越了過(guò)擬合的深淵，達(dá)到了新境界。提出者 Mikhail Belkin 等人坦言，這與經(jīng)典偏差-方差理論“背道而馳”。

OpenAI 后續(xù)的研究顯示，這種好處不止出現(xiàn)在一個(gè)模型里，而是普遍存在于不同任務(wù)和規(guī)模上。大模型不僅學(xué)得多，還開(kāi)始具備“舉一反三”的能力——只看幾個(gè)例子就能學(xué)會(huì)一項(xiàng)新任務(wù)。

從那一刻起，整個(gè)行業(yè)徹底掉頭：Google、Microsoft、Meta、OpenAI 紛紛豪擲數(shù)十億美元，一路堆參數(shù)。GPT 模型從 1.17 億擴(kuò)張到 1750 億?！澳Ｐ驮酱笤胶谩睆奈羧盏男φ劊兂山裉斓男袠I(yè)信條。

但問(wèn)題來(lái)了：這一切，為什么行得通？

“彩票假說(shuō)”：為什么大模型反而學(xué)得更好

謎底來(lái)自 MIT 的 Jonathan Frankle 和 Michael Carbin。他們研究的是“剪枝”技術(shù)——也就是在訓(xùn)練之后刪掉那些沒(méi)用的權(quán)重。沒(méi)想到，他們發(fā)現(xiàn)了大模型的秘密。

他們發(fā)現(xiàn)，每一個(gè)大模型中都藏著一個(gè)“中獎(jiǎng)小模型”（winning ticket）——一小部分神經(jīng)元構(gòu)成的子網(wǎng)絡(luò)，性能可以媲美整個(gè)大模型。他們甚至能刪掉 96% 的參數(shù)而不損失精度。換句話(huà)說(shuō)，大多數(shù)參數(shù)根本沒(méi)用。

關(guān)鍵在于，這些“中獎(jiǎng)票”只有在初始隨機(jī)權(quán)重保持不變時(shí)才有效。一旦你換了初始化方式，即便保留架構(gòu)，也會(huì)一敗涂地。

于是，“l(fā)ottery ticket hypothesis”（彩票假說(shuō)）誕生了：大模型不是靠復(fù)雜解取勝，而是靠參數(shù)數(shù)量帶來(lái)的機(jī)會(huì)空間。每一個(gè)子網(wǎng)絡(luò)就是一張彩票，大部分注定落空，但參數(shù)足夠多，總有一張是贏家。

整個(gè)訓(xùn)練過(guò)程，就是一場(chǎng)規(guī)?？涨暗牟势背楠?jiǎng)：模型里已有成千上萬(wàn)個(gè)不同起點(diǎn)的小網(wǎng)絡(luò)，訓(xùn)練過(guò)程挑出那張“天選之票”，其余統(tǒng)統(tǒng)淘汰。

這個(gè)觀點(diǎn)讓傳統(tǒng)學(xué)習(xí)理論與實(shí)踐奇跡和解了：大模型之所以有效，不是因?yàn)樗`反了規(guī)則，而是它在一個(gè)我們?cè)緵](méi)意識(shí)到的層次上“玩轉(zhuǎn)了規(guī)則”。奧卡姆剃刀依然成立——最簡(jiǎn)單的解釋才是最優(yōu)的。規(guī)模只是為了更高效地找到這些簡(jiǎn)單解。

重新定義“智能”

如果“學(xué)習(xí)”就是在廣袤的可能空間中尋找最優(yōu)雅的解釋?zhuān)恰爸悄堋北旧硪簿涂梢员恢匦露x了。

人腦有 860 億個(gè)神經(jīng)元、萬(wàn)億級(jí)連接，怎么看都是“過(guò)擬合怪獸”。但我們卻能憑幾個(gè)例子學(xué)會(huì)一個(gè)全新概念，并推而廣之。彩票假說(shuō)指出，人腦的這種“冗余”正是為了讓你有更高的幾率抽中那個(gè)最簡(jiǎn)潔的解法。

智能，不是記住所有答案，而是發(fā)現(xiàn)規(guī)律的能力。大規(guī)模參數(shù)帶來(lái)的不是儲(chǔ)存空間，而是搜索空間。

科學(xué)進(jìn)步的本質(zhì)：敢于懷疑“看似永恒”的法則

這場(chǎng)關(guān)于神經(jīng)網(wǎng)絡(luò)的發(fā)現(xiàn)，也提供了科學(xué)哲學(xué)上的啟發(fā)：我們很多時(shí)候不是在推翻原理，而是在揭示它們運(yùn)行得比我們以為的更深、更復(fù)雜。

想想大陸漂移，最初被視為荒唐，直到板塊構(gòu)造解釋一切；量子力學(xué)看似不合常理，直到實(shí)驗(yàn)證明一切真實(shí)存在。最深刻的進(jìn)展，往往始于“敢于嘗試看起來(lái)不應(yīng)該成功的事”。

彩票假說(shuō)也沒(méi)有推翻傳統(tǒng)學(xué)習(xí)理論，而是賦予它新的維度。偏差-方差權(quán)衡還在，只是我們現(xiàn)在知道，它是在更高維度上發(fā)生作用。

這也意味著，當(dāng)前的“大模型路線(xiàn)”是有效的，但也不是無(wú)限擴(kuò)展的萬(wàn)能鑰匙。越往后，抽中大獎(jiǎng)的邊際收益越小。像 Yann LeCun 這樣的大牛也提醒我們，僅靠規(guī)模，語(yǔ)言模型也許永遠(yuǎn)無(wú)法真正理解人類(lèi)語(yǔ)言，因?yàn)樗鼈內(nèi)狈Ω拘缘募軜?gòu)突破。

AI 革命的真相：原來(lái)最重要的不是算力，而是懷疑精神

AI 的這次進(jìn)化，不只是一次技術(shù)飛躍，更是一次思想解放。

真正帶來(lái)改變的，是那群“明知不可為而為之”的研究者。他們挑戰(zhàn)了教科書(shū)、質(zhì)疑了公理，最終發(fā)現(xiàn)：所謂的規(guī)則，其實(shí)并沒(méi)有錯(cuò)，只是它們的運(yùn)行方式遠(yuǎn)比我們?cè)O(shè)想得更優(yōu)雅、更復(fù)雜。

在這個(gè)構(gòu)建于數(shù)學(xué)確定性的學(xué)科里，最重要的突破，卻來(lái)自于對(duì)“未知”的勇敢擁抱。

【注：】

盡管“偏差-方差權(quán)衡”這一術(shù)語(yǔ)直到 20 世紀(jì)后半葉才逐漸標(biāo)準(zhǔn)化，但它背后的數(shù)學(xué)思想，早在18 世紀(jì)就已萌芽。1763 年，Bayes 定理為后來(lái)的統(tǒng)計(jì)推理奠定了基礎(chǔ)，使我們能夠用數(shù)據(jù)來(lái)更新信念；而Laplace在 1780 年代至 1810 年代之間的研究，則首次明確提出：模型若過(guò)于復(fù)雜，容易捕捉噪聲而非信號(hào)——必須在擬合度與簡(jiǎn)潔性之間保持平衡。

這一思想，正是現(xiàn)代“偏差-方差權(quán)衡”原則的雛形。從那個(gè)時(shí)代開(kāi)始，統(tǒng)計(jì)學(xué)就逐漸形成了這樣一種哲學(xué)：最好的模型不是記住所有細(xì)節(jié)，而是用最簡(jiǎn)潔的方式解釋世界。

也就是說(shuō)，當(dāng) AI 研究人員在 2019 年挑戰(zhàn)“模型越大越糟”的共識(shí)時(shí)，他們不是在反對(duì)幾百年來(lái)的統(tǒng)計(jì)智慧，而是在揭示這些原則在更復(fù)雜系統(tǒng)中依舊成立，只是以更微妙的方式運(yùn)行。

本文由「AI 范兒」出品

我每天都在更新，如果你覺(jué)得這些內(nèi)容對(duì)你有用，

那我們就加個(gè)關(guān)注、交個(gè)朋友。