2017年6月，谷歌的8位AI研究員發(fā)表了一篇名為《Attention Is All You Need》的論文，提出了Transformer架構(gòu)。

Transformer就是ChatGPT里的“T”，大公司的大模型、各種各樣的AI Agent、自動(dòng)駕駛的算法、幾乎所有人工智能的創(chuàng)造，底座都是Transformer。

不夸張地說(shuō)，Transformer誕生的那一刻，人工智能的歷史進(jìn)程驟然加速。

《Attention Is All You Need》的8位作者

然而，這篇開(kāi)山之作發(fā)表時(shí)，論文的8位作者、他們供職的谷歌、全球高科技公司都遠(yuǎn)遠(yuǎn)低估了Transformer的革命性。對(duì)它最準(zhǔn)確的評(píng)價(jià)來(lái)自《連線》雜志[1]：一個(gè)不是秘密的秘密武器。

當(dāng)時(shí)，社會(huì)公眾對(duì)人工智能的想象還集中在下圍棋的AlphaGo。論文發(fā)表一個(gè)月前，AlphaGo在烏鎮(zhèn)3:0橫掃圍棋選手柯潔，直觀塑造了社會(huì)公眾對(duì)AI的認(rèn)知。

這似乎解釋了為什么最不該低估Transformer的谷歌，會(huì)大大低估論文的重要性：

AlphaGo的發(fā)明者DeepMind在2014年被谷歌收購(gòu)，擊敗柯潔同期，DeepMind發(fā)布新版AlphaGo Zero，以100:0吊打AlphaGo。另一個(gè)大項(xiàng)目AlphaFold（蛋白質(zhì)折疊預(yù)測(cè)）也在緊鑼密鼓推進(jìn)，創(chuàng)始人Demis Hassabis憑借該項(xiàng)目，拿到2024年諾貝爾化學(xué)獎(jiǎng)。

而Transformer論文作者來(lái)自谷歌另一個(gè)AI研究部門(mén)Google Brain和Google Research團(tuán)隊(duì)。在DeepMind看來(lái)，自己在倫敦解決復(fù)雜的科學(xué)難題，Google Brain在美國(guó)做翻譯軟件，高下立判。

谷歌管理層對(duì)Transformer也談不上重視。2018年，谷歌基于Transformer架構(gòu)推出BERT模型，用來(lái)優(yōu)化谷歌搜索，完全沒(méi)意識(shí)到人工智能的核武器握在自己手里。

AlphaGo也迷惑了馬斯克，作為OpenAI的重要金主，馬斯克覺(jué)得他們進(jìn)展太慢，完全打不過(guò)谷歌和DeepMind，提出將OpenAI并入特斯拉，自己親自掛帥指揮，被創(chuàng)始人Sam Altman拒絕。

隨后，馬斯克完全退出OpenAI，反手挖走了創(chuàng)始成員Andrej Karpathy，擔(dān)任特斯拉自動(dòng)駕駛總監(jiān)。

英偉達(dá)的遭遇更富戲劇性：2017年5月，英偉達(dá)推出了搭載Tensor Core（張量核心）的V100 GPU。黃仁勛大概率沒(méi)想到，這種設(shè)計(jì)可以說(shuō)是為一個(gè)月后誕生的Transformer量身定制。

唯一對(duì)Transformer革命性有著清醒認(rèn)知的是OpenAI，技術(shù)骨干Ilya Sutskever認(rèn)為，Transformer解決了之前種種技術(shù)方案力有未逮之處，堅(jiān)決砍掉了很多看似有趣但毫無(wú)前景的研究，將所有資源集中在一個(gè)項(xiàng)目上：訓(xùn)練GPT模型。

到了2022年，OpenAI已經(jīng)開(kāi)始訓(xùn)練GPT-4模型，團(tuán)隊(duì)希望在模型發(fā)布前開(kāi)發(fā)一款聊天機(jī)器人，觀測(cè)人類(lèi)對(duì)AI的反饋，指引后續(xù)研究，并由創(chuàng)始人Sam Altman在推特上發(fā)布：

我們做了一個(gè)叫ChatGPT的東西，大家來(lái)試試吧。

ChatGPT上線5天突破100萬(wàn)用戶，兩個(gè)月突破1億，打破了TikTok創(chuàng)造的互聯(lián)網(wǎng)產(chǎn)品最快增長(zhǎng)紀(jì)錄，一場(chǎng)新的工業(yè)革命拉開(kāi)了大幕。

從2017年《Attention Is All You Need》發(fā)表到2022年ChatGPT發(fā)布，醞釀五年的風(fēng)暴漸行漸近，世界在一聲驚雷中被永久改變。

直到今天，人類(lèi)似乎都沒(méi)做好準(zhǔn)備。

2012：最后一個(gè)冬天

人工智能的終極目標(biāo)是讓機(jī)器擁有人類(lèi)的各種能力，這就需要模擬人類(lèi)的各種感知與認(rèn)知能力。其中，計(jì)算機(jī)視覺(jué)（CV）和自然語(yǔ)言處理（NLP）是最核心的兩個(gè)研究領(lǐng)域。

2012年，多倫多大學(xué)教授杰夫·辛頓（Geoffrey Hinton）帶著兩個(gè)學(xué)生Ilya Sutskever和Alex Krizhevsky參加當(dāng)年的ImageNet圖像識(shí)別比賽，以84%的準(zhǔn)確率奪得冠軍，人工智能產(chǎn)業(yè)化開(kāi)始爆發(fā)。

辛頓團(tuán)隊(duì)主攻計(jì)算機(jī)視覺(jué)，采用了名叫卷積神經(jīng)網(wǎng)絡(luò)（CNN）的算法。其運(yùn)作原理是讓“卷積核”在圖片上滑動(dòng)，提取輪廓、邊緣和紋理，配合并行計(jì)算，識(shí)別效率很高。

這其實(shí)是對(duì)人腦的一種模擬：大腦會(huì)不斷抽象瞳孔攝入的像素，因此人類(lèi)不需要看到整體，根據(jù)一些特征就能判別物體。

比如下圖并未展示整只鴨子，但絕大部分人都不會(huì)把它認(rèn)成老鼠或其他生物：

CNN的高效率配合GPU的大算力，讓計(jì)算機(jī)視覺(jué)的產(chǎn)業(yè)化空間迅速打開(kāi)，智慧停車(chē)、快遞分揀、人臉識(shí)別等應(yīng)用迅速落地，資本投資熱情空間高漲。

辛頓教授憑借這一貢獻(xiàn)獲得2024年諾貝爾物理學(xué)獎(jiǎng)；Alex Krizhevsky在谷歌干了幾年，逐漸淡出產(chǎn)業(yè)界；Ilya Sutskever活躍至今，參與了OpenAI的創(chuàng)辦，是GPT系列模型的核心骨干。

計(jì)算機(jī)視覺(jué)夜夜笙歌，隔壁的自然語(yǔ)言處理卻在苦苦掙扎。

原因在于，圖像是“連續(xù)”的，就像一套拼圖，每片拼圖之間都存在“關(guān)聯(lián)”，組合成完整圖像。同時(shí)，計(jì)算機(jī)視覺(jué)主要處理“感知”問(wèn)題，無(wú)論是識(shí)別貓狗還是識(shí)別車(chē)牌，答案是客觀的。準(zhǔn)確率不高，也可以通過(guò)人工彌補(bǔ)。

而語(yǔ)言是“離散”的，字詞之間的關(guān)聯(lián)是抽象的語(yǔ)法和邏輯，沒(méi)法像拼圖一樣“串聯(lián)”。換句話說(shuō)，自然語(yǔ)言處理難就難在它的“自然”：它是日常生活中非結(jié)構(gòu)化的口語(yǔ)，而非標(biāo)準(zhǔn)的財(cái)務(wù)指標(biāo)或編程語(yǔ)言。

同時(shí)，語(yǔ)言識(shí)別更接近“認(rèn)知”問(wèn)題，不僅要識(shí)別文字和發(fā)音，還要弄懂其中含義。

當(dāng)時(shí)，NLP領(lǐng)域的主流算法是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），一是需要一個(gè)字一個(gè)字按順序看，計(jì)算效率極低；二是一旦文本量太大，算法讀到后面就會(huì)忘記前面，這種現(xiàn)象被稱(chēng)為“長(zhǎng)距離依賴(lài)”。

這也是Siri等很多語(yǔ)音助手讓人覺(jué)得智商不高的原因：RNN無(wú)法真正理解長(zhǎng)文本抽象的邏輯，高度依賴(lài)人工編寫(xiě)規(guī)則。

比起計(jì)算機(jī)視覺(jué)的商業(yè)化前景，NLP顯然是投資機(jī)構(gòu)的座下賓，跟當(dāng)年的PPT造車(chē)比地位，也只能說(shuō)是險(xiǎn)勝。

這也解釋了Transformer為何被業(yè)界集體低估：8位作者只想拿它來(lái)優(yōu)化翻譯效率，在BLEU（機(jī)器翻譯準(zhǔn)確度測(cè)試）上刷刷榜。

如果翻看《Attention Is All You Need》論文原文，實(shí)驗(yàn)部分展示的成果幾乎全是雙語(yǔ)翻譯的屠榜記錄，完全沒(méi)想過(guò)AGI的東西。

這也不難理解，鈾元素被發(fā)現(xiàn)后的150多年里，沒(méi)有人把它和原子彈聯(lián)系起來(lái)。

2017：Attention

2016年AlphaGo戰(zhàn)勝李世石，嚇醒了全世界的科技公司。同期，谷歌內(nèi)部正被翻譯產(chǎn)品折磨的死去活來(lái)。

當(dāng)時(shí)，谷歌針對(duì)機(jī)器翻譯推出了GNMT（Google Neural Machine Translation）系統(tǒng)，基于業(yè)內(nèi)主流的RNN（LSTM）方案，谷歌在GNMT中引入了一個(gè)名為“Attention（注意力）”的機(jī)制。

簡(jiǎn)單來(lái)說(shuō)，Attention的作用是解決RNN“讀到后面忘記前面”的問(wèn)題：它可以讓算法識(shí)別長(zhǎng)段落時(shí)，動(dòng)態(tài)關(guān)注段落的不同部分，時(shí)不時(shí)看兩眼前面的詞，為不同的詞分配不同的權(quán)重，讓翻譯變準(zhǔn)確。

GNMT承襲了Attention的理論思想，并為每天數(shù)十億真實(shí)的翻譯任務(wù)做了大量工程優(yōu)化。但RNN順序計(jì)算的特點(diǎn)，導(dǎo)致計(jì)算效率非常低。

Transformer誕生的動(dòng)機(jī)是提高計(jì)算效率，作者之一的Jakob Uszkoreit提出，既然Attention這么好，為什么還要用RNN呢？這就是論文標(biāo)題表達(dá)的含義：Attention Is All You Need。

基于這種思路，Transformer拋棄RNN，引入自注意力機(jī)制（Self-Attention）。簡(jiǎn)單來(lái)說(shuō)，一段文本中的每一個(gè)詞都會(huì)和其他詞瞅一眼，動(dòng)態(tài)判斷每個(gè)詞的權(quán)重，決定重點(diǎn)關(guān)注哪個(gè)詞。

由于任意距離的兩個(gè)詞都可以互相關(guān)聯(lián)，“讀到后面忘記前面”的問(wèn)題被解決，但這也讓算法無(wú)法識(shí)別詞的先后順序。因此，Transformer用位置編碼給每個(gè)詞打上坐標(biāo)，還原原始語(yǔ)序。

同時(shí)，在Transformer的框架下，所有詞同時(shí)進(jìn)入矩陣并行計(jì)算，配合多頭注意力（Multi-Head Attention，多個(gè)Attention模塊同時(shí)計(jì)算），特別適合GPU計(jì)算，效率指數(shù)級(jí)提高。

論文一經(jīng)發(fā)布，立刻在自然語(yǔ)言處理領(lǐng)域引發(fā)轟動(dòng)，帶動(dòng)了2018年后產(chǎn)業(yè)界的創(chuàng)新浪潮。

2018年初，華盛頓大學(xué)發(fā)布了一個(gè)ELMo模型，研究人員先讓模型閱讀大量無(wú)標(biāo)注文本，自己慢慢琢磨語(yǔ)言規(guī)律，再執(zhí)行具體任務(wù)，效果不錯(cuò)。這種思路被稱(chēng)為“預(yù)訓(xùn)練”。

ELMo證明了預(yù)訓(xùn)練的思想行得通，讓算法對(duì)人工標(biāo)注的依賴(lài)大幅降低，極大緩解了“有多少人工，就有多少智能”的問(wèn)題。但ELMo沿用了RNN架構(gòu)，計(jì)算效率很低。

2018年10月，谷歌基于Transformer和預(yù)訓(xùn)練推出BERT模型，刷新了NLP領(lǐng)域主要基準(zhǔn)測(cè)試的全部記錄。在斯坦福大學(xué)的SQuAD1.1測(cè)試中，BERT全面超越人類(lèi)表現(xiàn)。

有BERT的帶頭表率作用，Meta用更多數(shù)據(jù)訓(xùn)練出了RoBERTa，微軟亞洲研究院搞出了MT-DNN，百度在2019年3月發(fā)布ERNIE（后來(lái)的文心一言），在中文任務(wù)上超過(guò)了BERT。

谷歌的管理層也意識(shí)到了BERT巨大的商業(yè)價(jià)值，2019年10月，谷歌宣布在英語(yǔ)搜索中全面啟用BERT，第一時(shí)間賦能業(yè)務(wù)，配合自研TPU計(jì)算集群，一個(gè)人工智能產(chǎn)業(yè)帝國(guó)冉冉升起。

但后來(lái)發(fā)生的事情我們都知道：OpenAI谷歌發(fā)明的武器打垮了谷歌。

2018：力大磚飛

BERT誕生的原因之一，是谷歌與OpenAI的技術(shù)理念分歧。

Transformer問(wèn)世后，第一個(gè)動(dòng)手的其實(shí)是OpenAI。2018年6月，OpenAI發(fā)布了GPT-1模型。其中GPT指是的Generative Pre-trained Transformer。

這個(gè)只有1.17億參數(shù)的模型，完整呈現(xiàn)了技術(shù)骨干Ilya Sutskever的技術(shù)理念。

通俗來(lái)說(shuō)，OpenAI的思路是“生成式”：給算法輸入足夠多的數(shù)據(jù)，讓它不斷預(yù)測(cè)下一個(gè)詞，算法就能在這個(gè)過(guò)程中理解事物的規(guī)律。

2023年的英偉達(dá)GTC，已經(jīng)謝頂?shù)腎lya Sutskever在與黃仁勛的對(duì)話中解釋過(guò)這種“智能就是壓縮”的概念：

表面上看，算法只是學(xué)習(xí)文本在統(tǒng)計(jì)學(xué)層面的相關(guān)性，但這些文本實(shí)際上是這個(gè)世界的映射。算法為了預(yù)測(cè)的足夠準(zhǔn)，就會(huì)學(xué)習(xí)這些文本背后真實(shí)世界的規(guī)律和機(jī)制。

2023年GTC，黃仁勛對(duì)談Ilya Sutskever

2017年4月，Transformer誕生兩個(gè)月前，OpenAI在一篇論文[12]中公開(kāi)了一項(xiàng)研究成果：

給算法投喂8200萬(wàn)條亞馬遜評(píng)論組成的語(yǔ)料庫(kù)，讓算法預(yù)測(cè)一段文本中的下一個(gè)字符，算法內(nèi)部自行生成了一個(gè)情感神經(jīng)元（Sentiment Neuron），用來(lái)判斷評(píng)論是正面還是負(fù)面。

也就是說(shuō)，OpenAI沒(méi)有告訴算法什么是“正面”和“負(fù)面”，但算法為了預(yù)測(cè)下一個(gè)字符，自己進(jìn)化出了判斷感情色彩的能力。

但這項(xiàng)研究當(dāng)時(shí)并未得到足夠重視，產(chǎn)業(yè)界的主流觀點(diǎn)是，靠文字接龍游戲搞AI屬于民科，正經(jīng)的學(xué)者不會(huì)湊這個(gè)熱鬧。

與OpenAI對(duì)應(yīng)，谷歌的思路是“判別式”：在BERT之父Jacob Devlin看來(lái)，GPT-1根據(jù)前文預(yù)測(cè)后文不符合人類(lèi)的直覺(jué)，因?yàn)槿祟?lèi)通過(guò)上下文來(lái)理解文本背后的抽象含義，AI也應(yīng)該這么做。

用不太嚴(yán)謹(jǐn)?shù)ㄋ椎念?lèi)比，谷歌認(rèn)為AI應(yīng)該先學(xué)通識(shí)，再做幾萬(wàn)套真題鍛煉；OpenAI認(rèn)為真正的天才不需要老師，但當(dāng)時(shí)的GPT-1參數(shù)量有限，算法難免滿嘴跑火車(chē)，被BERT在各項(xiàng)測(cè)試中打的頭破血流。

谷歌發(fā)布BERT的論文[13]中，Jacob Devlin點(diǎn)名批評(píng)了GPT-1的技術(shù)思路。認(rèn)為GPT-1的思路與人類(lèi)認(rèn)知相悖，在特定任務(wù)中是“有害的（harmful）”。

順帶一提，Jacob Devlin的經(jīng)歷也很有意思：ChatGPT上線后，為了快速追上OpenAI，谷歌內(nèi)部用ChatGPT訓(xùn)練自家模型，觸發(fā)了Jacob Devlin的技術(shù)潔癖。大哥一不做二不休，直接跳槽去了OpenAI，結(jié)果在新東家干了三個(gè)月，又回到了谷歌[8]。

面對(duì)BERT壓倒式的優(yōu)勢(shì)，OpenAI認(rèn)為自己的技術(shù)路線沒(méi)有問(wèn)題，只是模型參數(shù)不夠多，訓(xùn)練算力不夠大。只要用更強(qiáng)的算力訓(xùn)練參數(shù)量更大的模型，就會(huì)產(chǎn)生質(zhì)變，即涌現(xiàn)。

這種思路就是今天的產(chǎn)業(yè)界司空見(jiàn)慣的一個(gè)詞：Scaling Laws。

2020：舊金山的弗蘭肯斯坦

Scaling Laws是人工智能領(lǐng)域的摩爾定律，即參數(shù)量、數(shù)據(jù)量、計(jì)算資源越大，模型能力會(huì)對(duì)應(yīng)提升。

Transformer之前的深度學(xué)習(xí)時(shí)代，很多學(xué)者就意識(shí)到了Scaling Law的存在，但第一個(gè)對(duì)其進(jìn)行系統(tǒng)性闡釋的其實(shí)是百度。

2017年，百度硅谷AI實(shí)驗(yàn)室在論文中展示了模型參數(shù)和算力大小對(duì)模型的促進(jìn)作用。Anthropic創(chuàng)始人Dario Amodei后來(lái)也在播客中回憶，2014年自己和吳恩達(dá)在百度工作時(shí)，就察覺(jué)到了Scaling Laws的特征。

Dario Amodei沒(méi)在百度干多久就去了OpenAI，結(jié)果和創(chuàng)始人Sam Altman反目成仇，隨后離職創(chuàng)辦了OpenAI的最大競(jìng)爭(zhēng)對(duì)手Anthropic。

今年印度AI峰會(huì)，Sam Altman和Dario Amodei拒絕手拉手

百度雖然“發(fā)現(xiàn)”了Scaling Laws，但未做更多工程探索。很長(zhǎng)時(shí)間里，產(chǎn)業(yè)界都將Scaling Laws的起點(diǎn)放在OpenAI的奠基性論文《Scaling Laws for Neural Language Models》上。

這篇著名的論文，為大名鼎鼎的GPT-3模型提供了關(guān)鍵的理論基礎(chǔ)。

2020年6月，OpenAI發(fā)布了GPT-3模型，架構(gòu)和GPT-2大差不差（引入了稀疏注意力）。但拿了微軟10億美元投資后，財(cái)大氣粗的OpenAI把互聯(lián)網(wǎng)上的語(yǔ)料洗劫一空，模型參數(shù)量膨脹到1750億，是GPT-2的116倍。

模型發(fā)布同時(shí)，OpenAI借助測(cè)試申請(qǐng)，向特定人群開(kāi)放了API接口，立刻引發(fā)小范圍轟動(dòng)。

參與測(cè)試的人發(fā)現(xiàn)，GPT-3不僅能生成文本，也能寫(xiě)文檔摘要、回答問(wèn)題，甚至自己寫(xiě)代碼?！缎l(wèi)報(bào)》就用GPT-3搓了一篇文章：

在備注中，編輯表示GPT-3生成了8個(gè)版本，最終的刊發(fā)版本經(jīng)由編輯“潤(rùn)色”

文中提到的Liam Porr是加州大學(xué)伯克利分校的一名學(xué)生，他用GPT-3生成的文章被兩萬(wàn)多人閱讀，只有一個(gè)人指出文章是AI寫(xiě)的[25]

而對(duì)硅谷的大公司來(lái)說(shuō)，GPT-3無(wú)疑是劃過(guò)總部上空的斯普特尼克1號(hào)。

OpenAI證明了Scaling Laws的可行性。決定模型性能的關(guān)鍵變成了算力和參數(shù)規(guī)模，技術(shù)路線的交鋒迅速被整齊劃一的算力恐慌取代。

微軟發(fā)現(xiàn)自己撿了大漏，自然樂(lè)開(kāi)了花，一邊興高采烈宣布自己拿到了GPT-3的排他性授權(quán)，一邊用這個(gè)樣板工程給自家云服務(wù)打廣告[21]。

另一個(gè)夢(mèng)中笑醒的公司是英偉達(dá)。GPT-3原版論文中，OpenAI只是含糊的提了一句，模型訓(xùn)練用了“微軟的V100 GPU”。但微軟自己沒(méi)憋住，在通稿中[22]大吹特吹由一萬(wàn)張V100 GPU構(gòu)建的超算，實(shí)際上是在給英偉達(dá)打廣告。

2016年，黃仁勛親自上門(mén)向OpenAI贈(zèng)送英偉達(dá)DGX-1超算，當(dāng)時(shí)馬斯克還沒(méi)和Sam Altman鬧掰

至于其他公司，幾乎都在第一時(shí)間加入了競(jìng)爭(zhēng)：

大受刺激的谷歌設(shè)計(jì)了一個(gè)名叫Switch Transformer的簡(jiǎn)化稀疏架構(gòu)，可以將模型參數(shù)擴(kuò)展到1.6萬(wàn)億。Meta也是急火攻心，指責(zé)OpenAI違背極客精神，做了個(gè)同為1750億參數(shù)的模型，但開(kāi)源且“民主化（Democratizing）”。

作為微軟在云計(jì)算的競(jìng)爭(zhēng)對(duì)手，錯(cuò)失OpenAI的亞馬遜投資了全球最大的開(kāi)源AI社區(qū)Hugging Face。特斯拉一邊造車(chē)一邊掏出了D1芯片和Dojo超算。百度在2022年1月推出ERNIE 3.0 Titan，參數(shù)量飆升至2600億。

客觀來(lái)說(shuō)，GPT-3不算完美，除了嚴(yán)重幻覺(jué)導(dǎo)致夢(mèng)見(jiàn)啥說(shuō)啥，AI也全盤(pán)吸收了人類(lèi)所有的價(jià)值取向，時(shí)不時(shí)為種族歧視和恐怖主義大唱贊歌。加上GPT-3的測(cè)試范圍非常有限，并未被社會(huì)公眾廣泛關(guān)注。

但產(chǎn)業(yè)界振奮的是，技術(shù)迷霧被Scaling Laws的暴力工程吹散，大家紛紛拎起鏟子開(kāi)挖護(hù)城河：

特斯拉忙里偷閑進(jìn)軍機(jī)器人，蘋(píng)果對(duì)著自動(dòng)駕駛躍躍欲試，谷歌建設(shè)了壯觀的TPU算力集群，英偉手握牢不可破的CUDA生態(tài)，百度為中國(guó)AI產(chǎn)業(yè)輸送了大量人才。

經(jīng)歷一個(gè)又一個(gè)寒冬，人工智能的終極理想似乎只差臨門(mén)一腳。套用丘吉爾的話說(shuō)：“這不是結(jié)束，甚至不是結(jié)束的開(kāi)始，可能只是開(kāi)始的結(jié)束?！?/p>

2022：風(fēng)暴前夕

GPT-3發(fā)布后，Dario Amodei與創(chuàng)始人Sam Altman徹底分道揚(yáng)鑣，從公司帶走了幾位研究員創(chuàng)辦了Anthropic。兩人的決裂，很大程度上源于微軟的投資。

對(duì)人工智能的擔(dān)憂幾乎與這門(mén)學(xué)科的歷史一樣長(zhǎng)，作為研究副總裁，Dario Amodei認(rèn)為如果只給模型瘋狂堆參數(shù)，而不引入人類(lèi)的道德和價(jià)值觀，無(wú)異于隨時(shí)會(huì)失控的核彈。

Sam Altman是公司的掌舵者，必須四處畫(huà)餅化緣，找人報(bào)銷(xiāo)龐大的算力開(kāi)支，只能在安全與商業(yè)化上找平衡區(qū)間。

科學(xué)所到之處，資本總是如影隨形。2019年，OpenAI窮的揭不開(kāi)鍋，為了拿微軟的錢(qián)，OpenAI成立了一家有限盈利公司。同時(shí)，協(xié)議規(guī)定OpenAI必須使用微軟的云服務(wù)[28]。

就像當(dāng)年列寧和羅莎·盧森堡的論戰(zhàn)，Dario Amodei認(rèn)為拿了微軟的錢(qián)，安全就必須屈從于商業(yè)化；Sam Altman的邏輯是，沒(méi)有微軟的錢(qián)，模型都做不出來(lái)，安全更是空談。

隨著GPT-3的發(fā)布，Dario Amodei擔(dān)憂的安全問(wèn)題逐漸具體。

GPT-3是Scaling Laws的奇跡，也是個(gè)毫無(wú)是非觀念的機(jī)器。OpenAI在訓(xùn)練過(guò)程中把互聯(lián)網(wǎng)上的語(yǔ)料洗劫一空，自然也沒(méi)放過(guò)暴力、色情和種族歧視內(nèi)容。

為了解決這個(gè)問(wèn)題，2022年1月，OpenAI發(fā)布了一個(gè)名為InstructGPT的模型。相比GPT-3，InstructGPT通過(guò)RLHF（人類(lèi)反饋強(qiáng)化學(xué)習(xí)），大量剝離了色情暴力等有害內(nèi)容，讓模型更貼近人類(lèi)的價(jià)值觀，即所謂“對(duì)齊（AI Alignment）”。

RLHF聽(tīng)上去高大上，但底子還是能工智人：為了不讓模型頻繁爆典，OpenAI讓一群人類(lèi)當(dāng)?shù)赖虏门?，給模型輸出的內(nèi)容打分排序。模型在人類(lèi)監(jiān)督下自我訓(xùn)練，逐漸向人類(lèi)的道德品格靠攏。

OpenAI把當(dāng)裁判這個(gè)任務(wù)交給了一家名叫Sama的肯尼亞外包公司。硅谷精英侃侃而談的“對(duì)齊”，似乎也離不開(kāi)古典的全球分工。

按照《時(shí)代周刊》的獨(dú)家報(bào)道[30]，2021年，OpenAI和Sama簽了20萬(wàn)美元的合同，外包工人實(shí)發(fā)時(shí)薪為1.32美元到2美元，工作內(nèi)容就是瀏覽大量極端內(nèi)容，怎么勁大怎么來(lái)，標(biāo)注完成后反饋給模型訓(xùn)練。

Sama位于肯尼亞的辦公室

雖然OpenAI承諾提供心理健康咨詢(xún)，但外包員工工作太充實(shí)，基本沒(méi)時(shí)間咨詢(xún)。2022年2月，OpenAI又要求Sama搜集“性和暴力圖像”[30]，后者認(rèn)為甲方玩的有點(diǎn)大，導(dǎo)致雙方合作破裂。

但此時(shí)，OpenAI已經(jīng)拿到足夠多的人類(lèi)標(biāo)注數(shù)據(jù)。綠色健康講文明的InstructGPT發(fā)布，為ChatGPT的誕生鋪平了道路。

Sam Altman的說(shuō)法是，團(tuán)隊(duì)正在開(kāi)發(fā)的GPT-4過(guò)于強(qiáng)大，如果直接發(fā)布，人類(lèi)社會(huì)接受不了。因此可以先做一個(gè)聊天機(jī)器人，看看公眾的反應(yīng)，積累的數(shù)據(jù)也可以用于后續(xù)模型的改進(jìn)。

《紐約時(shí)報(bào)》則提供了另一種說(shuō)法[31]：OpenAI擔(dān)心競(jìng)爭(zhēng)對(duì)手（可能是Anthropic）先于自己發(fā)布聊天機(jī)器人，因此提前動(dòng)手，緊急啟動(dòng)ChatGPT的開(kāi)發(fā)。

無(wú)論如何，OpenAI內(nèi)部沒(méi)有一個(gè)人預(yù)料到ChatGPT席卷的風(fēng)暴，畢竟大家只是把它視為用來(lái)測(cè)試的技術(shù)預(yù)覽產(chǎn)品。而外界眼中如魔法一般的生成能力，也是工程師們過(guò)去多年研究生涯的日常。

ChatGPT這個(gè)名字直到上線前一天才確定，代替原本的“Chat with GPT-3.5”。Ilya Sutskever在前一晚問(wèn)了它十個(gè)刁鉆問(wèn)題，只有一半回答準(zhǔn)確[35]。

就這樣，他們結(jié)束了一天的工作，隨手按下了人工智能的核按鈕。

尾聲

這場(chǎng)風(fēng)暴由一篇標(biāo)題不太正經(jīng)的論文醞釀，在一個(gè)粗糙的套殼產(chǎn)品上爆發(fā)。時(shí)間線被一次次改寫(xiě)的時(shí)候，那些正在創(chuàng)造歷史的人似乎毫不知情，甚至不知道自己身在現(xiàn)場(chǎng)。

這其實(shí)是科學(xué)史上的常態(tài)。我們今天感嘆那些改變世界的璀璨群星，似乎他們的成功是因?yàn)榭匆?jiàn)了遠(yuǎn)方的目標(biāo)，然后一步步抵達(dá)了終點(diǎn)。但更真實(shí)的歷史是，他們只是相信腳下的道路，然后一步步發(fā)現(xiàn)了遠(yuǎn)方。

在那扇被打開(kāi)的大門(mén)背后，歷史前進(jìn)的信號(hào)清晰又具體，人工智能勾勒的福祉尚且遙遠(yuǎn)，被甩下列車(chē)的焦慮和恐慌卻迅速蔓延。

人類(lèi)離真正的通用人工智能從未如此接近，但學(xué)術(shù)層面的理念分歧、技術(shù)領(lǐng)域的道德交鋒、資本市場(chǎng)的利益博弈，和以理念與道德為名的利益博弈似乎又在證明，在某些方面，人工智能永遠(yuǎn)替代不了人類(lèi)。

總之，一段技術(shù)與夢(mèng)想的冒險(xiǎn)結(jié)束了，一個(gè)進(jìn)步與失控的時(shí)代開(kāi)始了。

全文完，感謝您的耐心閱讀。

參考資料

[1] 8 Google Employees Invented Modern AI. Here's the Inside Story，Wired

[2] Sakana AI's CTO says he's 'absolutely sick' of transformers, the tech that powers every major AI model，venturebeat

[3] 專(zhuān)訪 | 谷歌神經(jīng)網(wǎng)絡(luò)翻譯系統(tǒng)發(fā)布后，我們和Google Brain的工程師聊了聊，機(jī)器之心

[4] 專(zhuān)訪“AI教父”本吉奧：袒露恐懼與遺憾，指出可能更安全之路，騰訊科技

[5] 被忽略的起點(diǎn)？Karpathy揭秘最初的注意力論文被Transformer光芒掩蓋的故事，機(jī)器之心

[6] 全面超越人類(lèi)！Google稱(chēng)霸SQuAD，BERT橫掃11大NLP測(cè)試，量子位

[7] 谷歌搜索近5年來(lái)最大變化，使用BERT算法改進(jìn)10％搜索結(jié)果，新智元

[8] AI Boomerang: Google’s Internal Critic Returns From Rival OpenAI，The Information

[9] 黃仁勛與 Ilya Sutskever 的爐邊談話：看AI的現(xiàn)狀和未來(lái)，EETChina

[10] Improving Language Understanding by Generative Pre-Training，OpenAI

[11] OpenAI新研究發(fā)現(xiàn)無(wú)監(jiān)督情感神經(jīng)元：可直接調(diào)控生成文本的情感，機(jī)器之心

[12] Unsupervised Sentiment Neuron，OpenAI

[13] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，Google

[14] Scaling Laws for Neural Language Models，OpenAI

[15] The Microsoft-OpenAI Files，GeekWire

[16] Meet GPT-3. It Has Learned to Code (and Blog and Argue)，Cade Metz

[17] OpenAI’s new language generator GPT-3 is shockingly good—and completely mindless，MIT Technology Review

[18] A robot wrote this entire article. Are you scared yet, human，衛(wèi)報(bào)

[19] With $1 Billion From Microsoft, an A.I. Lab Wants to Mimic the Brain，Cade Metz

[20] OpenAI has released the largest version yet of its fake-news-spewing AI，MIT Technology Review

[21] Microsoft teams up with OpenAI to exclusively license GPT-3 language model，微軟

[22] Microsoft announces new supercomputer, lays out vision for future AI work，微軟

[23] US-China tech war: Beijing-funded AI researchers surpass Google and OpenAI with new language model，南華早報(bào)

[24] 深度學(xué)習(xí)革命，Cade Metz

[25] My GPT-3 Blog Got 26 Thousand Visitors in 2 Weeks，Liam Porr

[26] Training language models to follow instructions with human feedback，OpenAI

[27] 馬斯克傳，Walter Isaacson

[28] Inside the white-hot centre of AI doomerism，金融時(shí)報(bào)

[29] OpenAI’s Top Researchers Defect to Start Rival Backed by Billionaire，The Information

[30] Exclusive: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic，Time

[31] How ChatGPT Kicked Off an A.I. Arms Race，紐約時(shí)報(bào)

[32] Inside facebook's african sweatshop，Time

[33] PTSD, depression and anxiety: why former Facebook moderators in Kenya are taking legal action，衛(wèi)報(bào)

[34] What OpenAI Really Wants，Wired

[35] Inside ChatGPT, AI assistants, and building at OpenAI， OpenAI

作者：李墨天

編輯：張婕妤

責(zé)任編輯：李墨天