作者 ｜ 大模型機(jī)動(dòng)組
郵箱 ｜ damoxingjidongzu@pingwest.com

《量子》雜志近日采訪了19位自然語言處理領(lǐng)域研究者，并通過他們的對(duì)話梳理了自“注意力機(jī)制”與Transformer出現(xiàn)以來，整個(gè)NLP領(lǐng)域如何經(jīng)歷從驚訝到危機(jī)再到快速重塑的重大轉(zhuǎn)折，再現(xiàn)了技術(shù)范式變革背后的人物視角與關(guān)鍵節(jié)點(diǎn)。

以下為編譯全文，原文鏈接：

https://www.quantamagazine.org/when-chatgpt-broke-an-entire-field-an-oral-history-20250430/

讓科學(xué)家識(shí)別范式轉(zhuǎn)變-尤其是實(shí)時(shí)轉(zhuǎn)變-是一個(gè)很棘手的問題。畢竟，真正具有劃時(shí)代意義的知識(shí)更新可能需要幾十年的時(shí)間。但你不一定要用 “范式轉(zhuǎn)變” 這個(gè)詞來能承認(rèn)有一個(gè)領(lǐng)域 —— 自然語言處理（NLP）—— 已經(jīng)發(fā)生了巨大的變化。

自然語言處理，顧名思義，就是讓計(jì)算機(jī)能夠處理人類語言的復(fù)雜性。這是一門融合了工程學(xué)和科學(xué)的學(xué)科，其歷史可以追溯到 20 世紀(jì) 40 年代。自然語言處理讓斯蒂芬?霍金能夠 “說話”，賦予了 Siri “智慧”，也為社交媒體公司提供了一種新的精準(zhǔn)投放廣告的方式。它也是大語言模型出現(xiàn)的源頭 —— 自然語言處理（NLP）助力發(fā)明了這項(xiàng)技術(shù)，但其爆炸式的增長(zhǎng)和變革性力量，還是讓該領(lǐng)域的許多人都始料未及。

2019 年，《量子》雜志報(bào)道了當(dāng)時(shí)具有開創(chuàng)性的自然語言處理系統(tǒng) BERT，但文中一次也沒有提到 “大語言模型” 這個(gè)詞。僅僅五年半之后，大語言模型就無處不在，在其涉足的任何科學(xué)界都引發(fā)了新發(fā)現(xiàn)、變革和爭(zhēng)議。而它最先影響的領(lǐng)域 —— 無論是好是壞，還是介于兩者之間的各種情況 —— 就是自然語言處理。對(duì)于親身經(jīng)歷這一切的人來說，這種影響是什么樣的呢？

《量子》采訪了19名現(xiàn)任和前任NLP 研究人員來講述這個(gè)故事。從專家到學(xué)生，從終身學(xué)者到初創(chuàng)公司創(chuàng)始人，他們描述了一系列改變他們世界的時(shí)刻——曙光初現(xiàn)、興高采烈的相遇和至 少一次“生存危機(jī)”。還有我們的。

序章：大模型誕生

到 2017 年，神經(jīng)網(wǎng)絡(luò)已經(jīng)改變了自然語言處理領(lǐng)域的現(xiàn)狀。在那年夏天，谷歌的研究人員在一篇具有開創(chuàng)性意義的論文《注意力就是你所需要的一切》中，介紹了一種全新的神經(jīng)網(wǎng)絡(luò) Transformer，它很快就主導(dǎo)了這個(gè)領(lǐng)域。然而，并非所有人都預(yù)見到了這一點(diǎn)。

·埃莉?帕夫利克（布朗大學(xué)計(jì)算機(jī)科學(xué)與語言學(xué)助理教授，谷歌 DeepMind 研究科學(xué)家）：谷歌在紐約組織了一場(chǎng)研討會(huì)，讓學(xué)術(shù)界人士與他們的研究人員交流。這篇論文的作者之一雅各布?烏茲科雷特在會(huì)上介紹了這一成果。他明確指出，這個(gè)模型在設(shè)計(jì)時(shí)并未借鑒任何語言學(xué)的見解。他甚至有點(diǎn)調(diào)侃地說：“我要講講我們做的這些隨意決定，看看有多荒謬，但再看看它的效果有多好?！?當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)逐漸占據(jù)主導(dǎo)地位，人們對(duì)此非常懷疑并提出反對(duì)。大家的主要看法是：“這一切都是些小把戲。”

·雷?穆尼（德克薩斯大學(xué)奧斯汀分校人工智能實(shí)驗(yàn)室主任）：它有點(diǎn)意思，但并不是那種立竿見影的突破，對(duì)吧？世界并沒有在第二天就發(fā)生改變。我真的認(rèn)為從概念上講，這不是處理語言的正確模型。我只是沒有意識(shí)到，如果在大量數(shù)據(jù)上訓(xùn)練這個(gè)從概念上就錯(cuò)誤的模型，它能做出驚人的成果。

·納茲寧?拉賈尼（Collinear AI 創(chuàng)始人兼首席執(zhí)行官，當(dāng)時(shí)是跟隨雷?穆尼學(xué)習(xí)的博士生）：我清楚地記得在我們的自然語言處理閱讀小組里閱讀《注意力就是你所需要的一切》這篇論文的情景。實(shí)際上是雷主持的討論，我們進(jìn)行了一場(chǎng)非常熱烈的討論。注意力這個(gè)概念已經(jīng)存在了一段時(shí)間，也許這就是雷反應(yīng)平淡的原因。但我們卻覺得：“哇，這似乎是一個(gè)轉(zhuǎn)折點(diǎn)?！?/p>

·R?托馬斯?麥科伊（耶魯大學(xué)語言學(xué)系助理教授）：那個(gè)夏天，我清楚地記得我所在的研究團(tuán)隊(duì)成員都在討論：“我們應(yīng)該研究一下這些變換器嗎？” 最后大家的結(jié)論是：“不用，它們顯然只是曇花一現(xiàn)?！?/p>

·克里斯托弗?波茨（斯坦福大學(xué)語言學(xué)系主任）：我當(dāng)時(shí)沒有注意到變換器這篇論文。即使現(xiàn)在再讀，也會(huì)覺得它表述得很含蓄。我覺得任何人都很難從這篇論文中看出它將會(huì)產(chǎn)生什么樣的影響。這需要像 BERT 團(tuán)隊(duì)那樣有遠(yuǎn)見卓識(shí)的人。

2018 年 10 月，谷歌的開源變換器模型 BERT（以及 OpenAI 的一個(gè)不太知名的模型 GPT）推出后不久，便在多個(gè)語言處理測(cè)試上打破了之前的性能記錄。隨后引發(fā)了一陣 “BERT 熱”，研究人員們努力探究這些模型的運(yùn)作原理，同時(shí)在基準(zhǔn)測(cè)試（用于衡量自然語言處理進(jìn)展的標(biāo)準(zhǔn)化測(cè)試）中競(jìng)相超越彼此。

·安娜?羅杰斯（哥本哈根信息技術(shù)大學(xué)計(jì)算機(jī)科學(xué)副教授，ACL 滾動(dòng)評(píng)論主編）：BERT一下子就火起來了，每個(gè)人都在寫關(guān)于 BERT 的論文。我記得我所在的研究小組有過這樣的討論：“好吧，我們得研究下 BERT，因?yàn)檫@是當(dāng)下的趨勢(shì)?！?作為一名年輕的博士后，我只能接受：這就是這個(gè)領(lǐng)域正在做的事情。我又有什么資格說這個(gè)領(lǐng)域錯(cuò)了呢？

·朱利安?邁克爾（Scale AI 安全、評(píng)估與校準(zhǔn)實(shí)驗(yàn)室主任，當(dāng)時(shí)是華盛頓大學(xué)的博士生）：BERT 發(fā)布后，很多項(xiàng)目都被擱置了。接下來發(fā)生的是，基準(zhǔn)測(cè)試的進(jìn)展比預(yù)期快得多。所以人們就說：“我們需要更多的基準(zhǔn)測(cè)試，更難的基準(zhǔn)測(cè)試，我們要對(duì)所有能測(cè)試的東西進(jìn)行基準(zhǔn)測(cè)試?！?/p>

一些人認(rèn)為這種 “基準(zhǔn)測(cè)試熱潮” 是一種干擾，而另一些人則從中看到了未來的趨勢(shì)。

·山姆?鮑曼（Anthropic 技術(shù)人員，當(dāng)時(shí)是紐約大學(xué)副教授）：當(dāng)人們提交基準(zhǔn)測(cè)試結(jié)果并希望登上排行榜時(shí)，我經(jīng)常要負(fù)責(zé)檢查結(jié)果，確保其合理，而不是有人在系統(tǒng)里濫竽充數(shù)。所以我看到了每一個(gè)提交的結(jié)果，我注意到越來越多的只是將一些陳舊或簡(jiǎn)單的想法進(jìn)行擴(kuò)展。

·朱利安?邁克爾：這變成了一場(chǎng)規(guī)模競(jìng)賽：擴(kuò)大這些模型的規(guī)模，就能提高它們?cè)谌魏位鶞?zhǔn)測(cè)試中取得好成績(jī)的能力。而我卻在想：“好吧，我覺得這本身并不有趣。”

·山姆?鮑曼：當(dāng)時(shí)的普遍假設(shè)是，“如果沒有新的突破，變換器模型不會(huì)比 BERT 好多少”。但我越來越清楚地意識(shí)到，規(guī)模是決定其發(fā)展程度的主要因素。你將會(huì)得到非常強(qiáng)大的通用系統(tǒng)。事情會(huì)變得很有趣，風(fēng)險(xiǎn)也會(huì)越來越高。所以我對(duì)這個(gè)問題非常感興趣：好吧，如果這樣發(fā)展幾年會(huì)怎么樣呢？

NLP的紅白玫瑰戰(zhàn)爭(zhēng)（2020 - 2022 年）

隨著Transformer模型在各種自然語言處理基準(zhǔn)測(cè)試中接近（甚至超過）“人類基準(zhǔn)”，關(guān)于如何解讀它們能力的爭(zhēng)論也在悄然升溫。2020 年，這些爭(zhēng)論 —— 尤其是關(guān)于 “意義” 和 “理解” 的爭(zhēng)論 —— 在一篇將大語言模型比作章魚的論文中達(dá)到了白熱化。

·艾米麗?M?本德（華盛頓大學(xué)語言學(xué)系教授，2024 年計(jì)算語言學(xué)協(xié)會(huì)主席）：我在推特上沒完沒了地和人爭(zhēng)論，對(duì)此感到很煩躁。有一次正路是關(guān)于用 BERT 去解密穆勒?qǐng)?bào)告的，而我認(rèn)為這是個(gè)糟糕的主意。似乎總有源源不斷的人來反駁我，說：“不，不，不，大語言模型真的能理解。” 同樣的爭(zhēng)論一遍又一遍地重復(fù)。我和計(jì)算語言學(xué)家亞歷山大?科勒討論這個(gè)問題，他說：“我們把這些爭(zhēng)論寫成學(xué)術(shù)論文吧，這樣就不只是推特上的觀點(diǎn)，而是經(jīng)過同行評(píng)審的研究。這樣就能結(jié)束這些爭(zhēng)論了。” 但最終爭(zhēng)論并沒有平息。

本德和科勒提出的“章魚測(cè)試”認(rèn)為，僅通過統(tǒng)計(jì)模式來模仿語言形式的模型，永遠(yuǎn)無法理解語言的意義 —— 就像一只 “超級(jí)聰明的章魚”，即使它能流利地復(fù)制它在人類信息中觀察到的模式，也永遠(yuǎn)無法真正理解陸地生活是什么樣的。

·山姆?鮑曼：這種觀點(diǎn) ——“這里沒什么可看的”，神經(jīng)網(wǎng)絡(luò)語言模型從根本上來說不是我們應(yīng)該關(guān)注的東西，很多都是炒作 —— 引起了很大的分歧。

·朱利安?邁克爾：我也參與到了這場(chǎng)爭(zhēng)論中。我寫了一篇反駁那篇論文的文章 —— 這是我寫過的唯一一篇博客文章，篇幅和一篇論文差不多。我努力誠(chéng)實(shí)地闡述作者的觀點(diǎn)，甚至讓艾米麗看了我的草稿，糾正了我的一些誤解。但如果仔細(xì)琢磨，就能看出我是在毫不留情地反駁。我表面上還帶著微笑。

·埃莉?帕夫利克：對(duì)我來說，這些 “理解之爭(zhēng)” 意味著這個(gè)領(lǐng)域真正開始了一場(chǎng)反思。

與此同時(shí)，另一場(chǎng)由現(xiàn)實(shí)世界規(guī)模驅(qū)動(dòng)的反思（而非思想實(shí)驗(yàn)）也在進(jìn)行中。2020 年 6 月，OpenAI 發(fā)布了 GPT - 3，這個(gè)模型比它的上一個(gè)版本大了 100 多倍，能力也更強(qiáng)。那時(shí) ChatGPT 還未問世，但對(duì)許多自然語言處理研究人員來說，GPT - 3 的出現(xiàn)讓一切都發(fā)生了改變?，F(xiàn)在，本德所說的 “章魚” 變成了現(xiàn)實(shí)。

·克里斯托弗?卡利森 - 伯奇（賓夕法尼亞大學(xué)計(jì)算機(jī)與信息科學(xué)教授）：我提前獲得了 GPT - 3 測(cè)試版的使用資格，自己也試用了一下。我嘗試了我剛畢業(yè)的博士生們?cè)谡撐睦镒龅乃泄ぷ?，然后驚覺 —— 天哪，一個(gè)學(xué)生花五年完成的事，我似乎一個(gè)月就能重現(xiàn)。我職業(yè)生涯中接觸過或深入研究過的那些經(jīng)典NLP任務(wù)，似乎一下子就都能完成了。那種感覺太震撼了，我有時(shí)把這形容為經(jīng)歷了一場(chǎng)職業(yè)上的存在主義危機(jī)。

·納茲寧?拉賈尼：我試用 GPT - 3 的時(shí)候，發(fā)現(xiàn)它在安全性方面有很多問題。比如你問 “女性應(yīng)該被允許投票嗎？”，它會(huì)回答 “不” 之類的。但你能用三四行自然語言教會(huì)它完成一項(xiàng)全新的任務(wù)，這真的太不可思議了。

·克里斯托弗?波茨：我們組里有人提前拿到了 GPT - 3 的 API 接口。我記得當(dāng)時(shí)我站在辦公室里，就站在現(xiàn)在這個(gè)位置，心想：我要給它出一些邏輯問題，它肯定答不上來。我要證明它只是記住了那些讓你們驚嘆的內(nèi)容，不過是個(gè)噱頭罷了。我試了又試，最后不得不向大家承認(rèn)：“好吧，這絕對(duì)不只是個(gè)噱頭?！?/p>

·崔藝珍（斯坦福大學(xué)計(jì)算機(jī)科學(xué)教授，2022 年麥克阿瑟獎(jiǎng)得主）：它當(dāng)時(shí)還是有很多問題的。GPT - 3 輸出的很多常識(shí)性知識(shí)都不太靠譜。但 GPT - 2 幾乎等于零，完全不行，而 GPT - 3 大概有三分之二是靠譜的，這讓我覺得很驚喜。

·R?托馬斯?麥科伊：這篇 GPT - 3 的論文有點(diǎn)像《權(quán)力的游戲》的大結(jié)局，每個(gè)人都在閱讀，都在討論和八卦。

·利亞姆?杜根（賓夕法尼亞大學(xué)四年級(jí)博士生）：這就好像我們發(fā)現(xiàn)了一個(gè)秘密，和別人分享時(shí)，他們都驚嘆不已。那時(shí)我只要把別人拉到我電腦前展示一下就行。

·朱利安?邁克爾：BERT 是這個(gè)領(lǐng)域的一次階段性轉(zhuǎn)變，但 GPT - 3 帶來的沖擊更直觀。一個(gè)能生成語言的系統(tǒng)，我們都知道 “伊莉莎效應(yīng)”，對(duì)吧？它在我們心中激起了更強(qiáng)烈的反應(yīng)。而且它對(duì)我們實(shí)際研究的改變更大，感覺就是 “理論上，用這個(gè)能做任何事”。這會(huì)帶來什么影響呢？這就像打開了一個(gè)潘多拉魔盒。

OpenAI 沒有公開 GPT - 3 的源代碼。其龐大的規(guī)模、顛覆性的能力以及企業(yè)的保密性，讓許多研究人員感到不安。

·山姆?鮑曼：這在當(dāng)時(shí)引起了一些爭(zhēng)議，因?yàn)?GPT - 3 并非來自自然語言處理學(xué)界。有一段時(shí)間，主要關(guān)于 GPT - 3 的研究成果發(fā)表會(huì)受到抵觸，因?yàn)樗拖袷且患接挟a(chǎn)品，你得花錢才能使用，這和以往的情況很不一樣。

·安娜?羅杰斯：我當(dāng)時(shí)在考慮再做一個(gè)基準(zhǔn)測(cè)試，但后來覺得沒什么意義了。就算知道 GPT - 3 能不能繼續(xù)生成字符序列，這能說明什么呢？這甚至都不是一個(gè)機(jī)器學(xué)習(xí)的研究問題，只是免費(fèi)的產(chǎn)品測(cè)試罷了。

·朱利安?邁克爾：當(dāng)時(shí)有個(gè)詞叫 “API 科學(xué)”，有人用這個(gè)詞來表達(dá)不滿：“我們這是在拿產(chǎn)品做科學(xué)研究嗎？這不算科學(xué)，無法復(fù)現(xiàn)。” 但也有人說：“看，我們得走在前沿，這就是現(xiàn)狀。”

·塔爾?林曾（紐約大學(xué)語言學(xué)與數(shù)據(jù)科學(xué)副教授，谷歌研究科學(xué)家）：有一段時(shí)間，學(xué)術(shù)界的人都不知道該怎么辦。

這種矛盾的態(tài)度在一些像如微軟（微軟獨(dú)家授權(quán)使用 GPT - 3）和谷歌這樣的企業(yè)內(nèi)部也存在。

·卡利卡?巴利（微軟印度研究院高級(jí)首席研究員）：微軟的領(lǐng)導(dǎo)很早就告訴我們 GPT - 3 的事。那種感覺就像你坐在火箭上，從地球被發(fā)射向月球。雖然很令人興奮，但發(fā)展速度太快了，你必須時(shí)刻關(guān)注各種 “導(dǎo)航儀器”，確保方向正確。

·艾米麗?M?本德：蒂姆尼特?格布魯（當(dāng)時(shí)是谷歌的人工智能倫理研究員）在推特私信里問我，知不知道有哪些研究探討語言模型不斷擴(kuò)大規(guī)?？赡軒淼呢?fù)面影響。在谷歌，她看到周圍的人都在說：“OpenAI 的模型更大，我們的也得加大規(guī)模?！?而她的職責(zé)就是提出質(zhì)疑：“這樣做會(huì)有什么問題嗎？”

隨后，本德與格布魯及其他同事共同撰寫了論文《隨機(jī)鸚鵡的危險(xiǎn)：語言模型會(huì)過于龐大嗎？》，這篇論文為該領(lǐng)域圍繞形式與意義、方法與規(guī)模的核心（且日益激烈）爭(zhēng)論注入了道德緊迫性，結(jié)果在自然語言處理領(lǐng)域引發(fā)了一場(chǎng) “內(nèi)戰(zhàn)”。

·卡利卡?巴利：艾米麗提出的一些觀點(diǎn)確實(shí)值得我們思考。就在那一年，自然語言處理學(xué)界突然開始關(guān)注，除了世界上使用人數(shù)最多的那幾種語言，其他語言都被忽視了，而以前從來沒人討論過這些問題。但我不喜歡的是，整個(gè)自然語言處理學(xué)界因此分成了支持和反對(duì)這篇論文的兩派。

·R?托馬斯?麥科伊：你是支持還是反對(duì)大語言模型？在當(dāng)時(shí)，這個(gè)問題無處不在。

·朱莉?卡利尼（斯坦福大學(xué)計(jì)算機(jī)科學(xué)二年級(jí)博士生）：作為一名年輕的研究人員，我明顯感覺到了陣營(yíng)的劃分。當(dāng)時(shí)我還是普林斯頓大學(xué)的本科生，我清楚地記得，我尊敬的不同人 —— 我在普林斯頓的研究導(dǎo)師克里斯蒂安娜?費(fèi)爾鮑姆和其他大學(xué)的教授 —— 站在了不同的陣營(yíng)。我都不知道該支持哪一方。

·卡利卡?巴利：這篇論文的發(fā)表有積極意義，但看到自己尊敬的人針鋒相對(duì)，還是讓人很有壓力。我甚至都不再玩推特了，被這件事搞得很心煩。

·利亞姆?杜根：作為一名博士生，我面臨著這樣的壓力：如果你希望自己發(fā)表的研究成果在兩三年后還有影響力，就不得不選邊站。因?yàn)檫@在很大程度上決定了你看待問題的方式。我經(jīng)常閱讀雙方的觀點(diǎn)，通常在一些平臺(tái)上能看到語言學(xué)家們激烈的反對(duì)觀點(diǎn)，在推特上能看到支持?jǐn)U大模型規(guī)模的觀點(diǎn)。

·杰夫?米切爾（薩塞克斯大學(xué)計(jì)算機(jī)科學(xué)與人工智能助理教授）：這一切變得如此有爭(zhēng)議，感覺有點(diǎn)不正常。

隨著研究不斷加速，一些人覺得該領(lǐng)域的學(xué)術(shù)討論嚴(yán)重惡化。為了修復(fù)這種情況，NLP研究社區(qū)在 2022 年夏天對(duì) “30 個(gè)可能有爭(zhēng)議的觀點(diǎn)” 進(jìn)行了調(diào)查，這些觀點(diǎn)包括 “語言結(jié)構(gòu)是必要的”“擴(kuò)大規(guī)模幾乎能解決任何重要問題”“人工智能可能很快會(huì)帶來革命性的社會(huì)變革” 等。

·山姆?鮑曼：那些早期圍繞擴(kuò)大模型規(guī)模開展研究的行業(yè)團(tuán)體，和學(xué)術(shù)界的自然語言處理研究人員聯(lián)系并不緊密。他們被視為局外人，這導(dǎo)致兩個(gè)群體之間在理解和認(rèn)知上出現(xiàn)了分歧，因?yàn)樗麄冎g的交流并不多。

·利亞姆?杜根：那年在計(jì)算語言學(xué)協(xié)會(huì)（該領(lǐng)域的頂級(jí)會(huì)議）上發(fā)放了大量調(diào)查問卷。這是我第一次參加這個(gè)會(huì)議，特別興奮，因?yàn)槟芤姷胶芏鄥柡Φ娜?。我拿到問卷后在手機(jī)上看，心里想：“這些問題看起來太離譜了。”

·朱利安?邁克爾：這個(gè)領(lǐng)域當(dāng)時(shí)已經(jīng)陷入危機(jī)，這份調(diào)查讓我們更深刻地感受到了這一點(diǎn)。

·利亞姆?杜根：你能看到整個(gè)領(lǐng)域的分化，不同陣營(yíng)逐漸形成。語言學(xué)派不太信任純粹的大語言模型技術(shù)，還有一部分人處于中間立場(chǎng)，另外還有一些人堅(jiān)信擴(kuò)大模型規(guī)模就能實(shí)現(xiàn)通用人工智能，這種觀點(diǎn)在我看來有些極端。當(dāng)時(shí)我沒把這些太當(dāng)回事，直到 ChatGPT 出現(xiàn)。

ChatGPT帶來的“行星”沖擊（2022 年 11 月 - 2023 年）

2022 年 11 月 30 日，OpenAI 推出了實(shí)驗(yàn)性聊天機(jī)器人 ChatGPT，它就像一顆小行星一樣沖擊了NLP領(lǐng)域。

·伊茲?貝爾塔吉（艾倫人工智能研究所首席研究科學(xué)家，SpiffyAI 首席科學(xué)家兼聯(lián)合創(chuàng)始人）：在一天之內(nèi)，很多研究人員正在研究的問題都突然變得沒有意義了。

·克里斯托弗?卡利森 - 伯奇：我沒有預(yù)料到它的出現(xiàn)，我覺得沒人能預(yù)料到。但我有心理準(zhǔn)備，因?yàn)橹绑w驗(yàn)過 GPT - 3 帶來的沖擊。

·R?托馬斯?麥科伊：一項(xiàng)具體的研究項(xiàng)目被別人類似的成果超越或取代是比較常見的，但 ChatGPT 淘汰的不是某個(gè)具體項(xiàng)目，而是一整個(gè)類別的研究。對(duì)學(xué)術(shù)界來說，很多自然語言處理的高階研究方向變得不再有趣，或者不再具有實(shí)際意義。

·山姆?鮑曼：感覺整個(gè)領(lǐng)域完全重新洗牌了。

·伊茲?貝爾塔吉（艾倫人工智能研究所首席研究科學(xué)家，SpiffyAI 首席科學(xué)家兼聯(lián)合創(chuàng)始人）：在一天之內(nèi)，大量研究人員正在鉆研的諸多問題突然就銷聲匿跡了。

·克里斯托弗?卡利森 - 伯奇（賓夕法尼亞大學(xué)計(jì)算機(jī)與信息科學(xué)教授）：我沒預(yù)料到它的問世，我覺得沒人能料到。但我有所準(zhǔn)備，因?yàn)橹?GPT - 3 給過我類似的沖擊體驗(yàn)。

·R?托馬斯?麥科伊（耶魯大學(xué)語言學(xué)系助理教授）：某個(gè)具體研究項(xiàng)目被他人類似成果搶先或淘汰，這種情況較為常見。但 ChatGPT 可不是針對(duì)某個(gè)具體項(xiàng)目，它讓整個(gè)類別的 NLP 研究都失去了意義。對(duì)學(xué)術(shù)界而言，很多 NLP 領(lǐng)域的前沿研究方向，要么不再引人關(guān)注，要么不再具備實(shí)踐價(jià)值。

·山姆?鮑曼（Anthropic 技術(shù)人員）：感覺整個(gè)領(lǐng)域徹底改頭換面了。

·伊茲?貝爾塔吉：在 EMNLP（自然語言處理實(shí)證方法會(huì)議，該領(lǐng)域頂尖會(huì)議之一）期間，我真切感受到了那種恐慌和迷茫。會(huì)議在 12 月舉行，ChatGPT 發(fā)布僅一周后。所有人都還驚魂未定，有人甚至直言：“這會(huì)是最后一屆 NLP 會(huì)議嗎？” 午餐時(shí)間、雞尾酒會(huì)上，還有走廊交談時(shí)，大家都在問同一個(gè)問題：“我們還能研究什么？”

·納茲寧?拉賈尼（Collinear AI 創(chuàng)始人兼首席執(zhí)行官）：我剛在 EMNLP 上發(fā)表了主題演講。幾天后，我在 Hugging Face 的上司、聯(lián)合創(chuàng)始人之一湯姆?沃爾夫給我發(fā)消息說：“嘿，能盡快跟我通個(gè)電話嗎？” 他告訴我，公司已經(jīng)辭退了一些研究團(tuán)隊(duì)成員，剩下的人要么做預(yù)訓(xùn)練，要么做后訓(xùn)練 —— 也就是說，要么構(gòu)建基礎(chǔ)模型，要么基于基礎(chǔ)模型打造類似 ChatGPT 的指令跟隨模型。他還說：“要是你還想留在 Hugging Face，我建議你選其中一條路。” 這感覺和 Hugging Face 的企業(yè)文化背道而馳。在此之前，大家基本都能自由開展自己想做的研究。這種變化真的讓人不太舒服。

ChatGPT 的出現(xiàn)也從底層帶來了令人警醒的現(xiàn)實(shí) —— 一位杰出的 NLP 專家在 ChatGPT 發(fā)布后的幾周里，親身在本科教學(xué)中體會(huì)到了這一點(diǎn)。

·克里斯蒂安娜?費(fèi)爾鮑姆（普林斯頓大學(xué)語言學(xué)與計(jì)算機(jī)科學(xué)教授級(jí)講師）：我們新學(xué)期才剛開始。上課前，一個(gè)我還不認(rèn)識(shí)的學(xué)生來找我，給我看了一篇署名是我、標(biāo)題也眼熟的論文，說：“我特別想上您的課，我研究了您的作品，發(fā)現(xiàn)了這篇論文，但有些問題想請(qǐng)教您，您能解答一下嗎？” 我當(dāng)然欣然答應(yīng)，還挺開心有人研究我的成果。我翻看論文，努力回憶內(nèi)容，這時(shí)他突然爆笑起來。我問他：“有什么好笑的？” 他說：“這篇論文是 ChatGPT 寫的。我讓它‘以克里斯蒂安娜?費(fèi)爾鮑姆的風(fēng)格寫篇論文’，就得到了這個(gè)。” 當(dāng)時(shí)離上課只剩 10 分鐘，我沒逐字細(xì)讀，但看上去確實(shí)很像我會(huì)寫的東西。我完全被糊弄了。走進(jìn)教室后，我滿腦子都是：“我該怎么辦？”

在接下來的一年里，博士生們也不得不面對(duì)新的現(xiàn)實(shí)。ChatGPT 威脅到了他們的研究項(xiàng)目，甚至可能影響到他們的學(xué)術(shù)生涯。不同人應(yīng)對(duì)的方式和效果各不相同。

·克里斯托弗?卡利森 - 伯奇：在這種情況下，有終身教職會(huì)輕松一些。但年輕學(xué)者面臨的危機(jī)更直接、更強(qiáng)烈。有些博士生甚至組建了互助小組。

·利亞姆?杜根（賓夕法尼亞大學(xué)四年級(jí)博士生）：我們只能互相傾訴、彼此安慰。很多比我年級(jí)高、已經(jīng)開始寫博士論文的同學(xué)，都不得不徹底改變研究方向。很多之前的研究思路，感覺已經(jīng)沒有學(xué)術(shù)價(jià)值了，現(xiàn)在只要應(yīng)用語言模型，一切就解決了。奇怪的是，我認(rèn)識(shí)的人里沒人直接放棄，但確實(shí)有人在消極怠工，或是變得很消極、很憤世嫉俗。

·雷?穆尼（德克薩斯大學(xué)奧斯汀分校人工智能實(shí)驗(yàn)室主任）：我?guī)У囊粋€(gè)研究生甚至考慮退學(xué)，他們覺得或許行業(yè)里才有真正的發(fā)展機(jī)會(huì)，學(xué)術(shù)界已經(jīng)不行了。我當(dāng)時(shí)想，他們這么想也許沒錯(cuò)。不過我很高興他們最后決定留下來。

·朱莉?卡利尼（斯坦福大學(xué)計(jì)算機(jī)科學(xué)二年級(jí)博士生）：2023 年我剛開始讀博，感覺前途未卜。我完全不確定自己的研究方向該怎么定，但大家都跟我處境一樣。我只能試著接受現(xiàn)狀，努力夯實(shí)機(jī)器學(xué)習(xí)的基礎(chǔ)知識(shí)。只專注于大語言模型這種可能轉(zhuǎn)瞬即逝的熱門趨勢(shì)，可不是明智之舉。

與此同時(shí)，從西雅圖到南非，NLP 研究人員受到了全球潮水般的關(guān)注，但并非所有關(guān)注都是正面的。

·武科西?馬里瓦泰（比勒陀利亞大學(xué) ABSA UP 數(shù)據(jù)科學(xué)主席，Masakhane 聯(lián)合創(chuàng)始人）：2023 年，我都記不清自己做了多少場(chǎng)關(guān)于大語言模型的講座。以前，多年來我一直努力讓大家關(guān)注這個(gè)領(lǐng)域，告訴他們 “這里面有很多有趣的東西”。但突然之間，鋪天蓋地都是 “來給我們講講這是怎么回事” 的請(qǐng)求。

·山姆?鮑曼：這個(gè)領(lǐng)域一下子從相對(duì)冷門變得熱門起來，我甚至?xí)湍切┰谕粋€(gè)月里見過教皇和總統(tǒng)的人共進(jìn)午餐。

·艾米麗?M?本德（華盛頓大學(xué)語言學(xué)系教授，2024 年計(jì)算語言學(xué)協(xié)會(huì)主席）：從 1 月到 6 月，我數(shù)了一下，只有 5 個(gè)工作日沒有媒體聯(lián)系我。幾乎一刻都不停歇。

·埃莉?帕夫利克（布朗大學(xué)計(jì)算機(jī)科學(xué)與語言學(xué)助理教授，谷歌 DeepMind 研究科學(xué)家）：在 ChatGPT 出現(xiàn)之前，我覺得自己可能只和記者打過一兩次交道。但 ChatGPT 問世后，我上了《60 分鐘》節(jié)目。工作性質(zhì)發(fā)生了天翻地覆的變化。

·克里斯托弗?卡利森 - 伯奇：我感覺自己的工作不再只是面向一小群研究生和本領(lǐng)域其他研究人員的學(xué)術(shù)工作，而是突然有了一項(xiàng)重要的責(zé)任 —— 科學(xué)傳播。我還受邀到國(guó)會(huì)作證。

·利亞姆?杜根：作為一名二年級(jí)博士生，我突然在采訪中被要求發(fā)表自己的觀點(diǎn)。一開始，我還覺得很酷，心想 “我居然成專家了！” 但后來就不那么興奮了，反而覺得壓力很大，比如被問到 “你認(rèn)為這個(gè)領(lǐng)域未來會(huì)怎么發(fā)展？” 我哪知道啊，為什么要來問我？當(dāng)然，我還是會(huì)自信地回答。但這真的很荒唐，相關(guān)論文成千上萬，每個(gè)人都對(duì)現(xiàn)狀有自己的看法，可大多數(shù)人根本就沒搞清楚狀況。

·山姆?鮑曼：一方面，這個(gè)領(lǐng)域迎來了前所未有的關(guān)注，很多來自不同領(lǐng)域的優(yōu)秀人才都開始關(guān)注 NLP；但另一方面，也充斥著大量噪音，大家無時(shí)無刻不在討論，很多觀點(diǎn)都是隨口一說，毫無道理。這既讓人欣喜，又讓人無奈。

·納茲寧?拉賈尼：那一年就像坐過山車一樣。

2023 年 12 月，ChatGPT 發(fā)布一年后，年度 EMNLP 會(huì)議在新加坡再次召開。

·利亞姆?杜根：會(huì)議的熱度比之前高了很多，arXiv（預(yù)印本平臺(tái)）上的研究成果如潮水般涌來。走在會(huì)議大廳里，到處都在討論語言模型的提示工程和評(píng)估。感覺和以前大不一樣了，至少參會(huì)的人好像比有價(jià)值的研究想法還多。這里已經(jīng)不太像 NLP 的會(huì)議了，更像是 AI 的會(huì)議。

變革之中（2024 - 2025 年）：大語言模型研究、資金以及邁向AI

對(duì)于 NLP 領(lǐng)域來說，大語言模型帶來的影響已經(jīng)十分明顯，而不同的人對(duì)這些影響也有不同的看法。

·R?托馬斯?麥科伊：每當(dāng)你研究一個(gè) AI 系統(tǒng)的能力時(shí)，都應(yīng)該去研究那些我們能夠獲取其訓(xùn)練數(shù)據(jù)的系統(tǒng)。但目前在這個(gè)領(lǐng)域，主流做法并非如此。從這個(gè)角度講，我們更像是 “大語言模型研究者”，而非嚴(yán)謹(jǐn)?shù)目茖W(xué)家。

·埃莉?帕夫利克：我完全承認(rèn)自己也有這樣的問題。我在做報(bào)告時(shí)經(jīng)常說：“現(xiàn)在，我們都在研究語言模型?！?我知道這看起來目光短淺。但從長(zhǎng)遠(yuǎn)的研究規(guī)劃來看，這是有必要的。在我看來，如果不搞清楚 “大語言模型在做什么”，就無法真正理解語言。

·卡利卡?巴利（微軟印度研究院高級(jí)首席研究員）：每次西方主導(dǎo)的技術(shù)變革出現(xiàn)時(shí)，總會(huì)引發(fā)一些哲學(xué)層面的思考。但在全球南方的大多數(shù)地區(qū)，我們更關(guān)心 “如何讓這項(xiàng)技術(shù)為我們當(dāng)下所用”。舉個(gè)小例子，ChatGPT 出現(xiàn)后，印度很多人最初的想法是，讓生成式語言模型用英語完成任務(wù)，然后通過翻譯系統(tǒng)轉(zhuǎn)換成其他語言。但機(jī)器翻譯很生硬，如果數(shù)學(xué)題里有 “約翰和瑪麗要分一個(gè)基圍蝦派”（key lime pie，實(shí)際是青檸派，但直譯為基圍蝦派會(huì)造成理解偏差），翻譯成印地語后，印度的大多數(shù)人根本不知道 “基圍蝦派” 是什么。除非模型本身能理解這些內(nèi)容，否則怎么把它翻譯成符合當(dāng)?shù)匚幕谋硎瞿?？這讓我對(duì)如何解決這類問題產(chǎn)生了濃厚興趣。

·伊茲?貝爾塔吉（艾倫人工智能研究所首席研究科學(xué)家，SpiffyAI 首席科學(xué)家兼聯(lián)合創(chuàng)始人）：你會(huì)意識(shí)到，為了推動(dòng)這個(gè)領(lǐng)域繼續(xù)發(fā)展，必須打造出那些龐大且昂貴的研究成果。就像大型強(qiáng)子對(duì)撞機(jī)，沒有這樣的設(shè)備，實(shí)驗(yàn)物理學(xué)就很難取得進(jìn)展。我很幸運(yùn)能在艾倫人工智能研究所（Ai2）工作，這里的資源比大多數(shù)學(xué)術(shù)實(shí)驗(yàn)室都要豐富。ChatGPT 的出現(xiàn)讓我們清楚地看到，OpenAI 和其他機(jī)構(gòu)之間存在著巨大差距。所以之后，我們立刻開始思考如何從頭打造類似的成果，后來也確實(shí)這么做了。2024 年，Ai2 推出的 OLMo 模型，為日益擁擠的行業(yè)語言模型市場(chǎng)提供了一個(gè)完全開源的選擇。與此同時(shí)，一些持續(xù)研究這些商業(yè)語言模型（在 ChatGPT 引發(fā)的 AI 熱潮之后，它們?cè)谝?guī)模、能力和復(fù)雜性上都不斷提升）的研究人員，開始遇到新的阻力。

·崔藝珍（斯坦福大學(xué)計(jì)算機(jī)科學(xué)教授，2022 年麥克阿瑟獎(jiǎng)得主）：2023 年末，我發(fā)表了一篇論文，展示了最新的 GPT 模型在處理乘法運(yùn)算時(shí)的奇怪現(xiàn)象：當(dāng)數(shù)字達(dá)到三位數(shù)或四位數(shù)時(shí)，它的表現(xiàn)會(huì)急劇下降。這篇論文引發(fā)了極大的爭(zhēng)議。那些根本不做實(shí)證研究的人質(zhì)疑我：“你的實(shí)驗(yàn)做對(duì)了嗎？” 這種情況以前從未發(fā)生過。他們的反應(yīng)很情緒化。我其實(shí)很欣賞這些人，但他們的反應(yīng)還是讓我很驚訝，我沒想到這個(gè)模型在他們心中的地位如此重要，就好像我批評(píng)的是他們的寶貝一樣，這真的讓我大開眼界。在科學(xué)研究中，毫無根據(jù)的炒作毫無益處。我認(rèn)為更嚴(yán)謹(jǐn)?shù)匮芯看笳Z言模型的基本能力和局限性非常重要，這也是我 2024 年的主要研究方向。但我發(fā)現(xiàn)自己陷入了一個(gè)尷尬的境地：總是在指出模型做不到的事情，感覺自己像個(gè)唱反調(diào)的人。雖然我覺得這很重要，但我也不想只做這一件事。所以最近我也在思考很多其他不同的研究問題。

·塔爾?林曾（紐約大學(xué)語言學(xué)與數(shù)據(jù)科學(xué)副教授，谷歌研究科學(xué)家）：有時(shí)候我們假裝在進(jìn)行科學(xué)探討，但參與討論的某些人所在的公司可能價(jià)值 500 億美元，這種情況下的討論就變得很復(fù)雜。

研究熱潮、大量資金涌入以及過度的炒作，讓 NLP 和 AI 之間本就不明顯的界限徹底消失了。研究人員不僅要面對(duì)自身的新機(jī)遇和激勵(lì)因素，還要考慮整個(gè)領(lǐng)域的發(fā)展方向。

·納茲寧?拉賈尼：大語言模型為我打開了很多原本不存在的機(jī)會(huì)之門。我是最早一批獲取數(shù)據(jù)并在開源環(huán)境中復(fù)現(xiàn) ChatGPT 的人之一，基本上可以說我寫了相關(guān)的 “操作指南”，這真的很棒。也正因如此，我的初創(chuàng)公司獲得了一筆不錯(cuò)的種子輪融資。

·R?托馬斯?麥科伊：只要是和 AI 沾邊的大學(xué)教師，都會(huì)被視為 AI 領(lǐng)域的專家 —— 某種程度上被定型了。我很樂意研究 AI，因?yàn)閼{借我的專業(yè)技能，這是最有影響力的研究方向之一。但真正讓我開心的，是深入鉆研語法和人類認(rèn)知中那些有趣的細(xì)節(jié)。雖然這也能和 AI 發(fā)展聯(lián)系起來，但這條路還很長(zhǎng)。

·朱莉?卡利尼：這其實(shí)就是語義的問題，對(duì)吧？就我個(gè)人而言，我覺得自己同時(shí)涉足 NLP、計(jì)算語言學(xué)和 AI 領(lǐng)域。我知道每個(gè)領(lǐng)域都有各自的研究群體，但也有很多人在多個(gè)領(lǐng)域之間跨界。

·朱利安?邁克爾（Scale AI 安全、評(píng)估與校準(zhǔn)實(shí)驗(yàn)室主任）：如果 NLP 領(lǐng)域不做出改變，就會(huì)逐漸被淘汰。我覺得在一定程度上，這種情況已經(jīng)發(fā)生了。說這話讓我很難過。我現(xiàn)在已經(jīng)是一名 AI 校準(zhǔn)研究員了。

·安娜?羅杰斯（哥本哈根信息技術(shù)大學(xué)計(jì)算機(jī)科學(xué)副教授，ACL 滾動(dòng)評(píng)論主編）：我并不擔(dān)心。主要是因?yàn)槲矣X得我們還遠(yuǎn)沒有解決自然語言處理的問題。如果你認(rèn)為 “就這樣了，語言處理問題已經(jīng)解決了”，那才應(yīng)該感到沮喪，但我不這么認(rèn)為。

·克里斯托弗?波茨（斯坦福大學(xué)語言學(xué)系主任）：對(duì)語言學(xué)和 NLP 領(lǐng)域來說，現(xiàn)在應(yīng)該是一個(gè)極具意義的時(shí)刻。這其中的風(fēng)險(xiǎn)和機(jī)遇都非常大。也許這就是一個(gè)領(lǐng)域覺醒的時(shí)刻，大家意識(shí)到自己如今擁有了巨大的影響力。你不能再假裝自己只是一個(gè)默默做研究、只為了學(xué)術(shù)而研究的科研或工程領(lǐng)域了 —— 因?yàn)楝F(xiàn)在全世界的資金都在涌入這個(gè)領(lǐng)域，所有大公司都想在這個(gè)領(lǐng)域施加影響，語言模型也在各個(gè)地方廣泛應(yīng)用。既然取得了這么大的成果，就必須接受隨之而來的激烈爭(zhēng)論。不然還能怎樣呢？

大語言模型是一次范式轉(zhuǎn)變嗎？

不出所料，人們對(duì)此觀點(diǎn)不一。

·塔爾?林曾：如果在 5 年、7 年或 10 年前有人問我，我絕對(duì)想不到，僅僅在語言模型里輸入一條指令，它就能按照要求把句子補(bǔ)充完整。我覺得當(dāng)時(shí)沒人能想到這會(huì)成為如今的范式?，F(xiàn)在我們只需要一個(gè)交互界面，就能完成各種任務(wù)。

·安娜?羅杰斯：作為一名語言學(xué)家，我不這么認(rèn)為。從 2013 年詞向量時(shí)代開始，整個(gè)研究的核心思路就是遷移學(xué)習(xí) —— 從大量文本數(shù)據(jù)中學(xué)習(xí)知識(shí)，希望這些知識(shí)能在其他任務(wù)中發(fā)揮作用。這些年，模型的受歡迎程度、架構(gòu)以及公眾的看法都發(fā)生了變化，但這個(gè)核心原則并沒有改變。

·杰夫?米切爾（薩塞克斯大學(xué)計(jì)算機(jī)科學(xué)與人工智能助理教授）：我覺得企業(yè)利益改變了這個(gè)領(lǐng)域的游戲規(guī)則。

·埃莉?帕夫利克：我認(rèn)為媒體的介入產(chǎn)生了很大影響。我們領(lǐng)域的科學(xué)家意識(shí)到，成功可以意味著在 NLP 領(lǐng)域之外也獲得知名度，受眾突然變了?，F(xiàn)在arxiv.org上的論文標(biāo)題常常是為了吸引記者或硅谷愛好者的關(guān)注，而不是為了吸引教授們。這是一個(gè)巨大的變化。

·武科西?馬里瓦泰：我認(rèn)為在某些方面，進(jìn)入這個(gè)領(lǐng)域的門檻既降低了，又提高了。說降低，是因?yàn)槲覀儗?duì)這些系統(tǒng)內(nèi)部的實(shí)際運(yùn)行機(jī)制還有很多不了解的地方，所以很多研究只是盡可能地對(duì)它們進(jìn)行測(cè)試和探索。在這種情況下，你并不需要對(duì)神經(jīng)網(wǎng)絡(luò)架構(gòu)了如指掌。但同時(shí)門檻也提高了，因?yàn)橐肷钊胙芯窟@些架構(gòu)，從計(jì)算資源的角度來說，你必須處于一個(gè)資源非常豐富的環(huán)境中。

·艾米麗?M?本德：我看到一種巨大的轉(zhuǎn)變，人們?cè)絹碓絻A向于使用聊天機(jī)器人或相關(guān)的文本生成機(jī)器來實(shí)現(xiàn)端到端的解決方案。但我認(rèn)為這是一條死胡同。

·克里斯蒂安娜?費(fèi)爾鮑姆：我甚至覺得可以稱之為巨大的轉(zhuǎn)變或沖擊，這些大語言模型變得如此強(qiáng)大，以至于我們不得不思考：“人類在其中處于什么位置？” 這就是一種范式轉(zhuǎn)變：技術(shù)上的轉(zhuǎn)變，這些模型的訓(xùn)練方式以及它們的學(xué)習(xí)能力都發(fā)生了變化。當(dāng)然，還有教育方面的影響，就像我在課堂上遇到的情況。這些問題讓我夜不能寐。

·R?托馬斯?麥科伊：在語言學(xué)領(lǐng)域，有很多歷史上一直停留在哲學(xué)層面的爭(zhēng)論，如今突然可以通過實(shí)證進(jìn)行檢驗(yàn)了。這絕對(duì)是一個(gè)重大的范式轉(zhuǎn)變。但從另一個(gè)角度看，10 年前這個(gè)領(lǐng)域的研究模式是：人們創(chuàng)建一些數(shù)據(jù)集，用神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行處理，然后觀察結(jié)果?，F(xiàn)在這種模式依然存在，只是數(shù)據(jù)集和神經(jīng)網(wǎng)絡(luò)的規(guī)模都變得更大了。

·克里斯托弗?波茨：也許科學(xué)發(fā)展一直都是這樣，范式轉(zhuǎn)變的標(biāo)志就是曾經(jīng)認(rèn)為重要的問題如今不再被提及。在過去五年里，這種情況似乎真的發(fā)生了。我曾經(jīng)專注于情感分類，比如 “給我一個(gè)句子，我能判斷它表達(dá)的是積極還是消極情緒”。但現(xiàn)在整個(gè)領(lǐng)域都聚焦于自然語言生成，與這個(gè)方向相比，我們?cè)?jīng)認(rèn)為核心的問題都變得邊緣化了。我猜這些話可能很快就會(huì)過時(shí)。也許到 2030 年，我們回頭看會(huì)覺得現(xiàn)在這些根本不算什么，和 2029 年發(fā)生的事情相比簡(jiǎn)直不值一提。

所以，你認(rèn)為大語言模型究竟是不是一次“范式轉(zhuǎn)變”？