編輯 | 冬梅

在 Meta 豪擲 143 億美元入股競爭對手 Scale AI 時，這家由谷歌前工程師創(chuàng)立、員工僅為對手十分之一的公司，已悄然實現(xiàn)了年營收超 10 億美元的業(yè)績，且從未接受外部投資。

AI 競技場上，聚光燈總在追逐著 OpenAI、Google 等發(fā)布下一個萬億參數(shù)模型的明星。而決定模型“思維”與“品格”的訓(xùn)練數(shù)據(jù)，則像被遺忘的地基。

硅谷正上演一幕對比鮮明的戲?。阂贿吺?Meta 豪擲 143 億美元收購數(shù)據(jù)標(biāo)注公司 Scale AI 近半股份，使其創(chuàng)始人亞歷山大·王成為硅谷紅人。

另一邊，是其低調(diào)的對手 Surge AI：成立近五年沒有任何融資、過去兩年幾乎不發(fā)新聞稿、員工僅為對手十分之一，卻悄悄實現(xiàn)了超過 10 億美元的營收，在財務(wù)上已超越獲得巨資的 Scale AI。

這次故事的主角輪到了 Edwin Chen。

Surge AI 的創(chuàng)始人兼 CEO Edwin Chen 是一位美籍華裔，曾在 Massachusetts Institute of Technology（MIT）學(xué)習(xí)數(shù)學(xué)與語言學(xué)。畢業(yè)后，Edwin 踏入職場 —— 他曾在包括 Google、 Meta Platforms（前身 Facebook）以及 Twitter 等科技公司工作，負(fù)責(zé)機器學(xué)習(xí)、人類計算與內(nèi)容審核等項目。通過這些經(jīng)歷，他親眼見到一個嚴(yán)峻問題：即便是資源雄厚的大廠，在把海量原始數(shù)據(jù)轉(zhuǎn)化為高質(zhì)量、“適合用于訓(xùn)練 AI 模型”的數(shù)據(jù)時，也常因標(biāo)注粗糙、質(zhì)量參差不齊而失敗。

有一次，他參與的一個項目需要人工標(biāo)注五萬條信息流，然而外包結(jié)果令他震驚——俚語、梗圖、社交語境、歧義表達(dá)……這些“低級錯誤”層出不窮，使得輸出數(shù)據(jù)幾乎無法用于高質(zhì)量模型訓(xùn)練。正是這個經(jīng)歷，讓 Edwin 意識到：整個行業(yè)，哪怕是頂級公司，也嚴(yán)重低估了“數(shù)據(jù)質(zhì)量”對未來 AI 的關(guān)鍵性。

于是，在 2020 年，他做出了一個大膽決定：離開舒適安穩(wěn)的工作，創(chuàng)立一家專注“高質(zhì)量、高復(fù)雜度、人類標(biāo)注 + AI 訓(xùn)練基礎(chǔ)設(shè)施”的公司。Surge AI 由此誕生。

為了保證數(shù)據(jù)質(zhì)量，Surge AI 構(gòu)建了一套復(fù)雜的技術(shù)和篩選體系。

公司組建了一個名為“Surge Force”的精英標(biāo)注員網(wǎng)絡(luò)，準(zhǔn)入門檻極高。申請者除了需要過硬的專業(yè)背景，還需提交 5 道試寫題目，經(jīng)另一名資深標(biāo)注員審核通過后才可加入。

該網(wǎng)絡(luò)不僅包括來自全球的專業(yè)人士，甚至聘請了斯坦福、普林斯頓和哈佛的教授來參與訓(xùn)練 AI，旨在將人類的專業(yè)知識、創(chuàng)造力和價值觀編碼進數(shù)據(jù)。

更重要的是，Surge AI 開發(fā)了先進的人機協(xié)同系統(tǒng)和算法來保障質(zhì)量。系統(tǒng)精細(xì)追蹤每一位標(biāo)注者的數(shù)千個行為信號，并用機器學(xué)習(xí)反向分析，以檢測和對抗低質(zhì)量標(biāo)注行為。

他們發(fā)現(xiàn)，即使是麻省理工學(xué)院的畢業(yè)生也可能試圖用各種方式“欺騙”系統(tǒng)。因此，單純依賴“聰明人”無法保證質(zhì)量，必須依靠技術(shù)體系。

這樣可靠的數(shù)據(jù)支持，為 Surge AI 贏得了最頂尖的客戶群和極高的議價能力。

公司的客戶名單幾乎囊括了所有 AI 巨頭：OpenAI、Anthropic、谷歌、微軟、Meta。僅 Meta 的生成式 AI 部門，2024 年在 Surge AI 的服務(wù)上支出就超過 1.5 億美元。

憑借扎實的技術(shù)和高門檻的服務(wù)，Surge AI 在成立第一年就實現(xiàn)了盈利。

在這樣一家?guī)缀跻圆豢赡芩俣仍鲩L的公司背后，人們最好奇的往往不是商業(yè)數(shù)字本身，而是推動這一切的第一性原理：Surge 是如何構(gòu)建出業(yè)內(nèi)最可靠的數(shù)據(jù)質(zhì)量體系？為什么 Edwin 堅持在沒有外部資本加持的前提下，將公司推向十億美元規(guī)模？在模型能力指數(shù)級攀升的當(dāng)下，數(shù)據(jù)、評價與訓(xùn)練環(huán)境究竟扮演著怎樣的戰(zhàn)略角色？

近日，Edwin 做客《Lenny's Podcast》，與 Lenny 展開了一場深入的對話。在對話中，Edwin 以他一貫的清晰邏輯和務(wù)實風(fēng)格，講述了 Surge 的起點、它如何服務(wù)未來的 AI 基礎(chǔ)設(shè)施，以及為何數(shù)據(jù)公司有機會成為下一個時代真正的“基礎(chǔ)設(shè)施級企業(yè)”。

以下內(nèi)容為 InfoQ 翻譯整理，經(jīng)編輯：

成立四年 0 融資，

如今營收破 10 億美元

Lenny：我想先從你們的成績有多“夸張”說起。很多人、很多公司都在談?wù)摗柚?AI，通過極少的人手把業(yè)務(wù)規(guī)模做到巨大。而你們是第一次真正把這件事做到如此“前無古人”的程度。你們在不到 4 年時間里做到 10 億美元營收，員工也就 60～70 人的樣子，而且完全沒有融資、沒有 VC。我相信沒人做到過這一點。你們真正實現(xiàn)了外界口中“AI 時代企業(yè)的夢想”。我很好奇：你覺得未來是否會出現(xiàn)越來越多這種情況？另外，AI 在哪里最幫你們實現(xiàn)了這種杠桿效應(yīng)？

Edwin：我們?nèi)ツ隊I收超過 10 億美元時，公司還不到 100 人。我認(rèn)為未來幾年會出現(xiàn)更極端的公司，例如“每位員工貢獻(xiàn) 1 億美元營收”這種情況一定會發(fā)生。AI 會越來越強、越來越高效，這個比例是不可避免的。

我以前在多家大型科技公司工作時就感覺，其實裁掉 90% 的人，公司反而會更快，因為真正厲害的人經(jīng)常被各種無關(guān)事務(wù)拖累。我們創(chuàng)辦 Surge 時，就決定完全用不一樣的方式做公司——一個極小、極精英的團隊。最瘋狂的是，我們真的做到了。

我覺得現(xiàn)在有兩個趨勢正在碰撞：大家開始意識到，企業(yè)并不需要龐大組織來成功。此外，AI 帶來的效率會徹底改變公司構(gòu)建方式。 最讓我興奮的是：未來公司不僅變“更小”，類型也會變得“根本不同”。團隊越小，需要的資本越少也就意味著不需要融資。

沒有融資，就不需要靠能講故事、善于 pitch 的創(chuàng)始人，而是給真正懂技術(shù)、懂產(chǎn)品的人更多機會。

產(chǎn)品也會從過去那種“為了營收、為了 VC 喜好”設(shè)計，轉(zhuǎn)向真正有意思、由一群癡迷的小團隊打造的東西。大家會去做自己真正關(guān)心的東西，做真正的技術(shù)創(chuàng)新。我真心希望硅谷能回到“黑客創(chuàng)造時代”。

Lenny：你們做了很多“反傳統(tǒng)”的事情，比如幾乎沒人看到你們在 LinkedIn、Twitter 上宣傳。很多人甚至直到最近才知道 Surge，然后你們就突然宣布營收 10 億、增長最快的公司。為什么要這么做？我猜這是很刻意的選擇？

Edwin：我們從一開始就不想玩硅谷那套游戲。想想看：你小時候夢想做什么？是為了每天寫代碼、做產(chǎn)品，還是為了向 VC 解釋你的每一個決策、跳上公關(guān)與融資的“倉鼠輪”？不融資確實讓一切更難，因為只要你融資了，你自然會被納入硅谷產(chǎn)業(yè)鏈：VC 會幫你發(fā)推文，媒體會報道你，他們會因為你的估值寫文章。

我們沒做這些，所以我們唯一能成功的方式，就是打造比別人好 10 倍的產(chǎn)品，讓最懂?dāng)?shù)據(jù)的研究者通過口碑發(fā)現(xiàn)我們。

雖然這么做并不容易，但這也帶來好處：我們的早期客戶是那些真正理解數(shù)據(jù)質(zhì)量、真正關(guān)心 AI 模型效果的人。他們會給我們最有價值的反饋，和我們在同一使命上。所以雖然更難，但這是“對的困難”。

Surge AI 到底做什么？

Lenny：為了不太了解 Surge 的聽眾，你能快速解釋一下你們是做什么的嗎？

Edwin：我們本質(zhì)上是在“教 AI 模型什么是好、什么是壞”。我們用真人數(shù)據(jù)訓(xùn)練模型 —— 包括 SFT、RHF、Rubrics、Verifiers、R 環(huán)境等等各種系統(tǒng)。我們也測量模型在訓(xùn)練后進步了多少。所以，我們是一家“數(shù)據(jù)公司”。

Lenny：你們成功的最大原因之一，是數(shù)據(jù)質(zhì)量遠(yuǎn)高于別人。但什么叫更高質(zhì)量的數(shù)據(jù)？你們到底做了哪些不一樣的事情？大多數(shù)人忽略了什么？

Edwin：很多人甚至不知道“質(zhì)量”是什么意思。他們以為多找點人干活就能得到好數(shù)據(jù)，這是完全錯誤的。舉個例子：假設(shè)你要訓(xùn)練模型寫一首關(guān)于“月亮”的詩。低質(zhì)量的理解方式是：是不是詩？有沒有 8 行？有沒有“月亮”這個詞？符合這些勾選項，他們就說“合格”。

但我們想要的，是“諾貝爾文學(xué)獎級別”的詩。我們要的是：是否獨特？意象是否細(xì)膩？是否能觸動情感、引發(fā)思考？是否教會你關(guān)于月光的新東西？這種“質(zhì)量”高度主觀、復(fù)雜，難以衡量，需要大量技術(shù)來測量。

我們必須收集數(shù)千個信號：每個標(biāo)注者的背景與擅長領(lǐng)域、他們寫詩 vs 寫論文 vs 寫技術(shù)文檔的表現(xiàn)、鍵盤輸入節(jié)奏、回答速度、其他人對他們內(nèi)容的評價、模型在使用他們的數(shù)據(jù)后是否變得更好。

就像 Google 搜索：第一層：把最差的內(nèi)容過濾掉；第二層：找到最好的內(nèi)容；Surge 做的是第二層，也是最難的一層。

Lenny：聽起來你們做的不是簡單的標(biāo)注，而是深入理解每個垂直領(lǐng)域中的“好是什么”。這是通過雇傭?qū)＜覇?？還是靠你們定義的評估體系？具體怎么運作？

Edwin：我們會收集你在平臺上所有行為的“上千個信號”，例如：鍵盤輸入、回答速度、代碼規(guī)范、同行評價，我們訓(xùn)練的模型對你產(chǎn)出的內(nèi)容的判斷，然后我們會判斷你是否真正能提升模型性能。

就像 Google 用各種信號決定一個網(wǎng)頁是否優(yōu)秀一樣，我們也用信號決定哪些標(biāo)注者是“最好的”，哪些項目適合哪些人，哪些內(nèi)容能夠真正提升模型能力，最終它其實是一個復(fù)雜的機器學(xué)習(xí)問題。

為什么 Claude 的

代碼能力領(lǐng)先那么久？

Lenny：過去幾年我一直很好奇一件事：Claude 在寫代碼與寫作上長期領(lǐng)先其他模型，而經(jīng)濟價值又這么大，但其他公司花了非常久才追上來。所有 AI 編碼產(chǎn)品都建立在 Claude 上，因為它實在太強了。為什么 Claude 這么強？只是數(shù)據(jù)質(zhì)量好嗎？

Edwin：數(shù)據(jù)當(dāng)然是非常重要的因素，但還有其他部分。一個模型的數(shù)據(jù)選擇是無限維度的，比如：人類數(shù)據(jù) vs 合成數(shù)據(jù)的比例，在代碼領(lǐng)域，是更重視前端還是后端？是重視前端的視覺設(shè)計，還是代碼效率？要不要為了 PR 去優(yōu)化那些學(xué)術(shù)基準(zhǔn)？目標(biāo)函數(shù)到底是什么？最關(guān)鍵的是：

后訓(xùn)練是一門“藝術(shù)”，不是純科學(xué)。

不同團隊“品味”不同，導(dǎo)致有的模型寫出的 UI 更簡潔，有的模型邏輯性更強，有的模型更偏向于“工程師口味”。這種“品味”影響你要的數(shù)據(jù)類型，最終影響模型能力。Anthropic 靠“更好的數(shù)據(jù)”獲得巨大增長是事實。

Lenny：現(xiàn)在所有模型發(fā)布都會說“我們在各大基準(zhǔn)上超過人類、排名第一”，但普通人感覺模型并沒有那么大突破。你怎么看基準(zhǔn)測試？它們和真實 AI 進步的相關(guān)性如何？

Edwin：坦白說，我完全不相信這些基準(zhǔn)。理由有兩個：第一，基準(zhǔn)本身經(jīng)常是錯誤的，它里面有錯誤答案，題目混亂且結(jié)構(gòu)不嚴(yán)謹(jǐn)，即便研究人員自己也沒意識到問題有多大。

第二，基準(zhǔn)太“客觀”，太容易被模型刷分。模型能拿到 IMO（國際數(shù)學(xué)奧林匹克）金牌，但仍然無法穩(wěn)定解析 PDF。為什么？因為 IMO 題目是“客觀答案”，而解析 PDF 是混亂的真實世界問題，所以模型“爬分”很容易，但解決真實世界問題很難。

Lenny：聽起來這些基準(zhǔn)更多是營銷工具。比如 Gemini 3 發(fā)布時就會說：“我們在所有基準(zhǔn)中第一！”是不是因為公司會刻意訓(xùn)練模型去刷這些題？

Edwin：是的，情況可以分為兩種：一種是有些基準(zhǔn)會意外泄露，另一種是實驗室會調(diào)整系統(tǒng)提示詞、運行次數(shù)等方式，優(yōu)化到更高分。

Lenny：我們換個稍微不同的方向，聊聊另一個可能有些反主流敘事的觀點。我猜你看過《Lex Fridman Podcast》采訪 Richard Sutton 的那期節(jié)目吧？即使沒看過，他們基本上聊了這樣一個話題：Richard Sutton，那位著名的人工智能研究員，提出了著名的“苦澀的教訓(xùn)”這個梗。他談到語言模型幾乎像是一條死胡同，他認(rèn)為由于它們的學(xué)習(xí)方式，我們會在語言模型上真正遇到瓶頸。你怎么看？你認(rèn)為語言模型會把我們帶到通用人工智能（AGI）甚至更遠(yuǎn)嗎？還是認(rèn)為我們需要一些新的東西或重大突破才能到達(dá)那里？

Edwin：我屬于相信需要新東西的那一陣營。我是這么想的：當(dāng)我思考訓(xùn)練時，我持一種——不知道是否該說是生物學(xué)觀點——但我相信，正如人類有無數(shù)種不同的學(xué)習(xí)方式一樣，我們也需要構(gòu)建能夠模仿所有這些方式的模型。

也許它們各自關(guān)注的重點分布會不同，我知道對你來說也會不同。但我們希望能夠模仿人類的學(xué)習(xí)能力，并確保我們擁有相應(yīng)的算法和數(shù)據(jù)，讓模型能以同樣的方式學(xué)習(xí)。所以，就語言模型與人類學(xué)習(xí)方式不同這一點而言，我認(rèn)為需要一些新的東西。

強化學(xué)習(xí)為什么越來越重要？

Lenny：這聯(lián)系到了強化學(xué)習(xí)。這是你非常看重的領(lǐng)域，而且我聽到越來越多的聲音說，它在模型訓(xùn)練后階段正變得越來越重要。你能幫大家理解一下什么是強化學(xué)習(xí)以及強化學(xué)習(xí)環(huán)境嗎？為什么它們在未來會越來越重要？

Edwin：強化學(xué)習(xí)本質(zhì)上是訓(xùn)練你的模型以達(dá)到某個特定的獎勵。讓我解釋一下什么是強化學(xué)習(xí)環(huán)境。強化學(xué)習(xí)環(huán)境本質(zhì)上是對現(xiàn)實世界的模擬。可以把它想象成構(gòu)建一個擁有完整宇宙的視頻游戲。每個角色都有真實的故事。每家企業(yè)都有你可以調(diào)用的工具和數(shù)據(jù)。所有這些不同的實體相互交互。

例如，我們可能構(gòu)建這樣一個世界：你有一家初創(chuàng)公司，里面有 G 郵件、Slack 線程、Jira 工單、Git PR 和整個代碼庫，然后突然 AWS 宕機了，Slack 也掛了。那么，模型，你該怎么辦？模型需要想辦法解決。所以，我們在這些環(huán)境中給模型分配任務(wù)。

我們?yōu)樗鼈冊O(shè)計有趣的挑戰(zhàn)，然后運行它們看其表現(xiàn)如何，接著教導(dǎo)它們。當(dāng)它們做得好或不好時，我們給予獎勵。我認(rèn)為有趣的一點是，這些環(huán)境真正展示了模型在現(xiàn)實世界端到端任務(wù)中的薄弱環(huán)節(jié)。有很多模型在孤立的基準(zhǔn)測試中看起來非常聰明，比如它們擅長單步工具調(diào)用，擅長單步指令遵循。

但突然之間，你把它們丟進這些混亂的世界里：有令人困惑的 Slack 消息、它們從未見過的工具，它們需要執(zhí)行正確的操作、修改數(shù)據(jù)庫，并在更長的時間跨度內(nèi)進行交互——它們在第一步的行為會影響第 50 步的決策。這與它們之前所處的那些學(xué)術(shù)性的單步環(huán)境非常非常不同，所以模型會以各種災(zāi)難性的方式失敗。因此，我認(rèn)為這些強化學(xué)習(xí)環(huán)境將成為模型學(xué)習(xí)的非常有趣的“游樂場”，它們本質(zhì)上是現(xiàn)實世界的模擬和模仿，所以希望相比這些人為設(shè)計的環(huán)境，模型在真實任務(wù)上能表現(xiàn)得越來越好。

Lenny：我在試著想象這具體是什么樣子。本質(zhì)上，它就像一個虛擬機，里面可能有瀏覽器或電子表格之類的東西，比如說 surge.com……那是你們的網(wǎng)站嗎？我們確認(rèn)一下，是 surge.com 嗎？

Edwin：我們實際上是 surgehq.ai。

Lenny：好的。那么，假設(shè)這是 surgehq.ai。你的工作，作為一個智能體，是確保網(wǎng)站正常運行，然后突然它宕機了。目標(biāo)函數(shù)是……找出原因。是這樣嗎？

Edwin：是的。所以目標(biāo)函數(shù)可能是……或者說任務(wù)的目標(biāo)可能是：去弄清楚原因并修復(fù)它。因此，目標(biāo)函數(shù)可能是通過一系列單元測試，也可能是撰寫一份文檔——比如一份復(fù)盤報告，其中包含與實際情況完全吻合的特定信息。我們可能會給它各種各樣的不同獎勵，以確定它是否成功。所以，我們基本上是在教導(dǎo)模型去達(dá)成那個獎勵。

本質(zhì)上，這就像讓它放手去干：“這是你的目標(biāo)，找出網(wǎng)站宕機的原因并修復(fù)它?！比缓笏烷_始利用它所有的智能嘗試各種事情。它會犯錯，你在過程中幫助它，如果它做對了方向就給予獎勵。

Lenny：那么你所描述的，這就是模型變得更智能的下一階段。更多的強化學(xué)習(xí)環(huán)境專注于……我猜是經(jīng)濟價值很高的特定任務(wù)？

Edwin：是的，沒錯。就像過去模型學(xué)習(xí)有各種不同的方法一樣——最初我們有 SFT（監(jiān)督微調(diào)）和 RLHF（基于人類反饋的強化學(xué)習(xí)），然后有了評估標(biāo)準(zhǔn)和驗證器——這是下一個階段。而且，并不是說以前的方法過時了。這只是另一種學(xué)習(xí)形式，是對之前所有類型的補充。就像模型學(xué)習(xí)的一種不同技能。

在這種情況下，它不再是某個物理學(xué)博士坐著跟模型對話、糾正它、給它評估“正確答案是什么”、創(chuàng)建評估標(biāo)準(zhǔn)等等。更多的是這個人現(xiàn)在在設(shè)計一個環(huán)境。

Lenny：我聽到的另一個例子是，就像一個財務(wù)分析師：“這是一個 Excel 電子表格，你的目標(biāo)是弄清楚我們的利潤和虧損情況。”那么現(xiàn)在，這位專家不再是坐著寫評估標(biāo)準(zhǔn)，而是在設(shè)計這個強化學(xué)習(xí)環(huán)境。

Edwin：對，正是如此。所以那個財務(wù)分析師可能會創(chuàng)建一個電子表格。他們可能會創(chuàng)建一些模型需要調(diào)用的工具來幫助填寫表格。比如，模型可能需要訪問彭博終端，它需要學(xué)習(xí)如何使用它，需要學(xué)習(xí)如何使用這個計算器，還需要學(xué)習(xí)如何進行這個計算。所以它有所有這些可以訪問的工具。然后獎勵可能是：“好的，也許我會下載那個電子表格，我想看看 B22 單元格是否包含正確的利潤虧損數(shù)字”，或者“第二個標(biāo)簽頁是否包含這條信息”。有趣的是，這更接近人類的學(xué)習(xí)方式：我們只是嘗試各種東西，弄明白什么行得通，什么行不通。

Lenny：你提到在這個過程中“軌跡”非常重要。不僅僅是“這是目標(biāo)，這是終點”，而是過程中的每一步。你能談?wù)勈裁词恰败壽E”，以及為什么它對此很重要嗎？

Edwin：我認(rèn)為人們沒有意識到的一點是，有時即使模型得到了正確答案，它也是以各種瘋狂的方式達(dá)成的。在中間過程中，它可能嘗試了 50 次都失敗了，但最終只是碰巧隨機地得到了一個正確的數(shù)字。或者，有時它的做法非常低效，或者它幾乎是“獎勵破解”式地找到了正確答案。所以我認(rèn)為關(guān)注軌跡實際上非常重要。

同時，也因為其中一些軌跡可能非常長。如果你只檢查模型是否得到了最終答案，那么就缺失了關(guān)于模型在中間步驟如何行為的大量信息。有時你希望模型通過反思其行為來得到正確答案，有時你希望它能一次性直接得到正確答案。如果你忽略所有這些，就像是在教導(dǎo)它時缺失了大量本可以教授的信息。

Lenny：我喜歡這個說法。它嘗試了一大堆東西最終才做對，你肯定不希望它學(xué)會“這就是達(dá)到目標(biāo)的方法”，因為往往有更高效的方法。你提到了在幫助模型變得更智能的旅程中我們所采取的種種步驟。由于你如此近距離地接觸這件事這么久，我認(rèn)為這對大家會很有幫助。從最早的后訓(xùn)練開始，哪些步驟最有助于模型的進步？比如評估（eval）如何融入其中？強化學(xué)習(xí)環(huán)境又是怎樣的？有哪些步驟？現(xiàn)在我們正朝著強化學(xué)習(xí)環(huán)境前進。

Edwin：最初，模型開始進行后訓(xùn)練的方式純粹是通過 SFT。SFT 代表什么？SFT 代表監(jiān)督微調(diào)。這很像……我經(jīng)常用人類學(xué)習(xí)來類比。SFT 很像模仿大師并復(fù)制他們的行為。然后 RLHF 變得非常主流，那個類比就像是：有時你通過寫 55 篇不同的文章來學(xué)習(xí)，然后有人告訴你他們最喜歡哪一篇。過去一年左右，評估標(biāo)準(zhǔn)和驗證器變得非常重要，它們就像是“通過被評分來學(xué)習(xí)”，得到關(guān)于你哪里出錯的詳細(xì)反饋?！霸u估”（eval）是另一個說法。

我認(rèn)為“評估”通常涵蓋兩個層面。一是你使用評估來進行訓(xùn)練，因為你是在評估模型是否做得好，當(dāng)它做得好時你就獎勵它。另一個概念是，你在試圖衡量模型的進展，比如：“我有五個不同的候選模型檢查點，我想選出最好的一個發(fā)布給公眾。”所以對這五個不同的檢查點進行所有這些評估，以決定哪一個最好。

Lenny：我們有了強化學(xué)習(xí)環(huán)境。這算是當(dāng)前的新熱點。對吧？

Edwin：是的，現(xiàn)在我們有強化學(xué)習(xí)環(huán)境了。它有點像現(xiàn)在的新熱門事物。我認(rèn)為我們需要構(gòu)建一套產(chǎn)品，來反映人類學(xué)習(xí)的無數(shù)種不同方式。舉個例子，想想如何成為一名偉大的作家。你不是通過死記硬背一堆語法規(guī)則而變得偉大的。你是通過閱讀偉大的書籍、練習(xí)寫作、從老師和書店買你書并留下評論的人那里獲得反饋而變得偉大的。

你注意到什么有效，什么無效。你通過接觸所有這些杰作以及糟糕的作品來培養(yǎng)品味。所以，你是通過這種無盡的實踐和反思循環(huán)來學(xué)習(xí)的。你擁有的每一種學(xué)習(xí)類型——這些對于成為偉大作家來說，都是非常不同的學(xué)習(xí)方法。同樣地，正如偉大作家可以通過一千種不同的方式變得偉大，我認(rèn)為模型也需要通過一千種不同的方式學(xué)習(xí)。

這就像最終目標(biāo)就是把你扔進環(huán)境里，看你怎么演化。但在那種演化中，有所有這些不同的子學(xué)習(xí)機制。

“我關(guān)心的不僅僅是公司營收”

Lenny：這正是我們現(xiàn)在在做的事情。所以這真的很有趣。這可能是我們達(dá)到 AGI 之前的最后一步。沿著這個思路，Surge 有一點非常獨特，我了解到你們有自己的研究團隊，我認(rèn)為這相當(dāng)罕見。談?wù)劄槭裁茨銈円谶@方面投資，以及這項投資帶來了什么？

Edwin：是的，我認(rèn)為這源于我自己的背景。我自己的背景就是一名研究員，所以我從根本上一直關(guān)心的是推動行業(yè)和研究社區(qū)的發(fā)展，而不僅僅是收入。

我認(rèn)為研究團隊的作用有幾個方面。我們公司幾乎有兩種類型的研究員：一種是“前沿部署研究員”，他們通常與我們的客戶密切合作，幫助他們理解自己的模型。我們會與客戶非常緊密地合作，幫助他們理解：“這是你的模型目前的水平。這是你落后于所有競爭對手的地方。根據(jù)你的目標(biāo)，這些是未來可能改進的方向?！?/p>

然后我們會設(shè)計這些數(shù)據(jù)集、這些評估方法、這些訓(xùn)練技術(shù)來讓他們的模型變得更好。這是一種非常協(xié)作的概念，與我們的客戶——他們自己也是研究員，只是更側(cè)重于數(shù)據(jù)方面——攜手合作，竭盡全力讓他們成為最好的。

另一種就是我們還有內(nèi)部研究員。他們專注于稍微不同的領(lǐng)域。他們專注于構(gòu)建更好的基準(zhǔn)測試和排行榜。我談了很多關(guān)于我擔(dān)心當(dāng)今的排行榜和基準(zhǔn)測試正在將模型引向錯誤方向的問題。所以，問題是我們?nèi)绾谓鉀Q這個問題？這正是我們的研究團隊目前非常非常專注的領(lǐng)域。

他們在這方面投入了大量精力。他們也在研究其他方面，比如我們需要訓(xùn)練自己的模型，看看哪種類型的數(shù)據(jù)表現(xiàn)最好，哪種類型的人員表現(xiàn)最好。所以他們也在研究所有這些訓(xùn)練技術(shù)，以及對我們自己的數(shù)據(jù)集進行評估，以改進我們的數(shù)據(jù)運營和內(nèi)部數(shù)據(jù)產(chǎn)品，從而決定什么才是高質(zhì)量的東西。

Lenny：這真是太酷了，因為我想基本上各大 AI 實驗室都有自己的研究員來幫助他們推進 AI。我猜像你們這樣的公司擁有真正從事 AI 基礎(chǔ)研究的研究員，應(yīng)該是相當(dāng)罕見的。對嗎？

Edwin：是的。我認(rèn)為這只是因為我從根本上一直關(guān)心這件事。我經(jīng)常更多地認(rèn)為我們更像一個研究實驗室，而不是一家初創(chuàng)公司，因為那就是我的目標(biāo)。有點好笑，但我總是說，我寧愿成為陶哲軒，而不是沃倫·巴菲特。那種創(chuàng)造能夠推動前沿的研究，而不僅僅是獲得某些評估結(jié)果的理念，一直是驅(qū)使我前進的動力，而且效果很好。

Lenny：這就是這件事美妙的地方。你提到你們正在招聘研究員。在這方面有什么想分享的嗎？你們在尋找什么樣的人？

Edwin：我們尋找那些從根本上對數(shù)據(jù)整天感興趣的人。就是那種真的可以花 10 個小時鉆研數(shù)據(jù)集、擺弄模型、思考“我認(rèn)為模型在這里失敗了，這是我希望模型具備的行為”的人。就是那種非常動手、思考模型的定性方面而不僅僅是定量部分的能力。所以，再次強調(diào)，就是這種動手處理數(shù)據(jù)的態(tài)度，而不僅僅是關(guān)心那些抽象的算法。

Vibe Coding 被過渡炒作了

Lenny：太棒了。我想問幾個關(guān)于 AI 市場和行業(yè)的宏觀一點的問題。你認(rèn)為未來幾年還會發(fā)生什么人們可能想得不夠多、或沒有預(yù)料到的事情？AI 將走向何方？什么會變得重要？

Edwin：我認(rèn)為未來幾年會發(fā)生的一件事是，由于不同實驗室的“個性”和“行為”，以及他們優(yōu)化模型的目標(biāo)函數(shù)不同，模型實際上會變得越來越差異化。

大約一年前，我還沒意識到這一點。那時我以為所有的 AI 模型基本上都會變得非常同質(zhì)化，它們的行為會彼此相似。當(dāng)然，今天可能有一個模型在某個方面稍微更聰明一點，但其他的肯定會在幾個月內(nèi)趕上。

但過去一年我意識到，公司所秉持的價值觀會塑造模型。

讓我舉個例子。前幾天，我讓 Claude 幫我起草一封郵件，它幫我弄了 30 個不同的版本，30 分鐘后，我覺得它確實幫我精心打造了一封完美的郵件，然后我發(fā)出去了。但之后我意識到，我花了 30 分鐘做了一件根本無關(guān)緊要的事。當(dāng)然，現(xiàn)在我有了完美的郵件，但我花了 30 分鐘做了一件以前完全不會擔(dān)心的事。而且這封郵件可能對任何事情都沒有任何實質(zhì)影響。

所以，這里有一個深刻的問題：如果你可以選擇完美的模型行為，你想要哪種模型？你是想要一個說“你說得對，這封郵件肯定還有 20 種改進方法”，然后繼續(xù)迭代 50 次，吸走你所有時間和注意力的模型？還是想要一個為你的時間和生產(chǎn)力優(yōu)化的模型，它會說：“不，你需要停下來。你的郵件已經(jīng)很好了，發(fā)出去然后繼續(xù)你的一天吧。”

同樣地，就像在這個問題上，你可以選擇模型如何行為一樣，對于模型需要回答的每一個其他問題，你希望模型具備的行為方式將從根本上影響它。這幾乎就像谷歌構(gòu)建搜索引擎的方式與 Facebook 或蘋果構(gòu)建搜索引擎的方式會非常非常不同一樣。他們都有自己遵循的原則、價值觀和想在世界上實現(xiàn)的目標(biāo)，這些塑造了他們將要構(gòu)建的所有產(chǎn)品。同樣地，我認(rèn)為所有的語言模型也將開始表現(xiàn)得非常不同。

Lenny：這非常有趣。你已經(jīng)從 Grok 上看到了這一點。它有一種非常不同的個性和回答問題的方式。所以我聽出來，未來我們會看到更多這種差異化。

Edwin：是的。

Lenny：沿著這個思路，再問一個問題。你認(rèn)為 AI 領(lǐng)域最被低估的是什么？你覺得人們談?wù)摰貌粔蚨嗟娴暮芸岬臇|西是什么？還有，什么是被過度炒作的？

Edwin：我認(rèn)為被低估的一點是，所有聊天機器人將開始內(nèi)置各種功能。我一直是“可執(zhí)行文件 / 成果物”的忠實粉絲，我認(rèn)為它效果非常好。

實際上，前幾天，我不知道這是不是新功能，但它問我是否需要幫助創(chuàng)建一封郵件，然后它創(chuàng)建了……它沒能完全工作，因為它不允許我發(fā)送郵件，但它創(chuàng)建了一個小盒子，我可以點擊它，然后直接給某人發(fā)送這條消息。我認(rèn)為將這種“成果物”概念提升到下一個層次，就在聊天界面本身內(nèi)置這些小應(yīng)用、小 UI，我覺得人們談?wù)摰眠€不夠多。所以我認(rèn)為這是一個被低估的領(lǐng)域。

至于過度炒作的領(lǐng)域，我絕對認(rèn)為“Vibe Coding”（憑感覺 / 模糊需求生成代碼）被過度炒作了。我認(rèn)為人們沒有意識到，如果他們現(xiàn)在就把這些似乎能運行的代碼直接丟進他們的代碼庫，長期來看會讓他們的系統(tǒng)變得多么難以維護。所以……我對未來的編碼工作有點擔(dān)心。這種事只會不斷發(fā)生。

Lenny：這些都是非常精彩的回答。關(guān)于第一點，這其實是我問過 Anthropic 和 OpenAI 的首席產(chǎn)品官 Kevin 和 Mike（注：指 Mike Greger）的問題。我問他們，作為一個產(chǎn)品團隊，既然你們現(xiàn)在擁有這種千億級大腦般的智能，你們到底還需要產(chǎn)品團隊多久？你們覺得 AI 會直接為你創(chuàng)造產(chǎn)品嗎？就像“告訴我你想要什么”，它就開始構(gòu)建產(chǎn)品，并在你使用過程中不斷演化產(chǎn)品？感覺你描述的就是我們可能前進的方向。

Edwin：是的，我認(rèn)為有一個非常強大的概念，它能幫助人們以一種更強大的方式實現(xiàn)他們的想法。

創(chuàng)建 Surge AI 的心路歷程

Lenny：有件事我們還沒深入聊，但我覺得非常有趣，就是你創(chuàng)立 Surge 的故事。你的背景非常獨特。我總想起 Coinbase 創(chuàng)始人 Brian Armstrong 有一次做的一個演講，讓我印象深刻，他談到自己非常獨特的背景如何讓他創(chuàng)立了 Coinbase。他有經(jīng)濟學(xué)背景，有密碼學(xué)經(jīng)驗，然后他還是工程師，這就像是一個完美的交集，讓他創(chuàng)立了 Coinbase。我覺得你與 Surge 的故事非常相似。聊聊你的背景，以及那如何引領(lǐng)你創(chuàng)立了 Surge？

Edwin：那要從很早以前開始聊起。我從小就對數(shù)學(xué)和語言非常著迷。我去 MIT，一方面因為那里顯然是數(shù)學(xué)和計算機科學(xué)最好的地方之一，另一方面也因為喬姆斯基在那里。我上學(xué)時的夢想實際上是找到一種連接所有這些不同領(lǐng)域的底層理論。

后來我在谷歌、Facebook 和 Twitter 做過研究員。我一次又一次地遇到同樣的問題：我們不可能獲得訓(xùn)練模型所需的數(shù)據(jù)。所以我一直堅信高質(zhì)量數(shù)據(jù)的必要性。

然后，2020 年 GPT-3 發(fā)布了，我意識到，是的，如果我們想將事情提升到下一個水平，構(gòu)建能夠編碼、使用工具、講笑話、寫詩、解決黎曼猜想并治愈癌癥的模型，那么，我們將需要一個全新的解決方案。我在所有這些公司時，一直讓我抓狂的是：我們面前擁有全人類的智慧力量，而所有數(shù)據(jù)標(biāo)注公司卻都在專注于圖像標(biāo)注這樣非常簡單的事情。所以我想構(gòu)建一些專注于所有這些高級復(fù)雜用例的東西，真正幫助我們構(gòu)建下一代模型。我認(rèn)為我跨數(shù)學(xué)、計算機科學(xué)和語言學(xué)的背景，真的深刻地影響了我一直想做的事情。所以，我在 GPT-3 發(fā)布一個月后創(chuàng)立了 Surge，我們的唯一使命就是構(gòu)建我認(rèn)為推動 AI 前沿所需要的那種用例。

Lenny：除了你們正在取得的巨大成功之外，是什么在驅(qū)動你繼續(xù)構(gòu)建這個事業(yè)，在這個領(lǐng)域不斷建設(shè)？

Edwin：我認(rèn)為我本質(zhì)上是個科學(xué)家。我一直以為自己會成為數(shù)學(xué)或計算機科學(xué)教授，致力于理解宇宙、語言和通信的本質(zhì)。有點好笑，但我一直有個天真的夢想：如果有外星人來訪地球，我們需要弄清楚如何與它們溝通，我想成為那個和它們一起去的人，用所有這些花哨的數(shù)學(xué)、計算機科學(xué)和語言學(xué)知識來破譯。

所以即使在今天，我最喜歡做的事仍然是，每當(dāng)有新模型發(fā)布，我們都會對它進行一次非常深入的研究。我會試用它，運行評估，比較它在哪些方面改進了，哪些方面退步了。我會創(chuàng)建這種非常深入的分析報告發(fā)送給我們的客戶。

這其實有點好笑，因為很多時候我們會說這是數(shù)據(jù)科學(xué)團隊做的，但通常其實就是我自己做的。我想我可以一整天都做這個。我很難忍受整天開會。我不擅長銷售，也不擅長做人們期望 CEO 做的那些典型事情。但我喜歡寫這些分析報告，喜歡和研究團隊一起頭腦風(fēng)暴。

有時候我會和別人在電話上聊到凌晨三點，就為了深入研究某個模型。所以，最重要的是，我仍然能夠整天親身參與數(shù)據(jù)和科學(xué)研究。我認(rèn)為驅(qū)使我前進的是，我希望 Surge 在 AI 的未來——我認(rèn)為這也是人類的未來——中扮演關(guān)鍵角色。

我們對數(shù)據(jù)、語言、質(zhì)量以及如何衡量這一切、如何確保它走在正確的道路上，有著非常獨特的視角。我認(rèn)為我們獨特地不受那些有時會將公司引向負(fù)面方向的種種影響所束縛。就像我之前說的，我們把 Surge 更多地建設(shè)成一個研究實驗室，而不是典型的初創(chuàng)公司。

所以我們關(guān)心好奇心、長期激勵和學(xué)術(shù)嚴(yán)謹(jǐn)性，而不太關(guān)心季度指標(biāo)或者在董事會報告中看起來好不好。所以我的目標(biāo)是，利用我們公司所有這些獨特之處，來確保我們正在以一種對人類物種長期真正有益的方式塑造 AI。

Lenny：在這次對話中，我意識到你們這樣的公司對 AI 的發(fā)展方向有多么大的影響力。事實上，你們幫助實驗室理解它們的差距在哪里，需要改進什么。不僅僅是每個人都在關(guān)注 OpenAI 等公司的負(fù)責(zé)人，認(rèn)為他們是引領(lǐng) AI 的人。但我在這里聽到的是，你對事情的發(fā)展方向有很大的影響力。

Edwin：是的。我認(rèn)為這里有一個非常強大的生態(tài)系統(tǒng)。老實說，人們還不知道模型將走向何方，他們想要如何塑造它們，以及他們希望人類在這一切的未來中扮演什么角色。所以我認(rèn)為有很多機會可以繼續(xù)塑造這場討論。

Lenny：你分享的這些讓我對構(gòu)建 AI、訓(xùn)練 AI 的細(xì)微之處，以及你們所做的工作，有了更深的理解。從外部看，人們可能只把 Surge 和這個領(lǐng)域的公司看作是在創(chuàng)造所有這些數(shù)據(jù)來喂養(yǎng) AI。但顯然，這其中有很多人們沒有意識到的東西。我很欣慰像你這樣深思熟慮的人在主導(dǎo)這件事。也許最后一個問題：在創(chuàng)立 Surge 之前，你希望自己當(dāng)時知道些什么？很多人創(chuàng)業(yè)時并不知道自己要面對什么。有沒有什么你想告訴過去的自己的事？

Edwin：是的。我絕對希望自己早知道，你可以通過埋頭苦干、做好研究和簡單地打造出卓越的產(chǎn)品來建立一家公司，而不是通過不斷發(fā)推文、制造聲勢和融資。這有點好笑，但我從沒想過自己會開公司。我喜歡做研究，實際上我一直是 DeepMind 的忠實粉絲，因為它是一家了不起的研究公司，被收購后仍然繼續(xù)做著驚人的科學(xué)研究。

但我一直以為他們是那種神奇而罕見的獨角獸。所以我認(rèn)為如果我開公司，我就得變成一個整天看財務(wù)報表、整天開會、做所有這些聽起來極其無聊而我總是討厭的事情的商人。所以，我認(rèn)為瘋狂的是，結(jié)果完全不是這樣。我每天仍然深入數(shù)據(jù)之中，而且我喜歡這樣。我喜歡我能做所有這些分析，與研究團隊交流。這

基本上是應(yīng)用研究，我們在構(gòu)建所有這些真正推動 AI 前沿的驚人數(shù)據(jù)系統(tǒng)。我希望我知道你不必把所有時間都花在融資上，你不必不斷制造聲勢，你不必變成不是你的人。你實際上可以通過打造一個優(yōu)秀到足以穿透所有噪音的產(chǎn)品來建立一家成功的公司。我想，如果我知道這是可能的，我會更早開始。

Lenny：你有什么喜歡的人生格言，在工作和生活中經(jīng)常回想起來嗎？

Edwin：我想我提到過這個理念：創(chuàng)始人應(yīng)該建立一家只有他們才能建立的公司，這幾乎像是他們的整個生命、經(jīng)歷和興趣將他們塑造成此的宿命。所以我認(rèn)為這個原則適用得很廣，不僅對創(chuàng)始人，對任何創(chuàng)造事物的人也是如此。

所以，我想總的原則就是真正追隨你的興趣，做你熱愛的事。這幾乎就像我做關(guān)于 Surge 的很多決定一樣。有幾年前我沒想過，但后來有人對我說的話：公司在某種意義上，是其 CEO 的化身。這有點好笑，我以前沒想過，因為我一直不太清楚 CEO 到底做什么。我總以為 CEO 很普通，就是做你的副總裁們、董事會等等告訴你要做的事，你只是對決策說“是”。但實際上不是這樣，而是當(dāng)我思考某些我們必須做出的重大艱難決定時，我不會想“公司會怎么做”，不會想“我們要優(yōu)化什么指標(biāo)”，我只是想“我個人關(guān)心什么？我的價值觀是什么？我想看到世界上發(fā)生什么？”所以，我認(rèn)為遵循那個理念——問問自己：你關(guān)心什么價值觀？你想塑造什么？而不是什么會讓儀表盤好看——我想這會帶來相當(dāng)重要的結(jié)果。

https://www.youtube.com/watch?v=dduQeaqmpnI&t=346s

聲明：本文為 InfoQ 翻譯整理，不代表平臺觀點，未經(jīng)許可禁止轉(zhuǎn)載。

AI 重塑組織的浪潮已至，Agentic 企業(yè)時代正式開啟！當(dāng) AI 不再是單純的輔助工具，而是深度融入業(yè)務(wù)核心、驅(qū)動組織形態(tài)與運作邏輯全面革新的核心力量。

把握行業(yè)變革關(guān)鍵節(jié)點，12 月 19 日 - 20 日，AICon 全球人工智能開發(fā)與應(yīng)用大會（北京站） 即將重磅啟幕！本屆大會精準(zhǔn)錨定行業(yè)前沿，聚焦大模型訓(xùn)練與推理、AI Agent、研發(fā)新范式與組織革新，邀您共同深入探討：如何構(gòu)建起可信賴、可規(guī)?；?、可商業(yè)化的 Agentic 操作系統(tǒng)，讓 AI 真正成為企業(yè)降本增效、突破增長天花板的核心引擎。