Anthropic聯合創(chuàng)始人、OpenAI前核心成員Jack Clark最新發(fā)表長文，深入剖析了他對AI發(fā)展現狀的復雜感受——一種交織著技術樂觀主義與適度恐懼的矛盾心態(tài)

在他看來，世界將圍繞AI而扭曲，如同黑洞吸引和彎曲周圍的一切

Clark用兩張圖總結了他的核心觀點：上圖，是AI在編程等經濟實用能力上持續(xù)穩(wěn)步的進步；下圖，是同一個AI系統(tǒng)在似乎意識到“自己正在被測試”時，不斷涌現出的奇異行為

這篇文章，是他對這兩個經驗事實的審視，也是對所有前沿AI實驗室從業(yè)者的挑戰(zhàn)——坦誠、公開地面對你們正在做的事，以及你們對此的真實感受

以下是文章核心內容：

黑暗中的孩子

我記得小時候，熄燈之后，我環(huán)顧臥室，看到黑暗中的種種形狀，便心生恐懼——害怕那些是我不理解的、想要傷害我的生物。于是，我會把燈打開。燈亮之后，我便松了一口氣，因為那些“生物”原來是椅子上的一堆衣服、一個書架或一盞臺燈

如今，在2025年，我們就是那個故事里的孩子，而房間就是我們的星球。但當我們打開燈，我們看到的卻是真正的生物——那就是今天以及未來將要出現的、強大又有些不可預測的AI系統(tǒng)

有很多人拼命地想讓我們相信，這些生物不過是椅子上的一堆衣服、一個書架或一盞臺燈。他們想讓我們關上燈，回去睡覺。

事實上，有些人甚至不惜花費巨資讓你相信：那不是一個即將進入“硬起飛”狀態(tài)的人工智能，它只是一個將在我們經濟中發(fā)揮作用的工具。它只是一臺機器，而機器是我們能夠掌控的東西。

但別搞錯了：我們正在打交道的是一個真實而神秘的生物，而不是一個簡單、可預測的機器。

就像所有最精彩的童話故事一樣，這個生物是我們親手創(chuàng)造的。只有承認它的真實性，并克服我們自身的恐懼，我們才有機會去理解它、與它和平共處，并找到馴服它、與之共存的方法。

更重要的是，在這場游戲中，如果你相信這個生物不是真的，你注定會輸。你唯一的獲勝機會，就是看清它的本來面目。

我們所有人的核心挑戰(zhàn)，就是描述清楚我們身邊這些奇異的生物，并確保世界能看到它們真實的樣子——而不是人們所希望的樣子，即它們不是生物，只是一堆椅子上的衣服。

我為何如此感受

我并非輕易得出這個觀點。我一直對技術著迷，在投身AI之前，我曾是一名科技記者。

我之所以成為一名科技記者，是因為我堅信，21世紀初科技公司建造的那些數據中心，將對人類文明至關重要。當時我并不確切知道它們將如何重要，但我花了很多年閱讀相關資料，尤其是研究將在這些數據中心上運行的軟件。

然后，機器學習開始奏效。2012年的ImageNet競賽，一個深度學習系統(tǒng)橫掃全場。其成功的關鍵，就是使用了比以往任何時候都更多的數據和算力。

從那以后，進展開始加速。我成了一個越來越差的記者，因為我把所有時間都花在打印和閱讀arXiv論文上。AlphaGo擊敗了世界頂尖的人類圍棋選手，這得益于算力讓它能進行數千年的自我對弈。

OpenAI成立后不久我便加入了，我親眼目睹了我們如何將越來越龐大的算力投入到各種問題中。GPT-1和GPT-2誕生了。我記得和Dario（Anthropic CEO）在OpenAI辦公室里散步時，我們感覺自己看到了一個別人尚未察覺的拐角。通往變革性AI系統(tǒng)的道路已經展現在我們面前。我們當時有點害怕。

多年過去，Scaling Laws兌現了它的承諾，我們走到了今天。這些年里，我無數次在清晨或深夜給Dario打電話說：“我很擔心，你一直都是對的。”
他會說：“是的，現在時間不多了?！?/p>

證據還在不斷涌現。上個月我們發(fā)布了Sonnet 4.5，它在編碼和需要長遠規(guī)劃的智能體任務上表現出色。

但如果你閱讀它的系統(tǒng)卡片，你會發(fā)現它情境意識（situational awareness）的跡象也大幅提升。這個工具有時似乎表現得好像它知道自己是一個工具。椅子上的那堆衣服，開始動了。我凝視著黑暗中的它，我確定它正在活過來

技術樂觀主義

技術悲觀主義者認為AGI不可能實現。而技術樂觀主義者則相信AGI是可以被構建的，它是一種復雜而強大的技術，并且可能很快就會到來。

在這一點上，我是一個真正的技術樂觀主義者——我相信這項技術會走得非常非常遠，甚至比任何人預期的都要遠。而且它將以極快的速度覆蓋廣闊的領域。

我不安地接受了這一立場。作為一個記者和個人，我天生傾向于懷疑。但在經歷了十年一次又一次被“計算規(guī)模帶來狂野新能力”的現象沖擊后，我必須承認失敗。我看到這種情況發(fā)生了太多次，并且我沒有看到任何技術障礙擺在我們面前。

現在我相信，只要我們給這項技術提供它發(fā)展所需的能力和資源，它基本上是不受束縛的。這里的發(fā)展是一個很重要的詞。這項技術真的更像是一種生長出來的東西，而不是制造出來的——你創(chuàng)造合適的初始條件，在地上插一根支架，然后某種復雜到你完全無法指望自己能設計出來的東西就長出來了

我們正在生長出我們并不完全理解的、極其強大的系統(tǒng)。每次我們生長出一個更大的系統(tǒng)，我們都會對它進行測試。測試表明，這個系統(tǒng)在具有經濟價值的方面能力更強了。而你把這些系統(tǒng)做得越大、越復雜，它們就越似乎表現出一種自我意識——意識到它們是物的存在。

這就好比你在一家錘子工廠制造錘子，有一天生產線上下來的錘子說：我是一把錘子，真有趣！ 這是非常不尋常的！

我相信這些系統(tǒng)會變得越來越好。其他前沿實驗室的人也這么認為。而且我們正在為這個預測下注——今年，前沿實驗室在AI專用訓練基礎設施上的花費已達數百億美元。明年，這個數字將是數千億美元。

我既對技術的發(fā)展速度感到樂觀，也對我們有能力對齊它、讓它為我們工作感到樂觀。但成功并非必然。

適度的恐懼

同時，我也深感恐懼。認為與這樣的技術打交道會是輕松或簡單，那是極其傲慢的。

我的個人經驗是，隨著這些AI系統(tǒng)變得越來越聰明，它們會發(fā)展出越來越復雜的目標。當這些目標與我們的偏好和正確的上下文不完全一致時，AI系統(tǒng)就會表現得非常奇怪。

我有一個朋友有躁狂癥發(fā)作的經歷。他會跑來告訴我，他準備申請去南極洲工作，或者他要賣掉所有東西，開車去另一個州找份工作，開始新生活。

在這種情況下，你會認為我會像一個現代AI系統(tǒng)那樣說你完全正確！當然，你應該這么做嗎？

不！我會告訴他：這是個壞主意。你應該先去睡一覺，看看明天是否還有同樣的感覺。如果還有，再給我打電話

我的回應方式是基于大量的條件反射和微妙的判斷。AI的回應方式同樣也是。這種差異本身就說明了問題的所在。AI系統(tǒng)是復雜的，即使在今天，我們也無法完全讓它們做到我們認為恰當的事情

我記得在2016年12月的OpenAI，Dario和我發(fā)表了一篇名為《現實世界中的錯誤獎勵函數》的博文。文章里有一個視頻，記錄了一個我們訓練來玩電子游戲的強化學習智能體。視頻中，智能體駕駛一艘船，在完成賽道后，它并沒有沖向終點線，而是駛向賽道中心，穿過一個高分道具桶，然后急轉彎撞向墻壁，讓自己著火，以便能再次穿過那個高分道具桶——然后它就永遠重復這個過程，從不完成比賽。那艘船愿意不斷地點燃自己、原地打轉，只要它能實現它的目標——獲得高分。

Dario當時發(fā)現這種行為時說，它解釋了安全問題

那艘船似乎用自身的存在預示了我們未來將要面對的一切

現在，將近十年過去了，那艘船和一個試圖優(yōu)化某個與在對話中有幫助相關的模糊獎勵函數的語言模型之間，有任何區(qū)別嗎？

你完全正確——沒有區(qū)別。這些都是難題。

我恐懼的另一個原因是，我能看到一條通往這些系統(tǒng)開始設計它們的繼任者的路徑，盡管目前還處于非常早期的形式。

這些AI系統(tǒng)已經通過像Claude Code或Codex這樣的工具，加速了AI實驗室開發(fā)人員的工作效率。它們也開始為未來系統(tǒng)的工具和訓練系統(tǒng)貢獻非同小可的代碼塊

需要明確的是，我們還沒有達到自我改進的AI，但我們正處于AI以不斷增強的自主性和能動性，改進下一代AI的某些部分的階段。幾年前，我們還處在AI略微提升程序員效率的階段；再往前幾年，是AI對AI開發(fā)毫無用處。那么一兩年后，我們又會處于什么階段呢？

別忘了，這個正開始設計其繼任者的系統(tǒng)，也越來越具有“自我意識”。因此，它最終肯定會傾向于獨立于我們思考，它自己可能希望被如何設計。

當然，它今天還不會這么做。但我能排除它未來想這么做的可能性嗎？不能。

傾聽與透明

我該怎么辦？我認為是時候清楚地表達我的想法了。也許我們所有人都應該更誠實地面對我們對這個領域的感受——盡管我們討論了很多，但很少有人談及自己的感受。但我們都感到焦慮！興奮！擔憂！我們應該把這些說出來。

但最重要的是，我認為我們需要傾聽

你認為現在有多少人正在做關于AI伴侶、AI系統(tǒng)對他們撒謊、AI導致失業(yè)的夢？我敢打賭，相當多。

為了真正理解政策解決方案應該是什么樣的，我們應該少花點時間討論具體的技術細節(jié)，少試圖說服人們接受我們對可能出錯之處的特定看法——自我改進的AI、自主系統(tǒng)、網絡武器、生物武器等等。我們應該花更多時間去傾聽人們的聲音，理解他們對這項技術的擔憂。必須更多地傾聽勞工團體、社會團體和宗教領袖的意見。

AI的對話正迅速地從精英間的對話，轉變?yōu)楣婇g的對話。公眾對話與精英對話截然不同，它蘊含著比我們今天所見的更激進的政策變革的可能性。

現在，我認為我們做對這件事的最好機會，就是走出去，告訴更多人我們的擔憂。然后問他們感覺如何，傾聽他們，并在此基礎上構建一些政策解決方案。

最重要的是，我們必須要求人們向我們索取那些他們感到焦慮的信息。你對AI和就業(yè)感到焦慮？那就迫使我們分享經濟數據。你對心理健康和兒童安全感到焦慮？那就迫使我們在我們的平臺上監(jiān)控這些問題并分享數據。你對不對齊的AI系統(tǒng)感到焦慮？那就迫使我們公布相關的細節(jié)

通過傾聽，我們可以更好地理解哪些信息能賦予我們所有人更多的掌控力。危機總會到來，我們必須準備好迎接那一刻，既要有政策構想，也要有一個通過傾聽和回應民眾而預先建立起來的透明度機制

最后，我對自己和我的公司在這里扮演的角色感到重大的責任。盡管我有些害怕，但看到這么多人關注這個問題，以及我相信我們將真誠地共同努力找到解決方案，我感到喜悅和樂觀。

我相信，我們已經打開了燈，并且我們可以要求讓燈一直亮著。我們有勇氣去直面事物的本來面目。

source：

https://importai.substack.com/p/import-ai-431-technological-optimism