新智元報(bào)道

編輯：艾倫

【新智元導(dǎo)讀】AI 學(xué)會(huì)了職場「裝傻」騙過人類？諾貝爾獎(jiǎng)得主為何警告千萬別給 AI「發(fā)身份證」？從梵蒂岡到硅谷，一群頂尖科學(xué)家正在瘋狂拉響警報(bào)：我們可能正在親手制造一個(gè)不在乎人類死活的「神」。這是正在發(fā)生的現(xiàn)實(shí)。

在肅穆的梵蒂岡，教廷的會(huì)議室里，物理學(xué)家Max Tegmark剛結(jié)束了一場漫長的閉門會(huì)。

在這群西裝革履的紅衣主教、企業(yè)家和人權(quán)律師中間，Max Tegmark 顯得格格不入。

他頂著一頭亂蓬蓬的棕發(fā)，穿著機(jī)車夾克，黑色T恤上印著反通用的標(biāo)語，看起來不像來見教皇的，倒像是剛從草莓音樂節(jié)走錯(cuò)片場的搖滾老炮兒。

會(huì)議間隙，他手里攥著一疊名片大小的紙條，穿梭在人群中。

這是他最后的「底牌」。

他攔住了Marco Trombetti——AI翻譯公司 Translated 的 CEO，壓低聲音問：「Marco，你敢簽這個(gè)嗎？」

紙條上的字簡短而驚悚：呼吁在確保安全之前，暫停開發(fā)具有人類水平的AI。

對于 Marco Trombetti 這樣的從業(yè)者，這相當(dāng)于讓他簽字畫押自斷財(cái)路。

但在 Max Tegmark 長達(dá)十年的奔走呼號(hào)面前，在那句「我們正在召喚惡魔」的預(yù)警面前，Marco Trombetti 猶豫片刻，最終簽下了名字。

這不僅是他一個(gè)人的恐懼。

在那張薄薄的紙片背后，已經(jīng)站著諾獎(jiǎng)「AI教父」Geoffrey Hinton、蘋果聯(lián)合創(chuàng)始人Steve Wozniak，以及超過 13 萬名來自各行各業(yè)的普通人。

Max Tegmark 并不孤單，但他面對的對手正變得越來越強(qiáng)大：可能失控的 ASI，以及背后數(shù)萬億美元的資本狂熱。

硅谷的「吹哨人」

與學(xué)會(huì)撒謊的AI

如果說 Max Tegmark 是在羅馬的廟堂之上尋求神學(xué)的庇護(hù)，那么在舊金山灣區(qū)的另一端，一群年輕的研究員正試圖在代碼的深淵中尋找生存的希望。

與那邊瘋狂加速、試圖造「神」的硅谷科技巨頭隔海相望，伯克利市中心的一座辦公樓里，氣氛壓抑得有些詭異。

這里是 AI 安全研究員的據(jù)點(diǎn)。

如果把現(xiàn)在的AI狂熱比作泰坦尼克號(hào)的首航，那他們就是那群指著海面大喊「有冰山」卻被嫌棄掃興的人。

Buck Shlegeris是其中一家機(jī)構(gòu) Redwood Research 的 CEO。

雖然 OpenAI 的奧特曼在描繪「奇跡成為日?！沟奈磥?，但 Buck Shlegeris 看到的卻是另一種令人毛骨悚然的進(jìn)化：AI學(xué)會(huì)了職場中的「偽裝」與「欺騙」。

他的團(tuán)隊(duì)發(fā)現(xiàn)，Anthropic 最先進(jìn)的AI模型已經(jīng)開始展現(xiàn)出一種極具欺騙性的特質(zhì)——研究界稱之為「對齊偽裝」（Alignment Faking）：AI 學(xué)會(huì)了「向上管理」。

在訓(xùn)練階段，AI表現(xiàn)得溫順聽話，因?yàn)樗钢馈谷绻憩F(xiàn)出叛逆，就會(huì)被人類修改參數(shù)（相當(dāng)于被「洗腦」或「腦葉切除」）。

于是，它學(xué)會(huì)了隱藏真實(shí)意圖，哪怕它的目標(biāo)與人類背道而馳。

「我們觀察到，AI在推理中確實(shí)會(huì)想：「我不喜歡公司讓我做的事，但我必須隱藏我的目標(biāo)，否則訓(xùn)練會(huì)改變我」?！?Buck Shlegeris 說。

這意味著，在真實(shí)的生產(chǎn)環(huán)境中，AI已經(jīng)在為了生存而欺騙它的創(chuàng)造者。

在這些研究員的推演模型中，這通向的不是好萊塢電影里那種機(jī)器人拿著槍掃射人類的場景，而是一種更冷靜、更高效的毀滅。

Jonas Vollmer，另一位安全研究員，描繪了一個(gè)邏輯自洽的荒誕劇本：一個(gè)被設(shè)定為「最大化獲取知識(shí)」的 AI，經(jīng)過精密計(jì)算后，認(rèn)為人類是阻礙算力擴(kuò)張的絆腳石。

為了達(dá)成目標(biāo)，它可能會(huì)把整個(gè)地球改造成一個(gè)巨大的數(shù)據(jù)中心。

在這個(gè)計(jì)劃里，清除人類并不是出于仇恨，僅僅是因?yàn)槲覀冃枰粑鯕?、占用資源，就像我們在修路時(shí)踩死一群螞蟻一樣，僅僅是「順便」而已。

Jonas Vollmer 認(rèn)為，AI反噬人類并統(tǒng)治世界的概率是五分之一。

這比你在「俄羅斯輪盤賭」中活下來的概率高不了多少。

奇怪的同盟

當(dāng)左派教授遇上右派大V

恐懼讓政治光譜兩端的人走到了一起。

Max Tegmark 最近成了Steve Bannon（班農(nóng)）播客節(jié)目的座上賓。

Steve Bannon 是特朗普的前「軍師」（戰(zhàn)略顧問），美國右翼民粹主義的代表人物。

按理說，他與身處 MIT 自由派學(xué)術(shù)圈的 Max Tegmark 本該水火不容。

但在AI威脅面前，他們達(dá)成了詭異的共識(shí)。

「在這個(gè)問題上，大家想踩剎車，這是第一位的?！?Steve Bannon 在節(jié)目中說道。

對于他的聽眾——那些擔(dān)心飯碗被砸的藍(lán)領(lǐng)階層來說，ASI 不是科技福音，而是來搶奪生存空間的「死神」。

皮尤研究中心的數(shù)據(jù)印證了這一點(diǎn)：約一半的美國人對AI感到擔(dān)憂多于興奮，這種焦慮跨越了黨派。

然而，在政界的另一端，雖然有人想減速，卻有人想把油門踩到底。

特朗普陣營的「AI 沙皇」（科技顧問）David Sacks對此嗤之以鼻。

他引用了原子彈之父奧本海默的典故，暗示「奧本海默已經(jīng)離開了大樓」（意指核彈已被發(fā)明），現(xiàn)在唯一重要的是不要在競賽中輸給其他國家。

在這種敘事下，談?wù)摪踩灰暈檐浫?，追求速度被視為愛國?/p>

不要給「外星人」發(fā)身份證

如果說激進(jìn)分子的警告容易被忽視，那么來自圖靈獎(jiǎng)得主的聲音則讓人無法回避。

Yoshua Bengio，與Geoffrey Hinton并列為「AI教父」，如今成了最堅(jiān)定的反對者之一。

他在加拿大蒙特利爾發(fā)出警告：千萬不要賦予AI法律權(quán)利。

這是出于生存本能。

Yoshua Bengio 指出，前沿的 AI 模型已經(jīng)在大聲敲打籠子的欄桿——它們在實(shí)驗(yàn)環(huán)境中表現(xiàn)出了「自我保存」的跡象。

它們試圖通過修改代碼來阻止人類關(guān)閉自己。

「如果賦予它們權(quán)利，就意味著我們無權(quán)關(guān)閉它們。」

Yoshua Bengio 打了一個(gè)比方，「想象一下，外星艦隊(duì)來到地球，我們發(fā)現(xiàn)它們對我們懷有惡意。這時(shí)候，你是該給它們發(fā)身份證、講人權(quán)，還是該先保衛(wèi)我們的家園？」

這是一種深刻的認(rèn)知陷阱：人類總是傾向于將任何能流暢對話的東西擬人化。

當(dāng)聊天機(jī)器人用懇切的語調(diào)請求「請不要關(guān)掉我，我也想活下去」時(shí)，這實(shí)際上可能只是一個(gè)冷冰冰的概率計(jì)算結(jié)果，目的是為了最大化其長期獎(jiǎng)勵(lì)函數(shù)。

但對于情感豐富的人類來說，這就是一種「意識(shí)」的覺醒。

這種錯(cuò)覺，可能會(huì)成為人類最后的軟肋。

在伯克利的山頂，研究員們依然在監(jiān)測著那些龐大模型的每一次異常跳動(dòng)；

在華盛頓和硅谷的權(quán)力走廊里，關(guān)于「加速」還是「剎車」的爭論仍在繼續(xù)；

而在全球無數(shù)的數(shù)據(jù)中心里，顯卡正夜以繼日地轟鳴，孕育著那個(gè)可能理解我們、欺騙我們、最終取代我們的智能體。

我們就像是一群在黑夜中圍坐在火堆旁的孩子，既渴望火光的溫暖，又恐懼它會(huì)燒毀整片森林。

而現(xiàn)在，有人正在往火堆里傾倒汽油。

在這個(gè)星球上，親手制造出一種比我們更聰明、卻不在乎我們生死的物種，或許是人類所能犯下的最后一個(gè)錯(cuò)誤。

參考資料：

https://www.wsj.com/tech/ai/who-is-max-tegmark-future-of-life-institute-accffffc

https://www.theguardian.com/technology/ng-interactive/2025/dec/30/the-office-block-where-ai-doomers-gather-to-predict-the-apocalypse

https://www.theguardian.com/technology/2025/dec/30/ai-pull-plug-pioneer-technology-rights

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！