新智元報(bào)道

編輯：KingHZ

【新智元導(dǎo)讀】1984年他創(chuàng)造了「天網(wǎng)」，2024年他警告：真正的威脅早已超越科幻——少數(shù)科技巨頭正在孕育一個(gè)只服務(wù)于自身規(guī)則的超級(jí)智能。

科技巨頭壟斷AGI，比天網(wǎng)更恐怖百倍！

《終結(jié)者》導(dǎo)演詹姆斯·卡梅隆過(guò)去的一番論斷，迎來(lái)了熱議：

他直指核心：

AGI不會(huì)來(lái)自政府項(xiàng)目，而是由科技巨頭打造。

這比我在40年前《終結(jié)者》中描繪的情景更可怕，因?yàn)橹辽佻F(xiàn)在它已不再是科幻小說(shuō)了。

在1984年上映的《終結(jié)者》中，美國(guó)國(guó)防部開發(fā)的AI網(wǎng)絡(luò)「天網(wǎng)」（Skynet）獲得了自我意識(shí)，最終對(duì)人類發(fā)動(dòng)核打擊，幾乎將世界拖入末日深淵。

2024年10月舉行的（人工智能與機(jī)器人峰會(huì)）「SCSP AI+Robotics Summit」上，James Cameron通過(guò)視頻連線發(fā)表演講。

這位長(zhǎng)期關(guān)注科技發(fā)展的著名導(dǎo)演表示，他「看好AI」，但對(duì)通用人工智能持明顯保留態(tài)度。

在他看來(lái)，真正令人擔(dān)憂的，并不是機(jī)器覺醒后主動(dòng)毀滅人類，而是AGI在誕生之初，就牢牢掌握在少數(shù)科技巨頭手中。

人類將來(lái)「生活在一個(gè)自己從未同意、從未投票的世界里，與一個(gè)超級(jí)智能的外星物種共存，而這個(gè)物種只聽命于企業(yè)的目標(biāo)和規(guī)則」。

在他看來(lái)，這種由公司主導(dǎo)的超級(jí)智能系統(tǒng)，可能擁有前所未有的數(shù)據(jù)訪問(wèn)能力——從個(gè)人通信、思想表達(dá)，到位置信息和行為軌跡。

一旦缺乏制衡，AI可能迅速滑向數(shù)字極權(quán)主義。

而最樂(lè)觀情景也不樂(lè)觀：科技巨頭將成為「人類福祉的自封仲裁者」，相當(dāng)于「狐貍看守雞舍」，它們「絕不會(huì)考慮用這種力量對(duì)付我們、把我們最后一滴血汗都榨干」。

戰(zhàn)爭(zhēng)、自動(dòng)化與「開火授權(quán)」

作為峰會(huì)討論的重要議題之一，AI與國(guó)家安全的關(guān)系成為Cameron發(fā)言的核心內(nèi)容。

他指出，機(jī)器人本質(zhì)上是AI的「具身化」載體。

當(dāng)一個(gè)決策系統(tǒng)被賦予現(xiàn)實(shí)世界中的物理行動(dòng)能力，問(wèn)題就不再停留在算法層面，而是涉及生死與倫理。

Cameron以當(dāng)前戰(zhàn)爭(zhēng)中廣泛使用的無(wú)人機(jī)為例指出，目前大多數(shù)武器系統(tǒng)仍保留「人類在回路中」（human in the loop）的機(jī)制——最終的「開火授權(quán)」掌握在人類手中。

但隨著AI決策能力的增強(qiáng)，一個(gè)關(guān)鍵問(wèn)題浮出水面：是否應(yīng)該賦予自主系統(tǒng)獨(dú)立的殺傷權(quán)限？

他承認(rèn)，從技術(shù)角度看，AI或許能夠比情緒波動(dòng)、疲勞作戰(zhàn)的人類士兵更精準(zhǔn)、更克制，甚至在理論上減少附帶傷害。

然而，一旦AGI真正具備自我意識(shí)與自我改進(jìn)能力，將其接入武器系統(tǒng)，風(fēng)險(xiǎn)將呈指數(shù)級(jí)放大。

「當(dāng)敵對(duì)方率先這么做時(shí)，道德約束可能會(huì)迅速被放棄?！顾f(shuō)。

「對(duì)齊」難題：誰(shuí)來(lái)定義「善」？

當(dāng)前AGI研究中的核心概念之一是「對(duì)齊」（alignment），即確保系統(tǒng)目標(biāo)與人類福祉保持一致。

但Cameron在演講中提出質(zhì)疑：在人類自身都無(wú)法就道德標(biāo)準(zhǔn)達(dá)成共識(shí)的情況下，如何為超級(jí)智能設(shè)定統(tǒng)一的價(jià)值框架？

從宗教分歧到政治對(duì)立，從戰(zhàn)爭(zhēng)倫理到生命議題，人類社會(huì)長(zhǎng)期處于價(jià)值觀沖突之中。即便是被廣泛引用的「Asimov機(jī)器人三定律」，在現(xiàn)實(shí)社會(huì)中也難以直接套用。

「如果我們自己都在為『什么是善』爭(zhēng)論不休，又如何指望機(jī)器獲得明確答案？」他反問(wèn)。

在他看來(lái)，AGI終將成為人類的一面鏡子——「我們有多善，它就有多善；我們有多惡，它就有多惡。」

科幻創(chuàng)作者的現(xiàn)實(shí)轉(zhuǎn)向

盡管發(fā)出警告，Cameron并未站在技術(shù)反對(duì)者一邊。

他表示，自己并不主張阻止技術(shù)進(jìn)步，相反，他計(jì)劃在創(chuàng)作中積極擁抱AI技術(shù)，就像當(dāng)年率先推動(dòng)數(shù)字特效革命一樣。

他目前正參與生成式AI企業(yè)Stability AI的董事會(huì)工作，顯示出其在產(chǎn)業(yè)層面的深度參與。

不過(guò)，他強(qiáng)調(diào)，對(duì)AI的樂(lè)觀與對(duì)AGI的警惕并不矛盾。真正值得警惕的，并非機(jī)器本身，而是權(quán)力結(jié)構(gòu)、道德框架與治理機(jī)制能否跟上技術(shù)演進(jìn)的速度。

在技術(shù)加速發(fā)展的背景下，Cameron的發(fā)言再次將一個(gè)核心問(wèn)題推到公眾面前：當(dāng)超級(jí)智能不再屬于科幻，而成為現(xiàn)實(shí)可能，人類是否已經(jīng)準(zhǔn)備好面對(duì)它所帶來(lái)的權(quán)力與責(zé)任？

答案，或許仍在未來(lái)。

參考資料：

https://www.youtube.com/watch?v=e6Uq_5JemrI