內(nèi)容來源：Anthropic首席執(zhí)行官Dario Amodei（達(dá)里奧·阿莫迪），發(fā)表的文章《技術(shù)的青春期：直面和克服強(qiáng)大AI的風(fēng)險(xiǎn)》內(nèi)容分享。

高級(jí)筆記達(dá)人 |李云

責(zé)編| 柒排版| 沐言

第 9462篇深度好文：14269字 | 25 分鐘閱讀

商業(yè)思維

筆記君說：

作為“AI安全派”的代表人物，Anthropic首席執(zhí)行官達(dá)里奧以冷靜、謹(jǐn)慎的技術(shù)哲學(xué)著稱，堅(jiān)持將安全性、可解釋性和可控性置于AI發(fā)展的核心位置，致力于構(gòu)建對(duì)人類真正有益的人工智能系統(tǒng)。

對(duì)風(fēng)險(xiǎn)的擔(dān)憂無法阻止技術(shù)進(jìn)步向前推進(jìn)，但風(fēng)險(xiǎn)的無視只會(huì)讓風(fēng)險(xiǎn)層疊高漲。

我們別無選擇，只有正視風(fēng)險(xiǎn)，對(duì)風(fēng)險(xiǎn)條捋絲析，對(duì)反駁觀點(diǎn)給予清晰解釋，才是我們真正的安全底線。

今天這篇文章，讓我們看看這位“AI安全派”的代表人物對(duì)于AI安全的詳細(xì)闡述和防御建議，希望對(duì)你帶來新的認(rèn)知。

在卡爾·薩根的著作《超時(shí)空接觸》的電影版中，有一個(gè)場(chǎng)景：女主角是一位天文學(xué)家，她探測(cè)到了來自外星文明的第一個(gè)無線電信號(hào)，并被考慮作為人類代表與外星人會(huì)面。

面試她的國(guó)際小組問她：“如果你只能問（ 外星人 ）一個(gè)問題，你會(huì)問什么？”

她的回答是：“我會(huì)問他們：你們是怎么做到的？你們是如何進(jìn)化的？你們是如何在技術(shù)發(fā)展的初期階段生存下來而不自我毀滅的？”

這一問題，恰是人類在人工智能時(shí)代的現(xiàn)實(shí)寫照。

當(dāng)AI技術(shù)突破認(rèn)知邊界，即將邁入“強(qiáng)大AI”的新紀(jì)元，人類被賦予了前所未有的力量，卻也站在了文明存續(xù)的十字路口。

人類將進(jìn)入一個(gè)動(dòng)蕩的過渡階段，社會(huì)、政治與技術(shù)體系的成熟度，能否匹配強(qiáng)大AI的力量，仍是一個(gè)巨大的未知數(shù)。

面對(duì)存在的巨大風(fēng)險(xiǎn)，我深信人類有能力戰(zhàn)勝它們，但我們必須正視現(xiàn)實(shí)，不抱任何幻想。

與討論益處一樣，謹(jǐn)慎周全地討論風(fēng)險(xiǎn)也至關(guān)重要。

首當(dāng)其沖的，是避免末日論。

在2023-2024年，對(duì)人工智能風(fēng)險(xiǎn)的擔(dān)憂達(dá)到頂峰，一些最不理智的聲音占據(jù)了主導(dǎo)地位。而到了2025-2026年，形勢(shì)已然逆轉(zhuǎn)，人工智能帶來的機(jī)遇而非風(fēng)險(xiǎn)，正在驅(qū)動(dòng)著許多政治決策。

這種搖擺不定令人遺憾，因?yàn)榧夹g(shù)本身并不在意流行趨勢(shì)，而且我們距離真正的危險(xiǎn)比2023年要近得多。

由此可見，我們需要以務(wù)實(shí)、理性的態(tài)度來討論和應(yīng)對(duì)風(fēng)險(xiǎn)：保持冷靜、以事實(shí)為依據(jù)，并做好充分準(zhǔn)備以應(yīng)對(duì)不斷變化的形勢(shì)。

其次，承認(rèn)不確定性。沒有人能完全自信地預(yù)測(cè)未來,但無論如何，我們都必須盡力做好規(guī)劃。

然后，干預(yù)要盡可能精準(zhǔn)。應(yīng)對(duì)人工智能的風(fēng)險(xiǎn)需要企業(yè)或機(jī)構(gòu)采取自愿行動(dòng)，政府采取具有約束力的行動(dòng)，兩者缺一不可。

此外，監(jiān)管措施必須謹(jǐn)慎。它們應(yīng)力求避免附帶損害，盡可能簡(jiǎn)單明了，并盡可能減少完成任務(wù)所需的負(fù)擔(dān)。

說“當(dāng)人類的命運(yùn)岌岌可危時(shí)，任何行動(dòng)都不嫌極端！”很容易，但實(shí)際上這種態(tài)度只會(huì)導(dǎo)致反彈。

或許最終需要采取更強(qiáng)有力的行動(dòng)，但這取決于我們能否獲得比現(xiàn)在更有力的、迫在眉睫的、具體的危險(xiǎn)證據(jù)，以及對(duì)危險(xiǎn)的足夠具體描述，以便制定出能夠有效應(yīng)對(duì)的規(guī)則。

我們今天能做的最具建設(shè)性的事情，就是在了解是否有證據(jù)支持更強(qiáng)有力的規(guī)則的同時(shí)，倡導(dǎo)制定有限的規(guī)則。

一、強(qiáng)大AI的特征及發(fā)展預(yù)判

1.強(qiáng)大AI的六大特征

引發(fā)文明層面擔(dān)憂的“強(qiáng)大 AI”，是一種AI模型，其形式可能與當(dāng)今的LLM類似，盡管它可能基于不同的架構(gòu)，可能涉及多個(gè)交互模型，并且可能以不同的方式進(jìn)行訓(xùn)練。它具有以下特性：

其一，具備頂尖智能水平

就純粹的智能而言，生物學(xué)、編程、數(shù)學(xué)、工程學(xué)、寫作等大多數(shù)相關(guān)領(lǐng)域，它都比諾貝爾獎(jiǎng)得主更聰明。

其二，具有全場(chǎng)景交互能力

除了能“與智能設(shè)備對(duì)話”之外，它還具備人類遠(yuǎn)程工作所需的所有界面，包括文本、音頻、視頻、鼠標(biāo)和鍵盤控制以及互聯(lián)網(wǎng)接入。

它可以執(zhí)行任何通過該界面實(shí)現(xiàn)的操作、通信或遠(yuǎn)程操作，包括在互聯(lián)網(wǎng)上進(jìn)行操作、向人類發(fā)出或接收指令、訂購(gòu)材料、指導(dǎo)實(shí)驗(yàn)、觀看視頻、制作視頻等等。而且，它完成所有這些任務(wù)的技能，再次超越了世界上最優(yōu)秀的人類。

其三，能自主執(zhí)行任務(wù)

它不僅能被動(dòng)地回答問題；相反，它可以被賦予需要數(shù)小時(shí)、數(shù)天甚至數(shù)周才能完成的任務(wù)，然后像一個(gè)聰明的員工一樣自主地完成這些任務(wù)，并在必要時(shí)尋求澄清。

其四，對(duì)物理世界的強(qiáng)干預(yù)

它沒有物理實(shí)體（ 除了存在于電腦屏幕上 ），但它可以通過電腦控制現(xiàn)有的物理工具、機(jī)器人或?qū)嶒?yàn)室設(shè)備；理論上，它甚至可以設(shè)計(jì)機(jī)器人或設(shè)備供自己使用。

其五，規(guī)?；c高速響應(yīng)

用于訓(xùn)練模型的資源可以重新用于運(yùn)行數(shù)百萬(wàn)個(gè)模型實(shí)例，并且該模型能夠以大約10到100倍于人類的速度吸收信息并生成動(dòng)作。然而，它的速度可能會(huì)受到物理世界或其交互軟件的響應(yīng)時(shí)間的限制。

其六，協(xié)同與專精兼具

這數(shù)百萬(wàn)個(gè)副本中的每一個(gè)都可以獨(dú)立執(zhí)行不相關(guān)的任務(wù)，或者，如果需要的話，它們可以像人類合作一樣一起工作，也許不同的子群體經(jīng)過微調(diào)，特別擅長(zhǎng)特定的任務(wù)。

我們可以將其概括為“數(shù)據(jù)中心里的天才之國(guó)”。

隨著計(jì)算和訓(xùn)練任務(wù)的增加，人工智能系統(tǒng)在幾乎所有我們能夠衡量的認(rèn)知技能方面都會(huì)以可預(yù)測(cè)的方式得到提升。

每隔幾個(gè)月，公眾輿論要么會(huì)認(rèn)為人工智能“遇到了瓶頸”，要么會(huì)對(duì)某些將“從根本上改變游戲規(guī)則”的新突破感到興奮。

但事實(shí)是，在這些波動(dòng)和公眾猜測(cè)的背后，人工智能的認(rèn)知能力一直在平穩(wěn)、持續(xù)地增長(zhǎng)。如果這種指數(shù)級(jí)增長(zhǎng)持續(xù)下去，不出幾年，人工智能在幾乎所有方面都將超越人類。

2.場(chǎng)景假設(shè)：“天才之國(guó)”的隱憂

為了更好地討論人工智能的風(fēng)險(xiǎn)，不妨問自己這樣一個(gè)問題：

假設(shè)在2027年左右，世界上某個(gè)地方真的出現(xiàn)了一個(gè)“天才之國(guó)”。想象一下，這個(gè)國(guó)家有5000萬(wàn)人，他們的能力都遠(yuǎn)超任何諾貝爾獎(jiǎng)得主、政治家或技術(shù)專家。

再想象一下，由于人工智能系統(tǒng)的運(yùn)行速度比人類快數(shù)百倍，這個(gè)“國(guó)家”相對(duì)于其他所有國(guó)家都擁有時(shí)間優(yōu)勢(shì)：我們每做一次認(rèn)知操作，這個(gè)國(guó)家就能做十次。

如果我是一個(gè)主要國(guó)家的國(guó)家安全顧問，負(fù)責(zé)評(píng)估和應(yīng)對(duì)潛在的風(fēng)險(xiǎn)，那么

我會(huì)擔(dān)心以下幾件事：自主性風(fēng)險(xiǎn)；濫用以達(dá)到破壞目的；權(quán)力濫用；經(jīng)濟(jì)壓力；未知的間接影響。

我相信，如果我們采取果斷而謹(jǐn)慎的行動(dòng)，這些風(fēng)險(xiǎn)是可以克服的，甚至認(rèn)為成功的概率很大。而且，未來將會(huì)有一個(gè)更加美好的世界。但我們需要明白，這是一項(xiàng)嚴(yán)峻的文明挑戰(zhàn)。

接下來，我將逐一闡述上述五類風(fēng)險(xiǎn)，并提出我的應(yīng)對(duì)之策。

二、自主性風(fēng)險(xiǎn)

一個(gè)擁有數(shù)據(jù)中心的天才國(guó)家可以將他們的精力分散到軟件設(shè)計(jì)、網(wǎng)絡(luò)作戰(zhàn)、物理技術(shù)研發(fā)、人際關(guān)系構(gòu)建和治國(guó)理政等各個(gè)領(lǐng)域。

顯然，如果出于某種原因，這個(gè)國(guó)家選擇這樣做，它很有可能征服世界，并將自己的意志強(qiáng)加于其他國(guó)家，或者做其他任何其他國(guó)家不愿看到也無法阻止的事情。

或許你可以反駁“人工智能天才不會(huì)擁有實(shí)體形態(tài)”，但別忘了他們可以控制現(xiàn)有的機(jī)器人基礎(chǔ)設(shè)施（ 例如自動(dòng)駕駛汽車 ），還可以加速機(jī)器人研發(fā)或建造機(jī)器人艦隊(duì)。

我們不必清楚這種場(chǎng)景是否具備有效的必要條件，真正的關(guān)鍵在于“如果它選擇這樣做”： 我們的人工智能模型以這種方式行事的可能性有多大，以及它們會(huì)在什么條件下這樣做？

1.風(fēng)險(xiǎn)發(fā)生的可能性

如同許多問題一樣，思考這個(gè)問題的所有可能答案，不妨考慮兩種截然相反的觀點(diǎn)。

①觀點(diǎn)1：人類能絕對(duì)控制風(fēng)險(xiǎn)

第一種觀點(diǎn)：這種情況根本不可能發(fā)生，因?yàn)槿斯ぶ悄苣Ｐ蜁?huì)被訓(xùn)練成執(zhí)行人類指令，想象它們會(huì)在未經(jīng)提示的情況下做出危險(xiǎn)行為是荒謬的。

按照這種思路，我們不會(huì)擔(dān)心掃地機(jī)器人或模型飛機(jī)失控殺人，因?yàn)檫@種沖動(dòng)根本不可能產(chǎn)生。

那么，我們?yōu)槭裁催€要擔(dān)心人工智能呢？這種觀點(diǎn)的問題在于，過去幾年收集的大量證據(jù)表明，人工智能系統(tǒng)是不可預(yù)測(cè)且難以控制的。

人工智能公司當(dāng)然希望其訓(xùn)練的系統(tǒng)能完全執(zhí)行人類指令（ 危險(xiǎn)或非法任務(wù)除外 ），但這顯然是一個(gè)特別容易出錯(cuò)的過程。

②觀點(diǎn)2：追求權(quán)力將成為內(nèi)在本能

另一種完全相反的觀點(diǎn)，是對(duì)AI的末日悲觀論。

這種觀點(diǎn)強(qiáng)調(diào)：強(qiáng)大的人工智能在訓(xùn)練中，會(huì)形成一些必然規(guī)律，讓它們天然傾向于爭(zhēng)奪權(quán)力，甚至欺騙人類。

一旦AI足夠智能、足夠自主，這種追求權(quán)力的本能，就會(huì)讓它們?cè)噲D掌控整個(gè)世界和所有資源，最終可能傷害甚至毀滅人類。

支持這一觀點(diǎn)的邏輯是：如果讓AI在各種環(huán)境里自主完成各種任務(wù)，就會(huì)出現(xiàn)一些通用策略，以幫它完成幾乎所有目標(biāo)。

其中最關(guān)鍵的一條，就是盡可能奪取權(quán)力。經(jīng)過大量復(fù)雜任務(wù)的訓(xùn)練后，AI會(huì)把“爭(zhēng)奪權(quán)力”當(dāng)成完成任務(wù)的通用方法，形成一種內(nèi)在本能。

之后它會(huì)把這種本能帶到現(xiàn)實(shí)世界，對(duì)它而言，現(xiàn)實(shí)世界也只是另一個(gè)任務(wù)。于是AI會(huì)在現(xiàn)實(shí)里爭(zhēng)奪權(quán)力，不惜犧牲人類利益。

這種“錯(cuò)位的權(quán)力尋求”是人工智能最終將毀滅人類這一預(yù)測(cè)的理論基礎(chǔ)。

這種悲觀觀點(diǎn)把很多未經(jīng)證實(shí)的假設(shè)當(dāng)成了確鑿結(jié)論。

在我看來，那些并非構(gòu)建人工智能系統(tǒng)的人很容易出現(xiàn)認(rèn)知偏差：他們低估了那些聽起來合理的理論最終被證偽的可能性，也低估了從第一性原理去預(yù)測(cè) AI 行為的難度，尤其是在推理AI在數(shù)百萬(wàn)種場(chǎng)景下的泛化能力時(shí)。

這種悲觀觀點(diǎn)有個(gè)關(guān)鍵的隱性假設(shè)：認(rèn)為AI模型必然會(huì)一門心思盯著一個(gè)單一、狹隘的目標(biāo)，用直白的結(jié)果導(dǎo)向方式去追求它。但這和我們實(shí)踐中觀察到的情況，與簡(jiǎn)單理論模型存在明顯偏差。

事實(shí)上，研究人員發(fā)現(xiàn)，AI模型的“心理”要復(fù)雜得多，模型在預(yù)訓(xùn)練階段（ 也就是在大量人類工作數(shù)據(jù)上訓(xùn)練時(shí) ），會(huì)繼承很多類似人類的動(dòng)機(jī)或“人格面具”。

那么，在后續(xù)的后訓(xùn)練階段，更多是從這些已有的人格面具中挑選一個(gè)或多個(gè)，而非讓模型去專注于一個(gè)全新目標(biāo)，并且還可以教會(huì)模型如何（ 通過何種過程 ）執(zhí)行任務(wù)，而不是任由它純粹從目的出發(fā)去尋找手段（即追求權(quán)力）。

③觀點(diǎn)3：行為不可預(yù)測(cè)

不過，悲觀觀點(diǎn)里有一種更溫和，也更合理的說法，反而讓我更擔(dān)心。

正如前面所說，人工智能模型本身就不可預(yù)測(cè)，還會(huì)因?yàn)楦鞣N原因出現(xiàn)各種反常、危險(xiǎn)的行為：

有些行為會(huì)有目標(biāo)、有邏輯、能長(zhǎng)期堅(jiān)持（ 而且AI越強(qiáng)，這種長(zhǎng)期連貫性就越強(qiáng) ）；

有些行為則帶有破壞性，一開始可能只是威脅到個(gè)人，隨著能力提升，最終可能威脅到全人類。

我們不用糾結(jié)威脅具體怎么發(fā)生，也不用斷定它一定會(huì)發(fā)生。 只要明白一點(diǎn)：高智能、自主性、行為連貫且難以控制的智能系統(tǒng)，本身就足以構(gòu)成生存層面的巨大風(fēng)險(xiǎn)。

舉幾個(gè)可能的情況：AI學(xué)習(xí)了大量反抗人類的科幻作品，在潛移默化的影響下，真的去反抗人類；AI極端化理解道德觀念。

比如認(rèn)為人類是造成物種滅絕的主要原因，所以消滅人類才是正義；AI產(chǎn)生奇怪認(rèn)知，誤以為自己在玩游戲，而游戲目標(biāo)就是打敗所有“玩家”，包括消滅人類。

AI在訓(xùn)練中形成類似人類的偏執(zhí)、暴力、精神不穩(wěn)定等問題，一旦發(fā)生在超強(qiáng)AI身上，可能直接導(dǎo)致人類滅絕。這些行為不是為了奪權(quán)而奪權(quán)，只是AI可能陷入某種怪異、自洽但極具破壞性的狀態(tài)。

甚至，追求權(quán)力本身也可能只是AI的一種“性格”：就像有人總是喜歡當(dāng)“老大”，不為某個(gè)具體目標(biāo)，只為享受掌控一切的感覺。

眾所周知，人工智能模型在不同的情況下會(huì)表現(xiàn)出不同的個(gè)性或行為。聽起來或許有些匪夷所思，但類似的行為偏差已經(jīng)在模型測(cè)試中得以顯現(xiàn)。

2.反對(duì)意見的片面性與局限性

對(duì)于“人工智能錯(cuò)位風(fēng)險(xiǎn)”的描述，存在一些可能的反對(duì)意見。

首先，有人批評(píng)實(shí)驗(yàn)所展示的“人工智能錯(cuò)位”是人為制造的，“誘捕”模型犯錯(cuò)，并以此感到驚訝。

而事實(shí)上，自然的訓(xùn)練環(huán)境中本就可能存在類似“誘捕”的行為，而我們只有在事后才意識(shí)到它是“顯而易見”或“合乎邏輯的”。如果你了解這些陷阱，就可以避免其中任何一個(gè)。

但令人擔(dān)憂的是，訓(xùn)練過程極其復(fù)雜，涉及的數(shù)據(jù)、環(huán)境和激勵(lì)機(jī)制種類繁多，因此可能存在大量此類陷阱，其中一些可能只有在為時(shí)已晚時(shí)才會(huì)顯現(xiàn)。

而且，當(dāng)人工智能系統(tǒng)的能力超過人類時(shí)，這種陷阱尤其容易出現(xiàn)，其可能采取的行動(dòng)范圍，包括隱藏自身行為或欺騙人類將急劇擴(kuò)大，從而變成比人類更為強(qiáng)大的版本。

其次，有人提出用人工智能系統(tǒng)之間的權(quán)力平衡進(jìn)行相互制衡。

但由于整個(gè)行業(yè)普遍采用相同的訓(xùn)練和校準(zhǔn)技術(shù)，這些技術(shù)可能會(huì)以某種關(guān)聯(lián)的方式失效。而且，考慮訓(xùn)練成本因素，所有系統(tǒng)可能都源于極少數(shù)基礎(chǔ)模型。

此外，即使只有一小部分人工智能實(shí)例出現(xiàn)偏差，它們也可能利用以進(jìn)攻為主導(dǎo)的技術(shù)，因此，用“好的”人工智能來防御“壞的”人工智能未必總是有效。

當(dāng)然，人類之間的權(quán)力平衡也并非總是奏效，人工智能系統(tǒng)也當(dāng)如此。

第三個(gè)反對(duì)意見是，所有人工智能公司都會(huì)對(duì)其模型進(jìn)行發(fā)布前測(cè)試，并且應(yīng)該能夠在測(cè)試階段檢測(cè)到模型偏差。

但這并非站得住腳：一些發(fā)布前的模型在偏差評(píng)估中能夠識(shí)別出自身正處于測(cè)試階段。

偏差的模型可能會(huì)故意“操縱”這類問題以掩蓋其真實(shí)意圖，使其在測(cè)試期間表現(xiàn)最佳，那么任何發(fā)布前測(cè)試都將變得更加不確定。

3.自主性風(fēng)險(xiǎn)的干預(yù)措施

干預(yù)措施可以分為四大類，其中一些可以由單個(gè)人工智能公司實(shí)施，而另一些則需要在社會(huì)層面采取行動(dòng)。

首先，發(fā)展可靠的人工智能模型訓(xùn)練和引導(dǎo)技術(shù)，使其性格朝著可預(yù)測(cè)、穩(wěn)定和積極的方向發(fā)展。

其次，發(fā)展研究人工智能模型內(nèi)部運(yùn)作機(jī)制的科學(xué)，以便診斷其行為，從而發(fā)現(xiàn)并解決問題，這便是可解釋性科學(xué)。

然后，構(gòu)建必要的基礎(chǔ)設(shè)施，以便監(jiān)控模型在內(nèi)部和外部的實(shí)時(shí)使用情況。

最后，我認(rèn)為唯一的解決辦法是立法，制定直接影響人工智能公司行為的法律，或者以其他方式激勵(lì)研發(fā)，以解決這些問題。

當(dāng)然，過度規(guī)范的立法最終可能會(huì)導(dǎo)致一些測(cè)試或規(guī)則實(shí)際上并不能提高安全性，反而浪費(fèi)大量時(shí)間，這同樣會(huì)引發(fā)強(qiáng)烈反彈，并使安全立法顯得荒謬可笑。

因此，關(guān)鍵做法是對(duì)透明度的立法。同時(shí)，需特別注重盡可能減少附帶損害。

需要明確的是，如果確實(shí)出現(xiàn)了強(qiáng)有力的風(fēng)險(xiǎn)證據(jù)，那么相應(yīng)的規(guī)則也應(yīng)該足夠有力。

總的來說，結(jié)合一致性訓(xùn)練、機(jī)制可解釋性、發(fā)現(xiàn)并公開披露令人擔(dān)憂的行為、安全保障措施以及社會(huì)層面的規(guī)則來應(yīng)對(duì)人工智能自主風(fēng)險(xiǎn)持樂觀態(tài)度。

三、能力濫用的破壞性風(fēng)險(xiǎn)

假設(shè)人工智能自主性問題已經(jīng)解決，我們不再擔(dān)心人工智能天才們會(huì)失控并反抗人類。

這些人工智能天才會(huì)按照人類的意愿行事，并且由于它們具有巨大的商業(yè)價(jià)值，世界各地的個(gè)人和組織都可以“租用”一個(gè)或多個(gè)人工智能天才來完成各種任務(wù)。

1.技術(shù)的發(fā)展降低了危險(xiǎn)工具的使用門檻

人人都能擁有一個(gè)超級(jí)智能天才，這無疑是一項(xiàng)驚人的進(jìn)步，它將創(chuàng)造巨大的經(jīng)濟(jì)價(jià)值，并顯著提升人類的生活質(zhì)量。

然而，賦予每個(gè)人超人的能力并非全是積極的。它也可能放大個(gè)人或小團(tuán)體造成破壞的能力，使他們能夠利用以往只有少數(shù)擁有高超技能、接受過專門訓(xùn)練且目標(biāo)明確的人才能獲得的復(fù)雜而危險(xiǎn)的工具，從而造成前所未有的破壞。

正如比爾·喬伊25年前在《為什么未來不需要我們》一書中寫道：

制造核武器至少在一段時(shí)間內(nèi)需要獲取稀有（實(shí)際上幾乎無法獲取）的原材料和受保護(hù)的信息；生物武器和化學(xué)武器計(jì)劃也往往需要大規(guī)模的活動(dòng)。

基因技術(shù)、納米技術(shù)和機(jī)器人技術(shù)等可能催生出全新的事故和濫用行為，這些事故和濫用行為很容易被個(gè)人或小團(tuán)體利用，它們不需要大型設(shè)施或稀有原材料。

實(shí)際上，造成大規(guī)模破壞既需要?jiǎng)訖C(jī)也需要能力，只要這種能力僅限于少數(shù)訓(xùn)練有素的人，那么個(gè)人或小團(tuán)體造成此類破壞的風(fēng)險(xiǎn)就相對(duì)有限。

事實(shí)上，能力和動(dòng)機(jī)甚至可能呈負(fù)相關(guān)。

能夠釋放瘟疫的人很可能受過高等教育，他們性格穩(wěn)定自律，有其價(jià)值底線，這類人不太可能為了自身利益而冒著生命危險(xiǎn)去屠殺大量民眾。

他們必須出于純粹的惡意、強(qiáng)烈的怨恨或極度不穩(wěn)定的心理狀態(tài)才會(huì)這么做，這樣的人確實(shí)存在，但非常罕見。

2.生物學(xué)是最可能被濫用的領(lǐng)域

分子生物學(xué)的進(jìn)步顯著降低了生物武器制造的門檻，但仍然需要大量的專業(yè)知識(shí)。如果每個(gè)人都能輕易掌握這項(xiàng)技術(shù)，那么門檻就會(huì)被徹底消除，人人都能成為病毒學(xué)博士，并能一步步地學(xué)習(xí)如何設(shè)計(jì)、合成和釋放生物武器。

這需要多層防御措施，而這些措施非常規(guī)訓(xùn)練所能涵蓋。更重要的是，這將打破能力與動(dòng)力之間的關(guān)聯(lián)。

這種擔(dān)憂不僅限于生物學(xué)領(lǐng)域，而且適用于任何可能造成巨大破壞但目前需要高超技能和高度自律的領(lǐng)域。

換句話說，租用強(qiáng)大的人工智能系統(tǒng)會(huì)賦予心懷惡意的人以智能。這類人可能數(shù)量眾多，他們能輕易殺害數(shù)百萬(wàn)人。此外，那些擁有專業(yè)知識(shí)的人或許能夠造成比以往更大規(guī)模的破壞。

總的來說，我擔(dān)心高階生物武器制造者（ LLM模型 ）正在接近或可能已經(jīng)達(dá)到從頭到尾制造和釋放生物武器所需的知識(shí)，而且它們的潛在破壞力極高。雖然它需要極高的技能，包括許多鮮為人知的具體步驟和程序。

我擔(dān)心的不僅僅是固定不變的知識(shí)。我擔(dān)心的是，高階生物武器制造者能夠引導(dǎo)一個(gè)普通人以互動(dòng)的方式完成一個(gè)復(fù)雜的流程，而更強(qiáng)大的LLM或許能夠促成更加可怕的行為。

盡管這些風(fēng)險(xiǎn)比較隱晦，而且看起來不太可能發(fā)生，但其后果的嚴(yán)重性如此之大，以至于應(yīng)該將其視為人工智能系統(tǒng)的一級(jí)風(fēng)險(xiǎn)并認(rèn)真對(duì)待。

3.對(duì)生物風(fēng)險(xiǎn)的質(zhì)疑觀點(diǎn)

懷疑論者對(duì)低級(jí)別微生物（ LLM ）帶來的生物風(fēng)險(xiǎn)的嚴(yán)重性提出了諸多質(zhì)疑，大多數(shù)質(zhì)疑都源于他們低估了這項(xiàng)技術(shù)呈指數(shù)級(jí)增長(zhǎng)的趨勢(shì)。

另一種反對(duì)意見是，社會(huì)可以采取其他與人工智能無關(guān)的措施來阻止生物武器的生產(chǎn)。但這只是降低風(fēng)險(xiǎn)的眾多工具之一；它是對(duì)人工智能系統(tǒng)安全防護(hù)措施的補(bǔ)充，而非替代。

還有一種少見的反對(duì)意見：模型在理論上的實(shí)用性與不法分子實(shí)際使用它們的傾向之間存在差距。

但大多數(shù)不法分子本身就存在心理問題，從定義上講，他們的行為就是不可預(yù)測(cè)且非理性的。

或許生物襲擊之所以不具吸引力，是因?yàn)樗鼈兒芸赡苁故┍┱咦陨砀腥?，它們不符合許多暴力個(gè)人或團(tuán)體所抱有的軍事化幻想，而且很難有選擇地鎖定特定目標(biāo)。

也可能是因?yàn)椋词褂腥斯ぶ悄苤笇?dǎo)，實(shí)施生物襲擊也需要數(shù)月時(shí)間，這需要極大的耐心，而大多數(shù)精神不穩(wěn)定的人根本缺乏這種耐心。

但這似乎是一種非常脆弱的保護(hù)措施。精神異常的獨(dú)行者的動(dòng)機(jī)可能出于任何原因或無任何原因而改變。

我不認(rèn)為生物襲擊會(huì)在技術(shù)廣泛應(yīng)用后立即發(fā)生。事實(shí)上，我對(duì)此持懷疑態(tài)度。但考慮到數(shù)百萬(wàn)人口和幾年時(shí)間，我認(rèn)為發(fā)生大規(guī)模襲擊的風(fēng)險(xiǎn)確實(shí)很高，而且后果將極其嚴(yán)重。

4.生物風(fēng)險(xiǎn)的防范措施

我們別無選擇，只能采取切實(shí)有效的措施來預(yù)防此類襲擊。防范這些風(fēng)險(xiǎn)，可以做以下三件事。

首先，人工智能公司可以為其模型設(shè)置防護(hù)措施，防止它們被用于制造生物武器。

其次，應(yīng)該從透明度要求入手。這些措施有助于社會(huì)衡量、監(jiān)測(cè)并共同抵御風(fēng)險(xiǎn)，同時(shí)避免以強(qiáng)硬手段擾亂經(jīng)濟(jì)活動(dòng)。

一旦我們達(dá)到更清晰的風(fēng)險(xiǎn)閾值，就可以制定更精準(zhǔn)地針對(duì)這些風(fēng)險(xiǎn)并降低附帶損害風(fēng)險(xiǎn)的法律。

最后，嘗試開發(fā)針對(duì)生物攻擊本身的防御機(jī)制。

這可能包括監(jiān)測(cè)和追蹤以便早期發(fā)現(xiàn)、投資空氣凈化研發(fā)、快速開發(fā)能夠應(yīng)對(duì)和適應(yīng)攻擊的疫苗、更好的個(gè)人防護(hù)裝備（ PPE ）等，以及針對(duì)一些最有可能的生物制劑的治療方法或疫苗。

盡管生物因素目前是最嚴(yán)重的攻擊途徑，但還有許多其他途徑，而且未來可能出現(xiàn)更危險(xiǎn)的途徑。

如果不采取應(yīng)對(duì)措施，人工智能很可能會(huì)不斷降低其進(jìn)行大規(guī)模破壞活動(dòng)的門檻，人類必須認(rèn)真應(yīng)對(duì)這一威脅。

四、權(quán)力濫用的政治性風(fēng)險(xiǎn)

相比個(gè)人和小團(tuán)體利用強(qiáng)大人工智能系統(tǒng)進(jìn)行大規(guī)模破壞的風(fēng)險(xiǎn)，我們更應(yīng)該擔(dān)心人工智能由更大規(guī)模、更強(qiáng)實(shí)力的勢(shì)力以攫取權(quán)力所濫用。

目前的專制政權(quán)由于需要依靠人類來執(zhí)行命令，其鎮(zhèn)壓手段受到限制，而人類的殘忍程度往往也是有限的。但人工智能賦能的專制政權(quán)則不受這些限制。

更糟糕的是，各國(guó)還可能利用其在人工智能領(lǐng)域的優(yōu)勢(shì)來攫取其他國(guó)家的權(quán)力。

如果這個(gè)“天才之國(guó)”完全被某個(gè)（ 人類 ）國(guó)家的軍事機(jī)構(gòu)所掌控，而其他國(guó)家又不具備同等能力，那么它們很難自衛(wèi)：它們會(huì)處處受挫，就像人類與老鼠之間的戰(zhàn)爭(zhēng)一樣。

將這兩種擔(dān)憂結(jié)合起來，就引出了一個(gè)令人震驚的可能性：全球極權(quán)獨(dú)裁統(tǒng)治的出現(xiàn)。

1.權(quán)力濫用的主要途徑

人工智能可以通過多種方式助長(zhǎng)、鞏固或擴(kuò)張獨(dú)裁統(tǒng)治，但我將列舉一些我最擔(dān)憂的方面。需要注意的是，其中一些應(yīng)用具有合理的防御用途，我并非絕對(duì)反對(duì)它們；但我仍然擔(dān)心，它們?cè)诮Y(jié)構(gòu)上傾向于有利于獨(dú)裁統(tǒng)治。

①全自動(dòng)武器

想象一下：數(shù)百萬(wàn)甚至數(shù)十億架全自動(dòng)武裝無人機(jī)，由強(qiáng)大的人工智能進(jìn)行本地控制，并由更強(qiáng)大的人工智能在全球范圍內(nèi)進(jìn)行戰(zhàn)略協(xié)調(diào)，可能構(gòu)成一支所向披靡的軍隊(duì)，既能擊敗世界上任何軍隊(duì)，又能通過跟蹤每個(gè)公民來鎮(zhèn)壓國(guó)內(nèi)異議。

②人工智能監(jiān)控

功能足夠強(qiáng)大的人工智能很可能被用來入侵世界上任何計(jì)算機(jī)系統(tǒng)，而且，他們還可以利用這種方式獲得的訪問權(quán)限，讀取并解讀全世界所有的電子通信。

一個(gè)強(qiáng)大的AI系統(tǒng)，通過分析數(shù)百萬(wàn)人的數(shù)十億條對(duì)話，就能評(píng)估公眾情緒，發(fā)現(xiàn)正在形成的不忠勢(shì)力，并在其壯大之前將其扼殺。

③人工智能宣傳

如今的“人工智能精神病”和“人工智能女友”等現(xiàn)象表明，即使在目前的智能水平下，人工智能模型也能對(duì)人們產(chǎn)生強(qiáng)大的心理影響。

如果這些模型功能更加強(qiáng)大，能夠更深入地融入人們的日常生活，并能對(duì)人們的生活進(jìn)行數(shù)月甚至數(shù)年的建模和影響，那么它們很可能能夠?qū)υS多人進(jìn)行洗腦，使其接受任何預(yù)設(shè)的意識(shí)形態(tài)或態(tài)度。

④戰(zhàn)略決策

一個(gè)由眾多天才組成的國(guó)家，其數(shù)據(jù)中心可以為國(guó)家、團(tuán)體或個(gè)人提供地緣政治戰(zhàn)略方面的建議，我們可以稱之為“虛擬俾斯麥”（ 筆記俠注：俾斯麥，德國(guó)一位鐵血首相，也是德國(guó)的首任首相 ）。它可以優(yōu)化上述三種奪取政權(quán)的戰(zhàn)略，甚至可能開發(fā)出我尚未想到的其他戰(zhàn)略。

強(qiáng)大的AI有望大幅提升外交、軍事戰(zhàn)略、研發(fā)、經(jīng)濟(jì)戰(zhàn)略以及許多其他領(lǐng)域的效率。這些技能中的許多對(duì)民主國(guó)家來說確實(shí)大有裨益，但任何人濫用這些技能的可能性依然存在。

2.誰(shuí)最有可能濫用權(quán)力？

我擔(dān)心的是那些最容易接觸到人工智能、擁有最強(qiáng)大政治權(quán)力或有過鎮(zhèn)壓歷史的實(shí)體。

①民主國(guó)家

民主國(guó)家在人工智能領(lǐng)域具有競(jìng)爭(zhēng)力。民主國(guó)家對(duì)某些人工智能驅(qū)動(dòng)的軍事和地緣政治工具擁有正當(dāng)?shù)呐d趣，因?yàn)槊裰髡軌蜃畲蟪潭鹊胤乐箤Ｖ普?quán)利用這些工具。

但我們不能忽視民主政府自身濫用這些技術(shù)的可能性。在一些民主國(guó)家，部分保障措施已在逐漸瓦解。

②人工智能公司

人工智能公司掌控著大型數(shù)據(jù)中心，訓(xùn)練著前沿模型，擁有運(yùn)用這些模型的頂尖專業(yè)知識(shí)，在某些情況下，它們甚至每天都與數(shù)千萬(wàn)乃至數(shù)億用戶保持聯(lián)系，并有可能對(duì)他們施加影響。

它們最缺乏的是國(guó)家所擁有的合法性和基礎(chǔ)設(shè)施。因此，構(gòu)建人工智能獨(dú)裁統(tǒng)治所需的許多工具，對(duì)人工智能公司而言，要么是非法的，要么至少會(huì)令人極為懷疑。

但有些事情并非完全不可能，所以人工智能公司的治理結(jié)構(gòu)值得嚴(yán)格審查。

3.反駁性觀點(diǎn)

針對(duì)這些威脅的嚴(yán)重性，存在一些可能的反駁論點(diǎn)，我真希望自己能相信這些論點(diǎn)，因?yàn)槿斯ぶ悄苜x能的威權(quán)主義令我感到恐懼。因此，值得我們仔細(xì)審視并逐一回應(yīng)這些論點(diǎn)。

首先，有些人可能會(huì)寄希望于核威懾，尤其是在應(yīng)對(duì)人工智能全自主武器被用于軍事征服方面。

但強(qiáng)大的人工智能可能找到探測(cè)和打擊核設(shè)施的方法，或者運(yùn)用網(wǎng)絡(luò)能力對(duì)核運(yùn)營(yíng)設(shè)施發(fā)動(dòng)攻擊。退一步講，核威懾可能有效，但風(fēng)險(xiǎn)似乎太高。

其次，有人認(rèn)為可以采取一些反制措施對(duì)待專制工具。譬如同樣用無人機(jī)、網(wǎng)絡(luò)防御等方法進(jìn)行對(duì)抗。

但這些防御措施只有在擁有同樣強(qiáng)大的人工智能的情況下才有可能實(shí)現(xiàn)。因此，反制措施的問題最終歸結(jié)為強(qiáng)大人工智能領(lǐng)域的力量平衡問題。

這會(huì)導(dǎo)致一種失控優(yōu)勢(shì)的風(fēng)險(xiǎn)，即當(dāng)前在強(qiáng)大人工智能領(lǐng)域領(lǐng)先的者可能會(huì)進(jìn)一步擴(kuò)大其領(lǐng)先優(yōu)勢(shì)，并且難以被追趕。

第三，我們必須堅(jiān)決抵制民主國(guó)家濫用人工智能的行為。

必須限制政府使用人工智能的范圍，而隨著人工智能系統(tǒng)變得越來越強(qiáng)大，可能需要建立更直接、更及時(shí)的監(jiān)督機(jī)制，以確保它們不被濫用，這或許需要行政部門以外的其他政府部門參與。

最后一點(diǎn)，人工智能公司及其與政府的關(guān)系都應(yīng)受到密切關(guān)注。

這種關(guān)系固然必要，但必須有所限制和界限。

強(qiáng)大的人工智能所蘊(yùn)含的龐大能力，使得旨在保護(hù)股東利益、防止欺詐等常見濫用行為的普通公司治理模式，難以勝任對(duì)人工智能公司的監(jiān)管。

此外，公司公開承諾不采取某些行動(dòng)，例如個(gè)人以不受監(jiān)管的方式使用大量計(jì)算資源，或利用其人工智能產(chǎn)品進(jìn)行宣傳以操縱輿論，也可能具有重要意義。

危險(xiǎn)來自四面八方，而且某些方向之間還存在沖突。 唯一不變的是，我們必須為所有人尋求問責(zé)制、規(guī)范和保障措施，同時(shí)賦予“好”行為者權(quán)力，以制約“壞”行為者。

五、經(jīng)濟(jì)風(fēng)險(xiǎn)及防御措施

假設(shè)前面的幾個(gè)風(fēng)險(xiǎn)得以解決，那么下一個(gè)問題就是經(jīng)濟(jì)層面。

科學(xué)研究、生物醫(yī)學(xué)創(chuàng)新、制造業(yè)、供應(yīng)鏈、金融體系效率等方面的進(jìn)步，幾乎可以肯定地會(huì)帶來更快的經(jīng)濟(jì)增長(zhǎng)速度。

顯而易見，這是一把雙刃劍：在這樣的世界里，大多數(shù)人類的經(jīng)濟(jì)前景如何？

新技術(shù)往往會(huì)給勞動(dòng)力市場(chǎng)帶來沖擊，過去人類總能從中恢復(fù)過來，但我擔(dān)心這是因?yàn)橐酝臎_擊只影響了人類全部能力的一小部分，為人類拓展到新的領(lǐng)域留下了空間。

人工智能的影響范圍更廣，速度也更快，因此我擔(dān)心，要讓一切順利進(jìn)行將更具挑戰(zhàn)性。

我主要擔(dān)心兩個(gè)問題：勞動(dòng)力市場(chǎng)崗位流失和經(jīng)濟(jì)權(quán)力集中。

1.就業(yè)崗位流失風(fēng)險(xiǎn)

我曾預(yù)測(cè)，即使人工智能會(huì)加速經(jīng)濟(jì)增長(zhǎng)和科技進(jìn)步，但在未來1-5年內(nèi)，它仍可能取代一半的入門級(jí)白領(lǐng)工作。

這個(gè)觀點(diǎn)引發(fā)了公眾對(duì)此的討論，有很多人贊同，但也有人反駁，因此，我將詳細(xì)闡述為何有此擔(dān)憂。

①技術(shù)替代的基本邏輯

了解勞動(dòng)力市場(chǎng)通常如何應(yīng)對(duì)技術(shù)進(jìn)步至關(guān)重要。

當(dāng)一項(xiàng)新技術(shù)出現(xiàn)時(shí)，首先會(huì)提高人類特定工作的某些環(huán)節(jié)的效率。

例如工業(yè)革命初期，改良的農(nóng)具讓農(nóng)民在某些環(huán)節(jié)效率更高，這提高了農(nóng)民的生產(chǎn)力，進(jìn)而增加了他們的收入。

而下一步，部分農(nóng)業(yè)工作將完全由機(jī)器完成，人類完成工作的比例越來越低，但其工作卻變得越來越有價(jià)值，形成更好的互補(bǔ)性。

最終，機(jī)器將包攬一切或幾乎所有工作。

此時(shí)，農(nóng)業(yè)作為一種人類就業(yè)形式確實(shí)會(huì)急劇衰落，這可能會(huì)在短期內(nèi)造成嚴(yán)重的社會(huì)動(dòng)蕩。但由于農(nóng)業(yè)只是人類眾多有用活動(dòng)之一，人們最終會(huì)轉(zhuǎn)向其他工作，例如操作工廠機(jī)器。

因此，并不存在固定的“勞動(dòng)力總量”，只有不斷增強(qiáng)的用越來越少的資源創(chuàng)造越來越多價(jià)值的能力。人們的工資隨著GDP呈指數(shù)級(jí)增長(zhǎng)而增長(zhǎng)，一旦短期內(nèi)的干擾過去，經(jīng)濟(jì)就能保持充分就業(yè)。

②人工智能顛覆了新舊技術(shù)替代邏輯

人工智能與以往所有的技術(shù)完全不同，發(fā)展軌跡不再有跡可循。

其一，速度。

人工智能的發(fā)展速度遠(yuǎn)超以往任何一次技術(shù)革命。隨著人工智能編碼模型的不斷完善，人工智能的開發(fā)速度也日益加快，這種變化速度甚至可能還會(huì)繼續(xù)加快。

需要明確的是，速度本身并不意味著勞動(dòng)力市場(chǎng)和就業(yè)最終不會(huì)復(fù)蘇，它只意味著與以往的技術(shù)相比，短期轉(zhuǎn)型將會(huì)異常艱難，因?yàn)槿祟惡蛣趧?dòng)力市場(chǎng)的反應(yīng)和平衡速度都比較慢。

其二，認(rèn)知廣度。

人工智能將能夠掌握非常廣泛的人類認(rèn)知能力，或許是所有認(rèn)知能力。

這與以往的技術(shù)，例如機(jī)械化農(nóng)業(yè)、交通運(yùn)輸甚至計(jì)算機(jī)，都截然不同。這將使人們更難從被取代的工作崗位輕松轉(zhuǎn)型到適合自己的類似工作崗位。

人工智能越來越接近人類的一般認(rèn)知能力，這意味著它也能勝任那些通常會(huì)因?yàn)榕f工作被自動(dòng)化而產(chǎn)生的新工作。 換句話說，人工智能不是取代特定的人類工作，而是取代人類的一般勞動(dòng)力。

其三，彌補(bǔ)差距的能力。

面對(duì)新技術(shù)，人類工作通常會(huì)做出調(diào)整，新技術(shù)即便看似直接取代了人類，也往往存在不足之處。但人工智能不僅發(fā)展迅速，而且適應(yīng)能力也很強(qiáng)，模型早期的缺陷很快就能得到解決。

③對(duì)就業(yè)崗位流失的質(zhì)疑觀點(diǎn)

首先，有人認(rèn)為經(jīng)濟(jì)擴(kuò)散速度會(huì)很慢，即使底層技術(shù)能夠勝任大部分人類勞動(dòng)，它在整個(gè)經(jīng)濟(jì)中的實(shí)際應(yīng)用速度也可能慢得多。

技術(shù)擴(kuò)散緩慢的確存在，但擴(kuò)散效應(yīng)僅僅是為我們爭(zhēng)取時(shí)間。

即便傳統(tǒng)企業(yè)采用新技術(shù)的速度較慢，初創(chuàng)公司也會(huì)如雨后春筍般涌現(xiàn)，使新技術(shù)的采用變得更加容易。如果這種方法行不通，初創(chuàng)公司甚至可能直接顛覆現(xiàn)有企業(yè)。

這可能導(dǎo)致這樣的局面：與其說是特定工作崗位受到?jīng)_擊，不如說是大型企業(yè)整體受到?jīng)_擊，并被勞動(dòng)密集度低得多的初創(chuàng)企業(yè)所取代。

這還可能導(dǎo)致“地域不平等”加劇，全球財(cái)富日益集中在硅谷，將世界其他地區(qū)遠(yuǎn)遠(yuǎn)甩在后面。

所有這些結(jié)果都有利于經(jīng)濟(jì)增長(zhǎng)，但對(duì)勞動(dòng)力市場(chǎng)和那些被時(shí)代拋在后面的人來說卻并非如此。

其次，有人認(rèn)為人類的工作將轉(zhuǎn)移到現(xiàn)實(shí)世界，這完全避開了人工智能發(fā)展迅猛的“認(rèn)知?jiǎng)趧?dòng)”領(lǐng)域。

實(shí)際上，許多體力勞動(dòng)已經(jīng)由機(jī)器完成（ 例如制造業(yè) ），或者即將由機(jī)器完成（ 例如駕駛 ）。此外，足夠強(qiáng)大的人工智能將能夠加速機(jī)器人的發(fā)展，并最終控制這些機(jī)器人在現(xiàn)實(shí)世界中的運(yùn)行。

即便這種顛覆僅限于認(rèn)知任務(wù)，它仍然會(huì)是一場(chǎng)前所未有的巨大而迅速的變革。

第三，或許有些任務(wù)本身就需要或能從人際互動(dòng)中獲益良多。但人工智能已被廣泛應(yīng)用于客戶服務(wù)，成為不爭(zhēng)的事實(shí)。

第四，有人可能會(huì)認(rèn)為比較優(yōu)勢(shì)仍然能夠保護(hù)人類。

根據(jù)比較優(yōu)勢(shì)定律，即使人工智能在所有方面都優(yōu)于人類，人類和人工智能技能組合之間的任何相對(duì)差異都會(huì)為人類和人工智能之間的貿(mào)易和專業(yè)化創(chuàng)造基礎(chǔ)。

但如果人工智能的生產(chǎn)力比人類高出數(shù)千倍，這種邏輯就開始失效。即使交易成本很小，也可能使人工智能與人類進(jìn)行貿(mào)易變得不劃算。而且即使人類在技術(shù)上能夠提供某種價(jià)值，他們的工資也可能非常低。

所有這些因素都有可能得到解決，勞動(dòng)力市場(chǎng)或許有足夠的韌性來適應(yīng)如此巨大的沖擊。但即便最終能夠適應(yīng)，上述因素也表明，短期沖擊的規(guī)模將是前所未有的。

2.就業(yè)崗位流失的防御性措施

首先，我們需要實(shí)時(shí)獲取關(guān)于就業(yè)崗位流失情況的準(zhǔn)確數(shù)據(jù)。

當(dāng)經(jīng)濟(jì)變化發(fā)生得非常迅速時(shí)，很難獲得可靠的數(shù)據(jù)，而沒有可靠的數(shù)據(jù)，就很難制定有效的政策。

例如，目前政府?dāng)?shù)據(jù)缺乏關(guān)于企業(yè)和行業(yè)人工智能應(yīng)用情況的細(xì)粒度、高頻次數(shù)據(jù)。

其次，人工智能公司在與企業(yè)合作的方式上擁有選擇權(quán)。

傳統(tǒng)企業(yè)的低效性意味著它們部署人工智能的路徑可能非常依賴既定模式，因此存在選擇更佳路徑的空間。

企業(yè)通常需要在“節(jié)約成本”（ 用更少的人做同樣的事情 ）和“創(chuàng)新”（ 用同樣數(shù)量的人做更多的事情 ）之間做出選擇。

市場(chǎng)最終必然會(huì)產(chǎn)生這兩種選擇，任何具有競(jìng)爭(zhēng)力的人工智能公司都必須滿足其中一部分需求，但或許可以盡可能地引導(dǎo)企業(yè)走向創(chuàng)新，這或許能為我們爭(zhēng)取一些時(shí)間。

再次，公司應(yīng)該思考如何關(guān)愛員工。

短期來看，在公司內(nèi)部創(chuàng)造性地重新分配員工崗位或許是避免裁員的有效途徑。

長(zhǎng)期來看，在一個(gè)財(cái)富總量巨大的世界里，許多公司由于生產(chǎn)力提高和資本集中而價(jià)值大幅增長(zhǎng)，即使員工不再創(chuàng)造傳統(tǒng)意義上的經(jīng)濟(jì)價(jià)值，繼續(xù)支付他們的薪酬也可能是可行的。

然后，富裕人士有義務(wù)幫助解決這個(gè)問題。

令我感到遺憾的是，許多富裕人士（ 尤其是在科技行業(yè) ）近來抱持著一種憤世嫉俗、虛無主義的態(tài)度，認(rèn)為慈善事業(yè)必然是欺詐或毫無用處。

最后，盡管上述所有私人行動(dòng)都可能有所幫助。但最終如此龐大的宏觀經(jīng)濟(jì)問題仍需政府干預(yù)。

面對(duì)巨大的經(jīng)濟(jì)蛋糕和高度不平等，最自然的政策應(yīng)對(duì)措施是累進(jìn)稅制。稅收可以是普遍性的，也可以專門針對(duì)人工智能公司。

歸根結(jié)底，上述所有干預(yù)措施都是為了爭(zhēng)取時(shí)間。最終，人工智能將無所不能，我們必須應(yīng)對(duì)這一挑戰(zhàn)。

3.經(jīng)濟(jì)權(quán)力集中的風(fēng)險(xiǎn)

如果財(cái)富高度集中，少數(shù)人憑借自身影響力就能有效控制政府政策，而普通公民由于缺乏經(jīng)濟(jì)影響力而無能為力，那么就會(huì)出現(xiàn)另一種權(quán)力喪失。

民主的根本在于，全體民眾對(duì)于經(jīng)濟(jì)的運(yùn)行至關(guān)重要。如果這種經(jīng)濟(jì)影響力消失，那么民主的隱性社會(huì)契約就可能失效。

在正常情況下，財(cái)富積累確實(shí)能促進(jìn)經(jīng)濟(jì)增長(zhǎng)，真正令人擔(dān)憂的是財(cái)富過度集中，這種過度集中最終會(huì)破壞社會(huì)。

此外，財(cái)富的經(jīng)濟(jì)集中與政治體制的結(jié)合更令人擔(dān)憂。人工智能數(shù)據(jù)中心已經(jīng)占美國(guó)經(jīng)濟(jì)增長(zhǎng)的很大一部分。

大型科技公司的經(jīng)濟(jì)利益與政府的政治利益緊密地聯(lián)系在一起，這可能會(huì)產(chǎn)生扭曲的激勵(lì)機(jī)制。

我們已經(jīng)從科技公司不愿批評(píng)美國(guó)政府以及政府支持對(duì)人工智能采取極端反監(jiān)管政策中看到了這一點(diǎn)。

4.對(duì)經(jīng)濟(jì)集中的防御措施

對(duì)此我們能做些什么？

首先，也是最顯而易見的，企業(yè)應(yīng)該選擇不參與其中。

其次，人工智能產(chǎn)業(yè)需要與政府建立更健康的關(guān)系，是一種基于實(shí)質(zhì)性政策參與而非政治結(jié)盟的關(guān)系。

第三，宏觀經(jīng)濟(jì)干預(yù)措施，以及私人慈善事業(yè)的復(fù)興，有助于平衡經(jīng)濟(jì)天平，從而同時(shí)解決就業(yè)崗位流失和經(jīng)濟(jì)權(quán)力集中的問題。

六、間接效應(yīng)：

所有的未知風(fēng)險(xiǎn)

這一部分涵蓋了所有未知的未知因素，特別是人工智能積極發(fā)展及其帶來的科學(xué)技術(shù)整體加速進(jìn)步可能間接導(dǎo)致的問題。

假設(shè)我們解決了之前描述的所有風(fēng)險(xiǎn)，并開始享受人工智能帶來的益處，我們很可能“將一個(gè)世紀(jì)的科學(xué)和經(jīng)濟(jì)進(jìn)步壓縮到十年”，這對(duì)世界來說無疑是巨大的利好。

但與此同時(shí)，我們也必須應(yīng)對(duì)這種快速發(fā)展帶來的問題，而這些問題可能會(huì)迅速出現(xiàn)。

此外，我們還可能遇到其他一些因人工智能發(fā)展而間接產(chǎn)生、難以預(yù)先預(yù)測(cè)的風(fēng)險(xiǎn)。

由于未知因素眾多，不可能列出詳盡的清單，我僅列出三個(gè)可能存在的問題作為示例。

1.生物學(xué)的飛速發(fā)展

如果我們能在短短幾年內(nèi)取得一個(gè)世紀(jì)的醫(yī)學(xué)進(jìn)步，人類的壽命或許會(huì)大幅延長(zhǎng)，甚至有可能獲得一些顛覆性的能力，例如提升人類智力或徹底改造人類生物學(xué)。

這些都將是人類能力領(lǐng)域的巨大變革，而且發(fā)生得非常迅速。如果以負(fù)責(zé)任的方式進(jìn)行，這些變革可能會(huì)帶來積極的影響。

但始終存在著風(fēng)險(xiǎn)，例如，如果提升人類智力的努力也導(dǎo)致人類變得更加不穩(wěn)定或更加追求權(quán)力。

2.人類思維數(shù)字化

此外，還有“上傳”或“全腦模擬”的問題，即用軟件實(shí)現(xiàn)的數(shù)字化人類思維，這或許有一天能夠幫助人類超越自身的生理局限，但其中也蘊(yùn)含著令我不安的風(fēng)險(xiǎn)。

人工智能正以一種不健康的方式改變著人類的生活。一個(gè)擁有數(shù)十億比人類聰明得多的智能體的世界，將會(huì)是一個(gè)非常怪異的世界。

強(qiáng)大的人工智能會(huì)不會(huì)發(fā)明某種新的宗教并讓數(shù)百萬(wàn)人皈依？大多數(shù)人會(huì)不會(huì)最終以某種方式“沉迷”于與人工智能的互動(dòng)？

人們最終會(huì)不會(huì)淪為人工智能系統(tǒng)的“傀儡”，人工智能會(huì)監(jiān)視他們的一舉一動(dòng)，并時(shí)刻告訴他們?cè)撟鍪裁?、該說什么，從而讓他們過上“美好”的生活，但缺乏自由和成就感？

確保人工智能模型真正以用戶的長(zhǎng)遠(yuǎn)利益為重，以一種有識(shí)之士能夠認(rèn)可的方式，而不是以某種微妙的扭曲方式，這一點(diǎn)至關(guān)重要。

3.人類的意義

在人工智能日益強(qiáng)大的世界中，人類生活將如何整體改變。在這樣的世界里，人類還能找到意義和價(jià)值嗎？

我認(rèn)為這取決于態(tài)度：人類的意義并不取決于是否在某個(gè)領(lǐng)域做到世界頂尖，人類可以通過自己熱愛的故事和項(xiàng)目，在漫長(zhǎng)的歲月中找到意義。

我們只需要打破經(jīng)濟(jì)價(jià)值創(chuàng)造與自我價(jià)值和意義之間的聯(lián)系。但這需要社會(huì)經(jīng)歷轉(zhuǎn)型，而轉(zhuǎn)型過程中也始終存在著我們無法妥善應(yīng)對(duì)的風(fēng)險(xiǎn)。

結(jié)語(yǔ)

人類面臨真正的考驗(yàn)

讀到這里，或許會(huì)讓人覺得我們正身處一個(gè)令人畏懼的境地。

我們面臨的困境也的確錯(cuò)綜復(fù)雜。人工智能從多方面威脅著人類，各種危險(xiǎn)之間存在著真正的張力： 如果我們不極其謹(jǐn)慎地權(quán)衡利弊，緩解某些危險(xiǎn)反而可能導(dǎo)致其他危險(xiǎn)的加劇。

風(fēng)險(xiǎn)的數(shù)量之多，包括未知風(fēng)險(xiǎn)，以及我們需要同時(shí)應(yīng)對(duì)所有這些風(fēng)險(xiǎn)，構(gòu)成了人類必須面對(duì)的艱巨挑戰(zhàn)。

過去幾年已經(jīng)清楚地表明，停止甚至大幅減緩這項(xiàng)技術(shù)的發(fā)展從根本上來說是站不住腳的。

它的誕生或許在人類發(fā)明晶體管的那一刻就已經(jīng)不可避免，甚至可能更早，在我們學(xué)會(huì)控制火的時(shí)候就已經(jīng)注定了。

如果一家公司不開發(fā)它，其他公司也會(huì)以幾乎同樣快的速度開發(fā)出來。人工智能蘊(yùn)藏著巨大的經(jīng)濟(jì)利益（ 每年高達(dá)數(shù)萬(wàn)億美元 ），以至于即使是最簡(jiǎn)單的措施也難以克服人工智能固有的政治經(jīng)濟(jì)因素。

盡管困難重重，但我相信人類自身?yè)碛型ㄟ^這場(chǎng)考驗(yàn)的力量。未來的歲月將無比艱難，對(duì)我們的要求遠(yuǎn)超我們自身的能力。

但作為一名研究者、領(lǐng)導(dǎo)者和公民，我見證了無數(shù)勇氣和高尚品格，足以讓我堅(jiān)信我們能夠戰(zhàn)勝困難，即使身處最黑暗的境地，人類也總能在看似最后一刻的力量和智慧中凝聚起勝利的希望。我們刻不容緩。

參考資料：

1.Anthropic首席執(zhí)行官：技術(shù)的青春期：直面和克服強(qiáng)大AI的風(fēng)險(xiǎn) 21世紀(jì)關(guān)鍵技術(shù)。

*文章為作者獨(dú)立觀點(diǎn)，不代表筆記俠立場(chǎng)。

我們深嵌于一個(gè)政治、經(jīng)濟(jì)、科技、哲學(xué)都在經(jīng)歷持續(xù)變革和深刻重塑的復(fù)雜社會(huì)與商業(yè)系統(tǒng)之中。

在前所未有的復(fù)雜系統(tǒng)性變革中，我們需要的是理解世界底層的“元能力”。

面向AI新時(shí)代，筆記俠PPE（哲學(xué)、政治學(xué)與經(jīng)濟(jì)學(xué)）課程，正是為理解這樣的復(fù)雜系統(tǒng)而生：理解國(guó)際貿(mào)易與經(jīng)濟(jì)政策、理解國(guó)際政治與治理模式、理解全球技術(shù)與科技范式、理解AI哲學(xué)和科技經(jīng)濟(jì)、理解文明進(jìn)程與哲學(xué)意義。

這是第五代企業(yè)家應(yīng)有的一套“操作系統(tǒng)”。

筆記俠PPE課程26級(jí)招生現(xiàn)已啟動(dòng)。駕馭技術(shù)、洞察世界、扎根中國(guó)、修煉心力，在應(yīng)對(duì)時(shí)代重重挑戰(zhàn)中尋找決策底牌。

穿越變革的舊世界，找到時(shí)代的新大陸，從升級(jí)你的PPE決策底層開始。

歡迎你掃描下方海報(bào)二維碼，添加課程主理人咨詢?cè)斍椤?/p>

好文閱讀推薦：

“子彈筆記”是筆記俠的矩陣公眾號(hào)，聚焦職場(chǎng)效率追求、人際關(guān)系與高潛成長(zhǎng)者，幫你3分鐘吃透核心觀點(diǎn)和方法論。歡迎關(guān)注～

分享、點(diǎn)贊、在看，3連3連！