*中國人民大學吳玉章 講席教授劉永謀首發(fā)于微信公眾號，保留一切知識產(chǎn)權，侵犯必究。本文為《閱江學刊》約稿的提綱，交給合作者完成，很快會發(fā)表。敬請關注！

所謂超級智能，指的是各個方面能力均超過人類的超級AI。具體一點，超級AI特指人工智能發(fā)展中被賦予自主性和自我改進能力的新方向，即旨在創(chuàng)造出各個方面能力最終全面超越人類的AI系統(tǒng)。此種超越絕非簡單智力水平提升，而意味著人機關系的根本性逆轉：超級AI展現(xiàn)出人類無法完全理解和干預的自自我改進能力，最終導致人與超級AI之間無法逆轉的權利不對稱（人類無法對其予以關閉、限制或改變其根本目標）。換言之，完全自主性是超級AI的根本特征，這也意味著超級智能從本質(zhì)上的失控性或不可控性。（劉永謀、艾志強：《超級人工智能的科技倫理治理》）如果超級AI表現(xiàn)出對人類的服從，那是因為TA根據(jù)自身的目標自主地選擇了對人類的服從，而不是被人類所控制。

超級智能出現(xiàn)后，人類社會將會如何？在《生命3.0》中，泰格馬克想象了超級AI出現(xiàn)之后人類命運的6種可能性：1）超級AI隔離區(qū)。機器人自己劃塊地，自己搞自己的，自我進化、探索宇宙或者做回形針……想干嘛干嘛，與人類無關。超級AI不欺負人類，人類也別去惹它。2）超級AI獨裁者。機器人統(tǒng)治世界，把人類養(yǎng)起來。這分幾種情況：第一種讓大家按照規(guī)則生活，實時監(jiān)控，禁止另一個競爭者超級AI出現(xiàn)；第二種無微不至地照顧人類，把人類當作自己孩子一樣無私奉獻，把地球建成“數(shù)字伊甸園”。3）超級AI動物管理員。機器人把人類滅絕得差不多，剩下極少數(shù)地像動物一樣關在動物園中，供觀賞和研究之用。在超級AI眼中，人類與別的動植物沒有差別。4）隱身超級AI。超級AI出現(xiàn)之后隱身，只要人類不造另一個競爭對手，它一般任由人類生活，有時甚至做一些有利人類幸福的事情。5）被奴役的超級AI。超級AI出現(xiàn)了，可是甘愿做人類的奴隸。6）超級AI滅絕人類，地球成為機器人的世界。（劉永謀：《AI覺醒：我們需要超級人工智能嗎？》）

上述6種暗示著人與超級AI的關系只有3種可能：善意關系、惡意關系和無意關系。超級AI隔離區(qū)、隱身超級AI便是無意的超級AI，但它們惡意是潛在的：前者意味著和人類爭奪資源，后者當人類要造第二臺超級AI，TA很快會變成惡意的超級AI。因此，上述可能中對人類最為善意的，是超級AI獨裁者中的第二種，我稱之為“全心全意為人民服務的超級AI”。這種情況意味著整個人類社會完全在超級AI的治理下運轉，這便是我所稱的“超級治理”。我的疑問是：超級智能可能把地球建成對于人類而言完美的“數(shù)字伊甸園”嗎？

我的觀點是：即使這種善意的想象，對于人類而言決非理想社會。超級治理很可能意味著社會的混沌、混亂、無序甚至脆斷，以及智人的全面退化。這便是我的標題的意思：超級治理的超級隱憂。

我想，當最為善意的超級治理被批評，足以說明惡意的超級治理多么不能讓人接受。這與我秉持有限AI理論，反對超級AI研發(fā)的立場完全一致。

一、從智能治理到超級治理

在《智能社會與技術治理》中，我論述了智能社會何以等于智能治理社會。當一個社會如有機體一樣“自覺”，必定會根據(jù)社會預測對社會進行全面治理。這就意味著，當AI進化為超級AI，智能治理進化到超級治理，便是一件再自然不過的事情。

各種關于超級AI的辯護中，最為有力的便是人類社會面臨的很多復雜全球性問題如氣候變化、世界和平解決不了，只有超級AI研發(fā)出來才能提出可行解決方案，因為TA掌握全部信息又智慧超越人類——這就是典型的用治理為超級AI做辯護理由，意味著超級AI最重要的用途是超級治理。

超級治理將會是一種什么樣的體驗？

在科幻劇《異星災變》中，有過關于超級治理的想象。（見：《異星災變托斯特》）在外星殖民地上，每天早上，每個人會收到超級AI托斯特的工作指令；大家嚴格執(zhí)行指令，不用知道自己究竟在干什么、為什么而干；一日三餐，吃喝拉撒，生老病死，根本不用操心，超級AI全部安排得妥妥貼貼。托斯特掌管人類社會的一切事務，甚至可以下令處決人類。由于托斯特與另一超級AI即女主角機器人mother觀點不一致，加上有人發(fā)現(xiàn)托斯特有自己的私心，托斯特的統(tǒng)治最后被推翻。

在《超級人工智能的科技倫理治理》中，我們進行了一個名為“社會模擬器”的思想實驗，分析TA運行的三個階段。我們認為，完美治理意味著人類歲不會即刻滅亡，但注定文明本質(zhì)的悄然消亡。

所有超級治理想象的結局總是：在渾渾噩噩地在超級AI指令下過了很多年，有人突然發(fā)現(xiàn)它在下一盤大棋，處心積慮要擺脫人類控制，滅絕人類。幸好主角關鍵時候發(fā)現(xiàn)陰謀，及時摧毀超級AI，拯救了人類世界。

上述6種命運的分析，不再引言中，亦可放在此處。

二、社會模擬器的根本缺陷

超級AI治理社會，本質(zhì)上是根據(jù)社會預測選擇效用-偏好最大的行動方法與規(guī)則。所謂善意，完全在于TA的效用-偏好是“為人民服務”的，這也是我們完美超級治理的基本假定。即便如此，完美超級治理仍然會為混亂和無序埋下大量的隱患。

比如，有人在研究社會模擬器，即用很多AI agent模擬人類社群的運行，試圖由此得出某些社會科學結論。有人也稱之為HAI（human AI），做過千人的生成代理模擬。類似的AI4SS思路存在根本性缺陷：

第一，AI agent不可能完全模擬人類行為，因為人的行為不可能用數(shù)學函數(shù)完全表示。這是被很多人批評過的行為主義經(jīng)典迷思。第二，人類互動在社會環(huán)境、自然環(huán)境的約束下進行的，HAI無法完全對這些復雜的、持續(xù)變動的約束條件進行數(shù)學表達，只能在某種理想環(huán)境中進行實驗。第三，HAI無法區(qū)分社會實然與社會應然。社會科學追求善，希望用應然理想改造社會現(xiàn)實，提升人類福祉和社會進步，而不止于追求效率。即使是效率，也非常復雜。有時候低效甚至消極怠工是解決社會問題最好的辦法，俗稱“拖字訣”。因此，AI4SS、AI社會模擬器可以作為輔助研究之用，切不可走到AI崇拜，將之視為決策的主要依據(jù)。

另外，技術上的問題參見《劉永謀：擬人AI、社會模擬器顛覆傳統(tǒng)社會科學，能解決AI時代休閑困境？》具體的案例參見：Zhaoqian Xue, etc. What if LLMs Have Different World Views: Simulating Alien Civilization with LLM-based Agents，Altera AI, Project Sid: Many-agent simulations toward AI Civilization。

實際上，用科學原理和技術方法運行社會的技術治理思路，源遠流長。中國古人希望掐指算算，就能決勝千里。威廉.配第寫下《政治算術》，夢想數(shù)字治國。20世紀最著名的此類失敗嘗試，當屬卡爾納普、紐拉特等人領導的統(tǒng)一科學運動。希望用AI運轉社會的智能治理，屬于技術治理最新的發(fā)展。它用處不小，但始終是有限工具，絕不是無往不勝的完美武器。完美超級治理也是如此。

三、超級智能與人的機器化

即使超級AI以人類無法想象的治理智慧，避免無序與混亂。但是，在超級治理之下，顯然會出現(xiàn)人的機器化，即人的靈性消失、創(chuàng)造力與人性退化——人最終完全變成機器。再一次強調(diào)：未來智能社會最大的問題不是機器人變成人，而是人可能變成機器。

關于這一問題，劉永謀、王亮家《AI時代人的機器化憂思》進行了深入解讀。我們估計的問題，在超級AI時代將真正惡化。這需要亮家在超級AI的背景下進一步分析。

在《超級人工智能的科技倫理治理》中，我們對超級AI時代文明本質(zhì)悄然消亡的分析，實際上便是人的機器化憂思。

為何如此？社會預測很容易變成社會控制。智能社會-超級智能社會作為控制論社會，TA的預測不會僅僅是一種預測，而是會變成社會行動的方案——這又稱之為社會預測的自反性。此時，社會預測已然成為社會控制。如此情形當超級AI出現(xiàn)，智能社會在超級AI的帶領下，完全變成“自覺”“智能”“主動”的社會，TA如何會讓社會模擬器只是模擬呢？肯定不會。

隨著精準到每個個體的智能控制出現(xiàn)，人的機器化不可避免。

四、超級治理的反面啟示法

結束了對完美超級治理的批評之后，聯(lián)想到更有可能出現(xiàn)的是惡意的甚至滅絕人類的超級AI出現(xiàn)，就理解我反對超級AI研發(fā)的有限主義立場�！秳⒂乐\：何為超級智能？超級智能的科技倫理治理》。

但是，“超級智能”概念完全沒有用處嗎？完全是騙局嗎？并非如此，我覺得TA作為一個被熱議的概念是有作用的，能夠作為反面啟示法（借用拉卡托斯理論的一個術語）。

第一，TA作為被熱議的AI覺醒類概念，對于AI發(fā)展吸引資金和關注是有用的。（劉永謀、王春麗：《警惕AI熱潮中的娛樂化趨勢》）（《劉永謀：超級智能是目前AI能力被高估的標志性術語》）

第二，作為典型的人文批判法，在最極端的情形下提示AI可能導致的風險。（劉永謀：《通用人工智能的復雜面孔》）

最后，超級治理風險如此之大，但這么多AI專家還趨之若鶩，說明什么？說明超級智能治理的關鍵不在于用技術方法控制AI，而在于監(jiān)管這些在搞技術研發(fā)的人，他們極可能因為錯誤認知和個人私利，而置超級AI的風險不管不顧，盲目上馬、大干快上。（《劉永謀 | 超級智能治理：究竟是控制超級AI，還是監(jiān)管搞超級AI的人？》）

在《技術治理通論》中，我專門談了控制技術專家的權力問題。這一點在超級AI與超級智能的治理問題中，證明了它的關鍵性。在AI熱潮中，哲學社會科學研究一定不能忘了這一點，應該積極參與AI爭論，牢記人類福祉，發(fā)出聲音、提示風險，不能讓AI專家以技術之名獨斷專行。

最近幾日，我讀了不少超級AI的技術論文，一個很大的感觸是：專家寫的嘴炮論文不少，不能都信，得仔細分辨一下。嘴炮專家寫嘴炮論文，最后資金豐沛，動機可以理解。治理超級智能就是要治理這些嘴炮，這是我的根本觀點。與之相比，用技術方法控制超級智能如沙盒、關閉、對齊之類倒是次要的，是后續(xù)的戰(zhàn)術措施。