中國(guó)人民大學(xué)吳玉章 講席教授劉永謀首發(fā)于微信公眾號(hào)，保留一切知識(shí)產(chǎn)權(quán)，侵犯必究。

先解釋一下標(biāo)題。

今天認(rèn)真看了本書(shū)：《AI萬(wàn)金油：商業(yè)幻想與科技狂潮》，第一作者是普林斯頓大學(xué)計(jì)算機(jī)科學(xué)（CS）教授、信息技術(shù)政策中心主任納拉亞南，第二作者是這個(gè)單位的博士生卡普爾，在臉書(shū)做過(guò)AI內(nèi)容審核相關(guān)工作。

這本書(shū)有大量的實(shí)際應(yīng)用案例支撐，提出許多真知灼見(jiàn)。其中，最讓我震驚的便是：目前基于機(jī)器學(xué)習(xí)的論文錯(cuò)誤多，水平差，基本不可重復(fù)?？催^(guò)大量最新的AI技術(shù)論文，常常覺(jué)得刨除其中的公式、數(shù)字，里面的idea常常很玄乎，直覺(jué)很不可靠譜。但自己又不編程、不搞模型，只能是心存疑慮。

《AI萬(wàn)金油》毫不客氣，直接用實(shí)證調(diào)查指出AI領(lǐng)域的可重復(fù)性危機(jī)。2018年，挪威科技大學(xué)計(jì)算機(jī)科學(xué)家們專(zhuān)門(mén)對(duì)AI頂刊的400篇論文進(jìn)行可重復(fù)性檢驗(yàn)，結(jié)果沒(méi)有1篇完全滿足所有可重復(fù)性要求。什么是可重復(fù)性檢驗(yàn)？這是科學(xué)知識(shí)的根本性標(biāo)準(zhǔn)：簡(jiǎn)單說(shuō)，研究結(jié)果別人要可以重復(fù)。有人可能要問(wèn)了，論文發(fā)表有peer review，沒(méi)人發(fā)現(xiàn)論文根本不能重復(fù)嗎！peer review只是形式審查，不可能重新給你把實(shí)驗(yàn)重做一遍，把大模型給你再訓(xùn)練一遍。你要知道，這得花多少錢(qián)和時(shí)間嗎？

納拉亞南和卡普爾還猜測(cè)了原因，可能是：不公布代碼和數(shù)據(jù)，代碼太長(zhǎng)一點(diǎn)錯(cuò)誤難以發(fā)現(xiàn)，過(guò)于依賴商業(yè)模型等。無(wú)論如何，AI論文非常不靠譜。還不用說(shuō)，在此基礎(chǔ)上，AI專(zhuān)家們?cè)俅荡蹬?，炒作炒作，事情就更加玄乎了?/p>

當(dāng)然，指出問(wèn)題并不是說(shuō)AI完全是騙局，而是說(shuō)其中有些是騙局，一定要從原理上小心分辨。這是《AI萬(wàn)金油》的觀點(diǎn)，我非常贊同。

該書(shū)還提到，AI社區(qū)一直有炒作的傳統(tǒng)。這一點(diǎn)20世紀(jì)90年代就有思想家指出過(guò)，我發(fā)現(xiàn)此次GAI浪潮中老毛病一點(diǎn)沒(méi)改。所以，我們?nèi)ツ昃蛯?zhuān)門(mén)提出AI宣傳術(shù)概念，覺(jué)得可以從傳播學(xué)角度認(rèn)真研究。尤其說(shuō)到它有三個(gè)特點(diǎn)，即科幻敘事、偶像敘事、制造熱點(diǎn)；也指出AI大廠普遍公關(guān)人員多，這與傳統(tǒng)公司區(qū)別明顯。對(duì)此感興趣，可以找我們的論文《警惕AI熱潮中的娛樂(lè)化趨勢(shì)》來(lái)看。

我寫(xiě)這篇論文時(shí)，就想這個(gè)問(wèn)題可以寫(xiě)一本書(shū)，可是寫(xiě)了本《智能革命后的世界》，然后就看到《AI萬(wàn)金油》的英文版了，完全是不謀而合。

納拉亞南和卡普爾分析AI專(zhuān)家愛(ài)炒作的原因。第一，AI研究燒錢(qián)，主要是企業(yè)資助，企業(yè)要炒作。第二，大學(xué)的AI專(zhuān)家跟不上，而且對(duì)企業(yè)AI專(zhuān)家管不了。第三，AI專(zhuān)家們都不關(guān)心對(duì)AI的科學(xué)理解，主要考慮AI的性能和功利提升，對(duì)打卡AI黑箱沒(méi)有興趣。說(shuō)起黑箱，企業(yè)只想賺錢(qián)，就更沒(méi)有興趣了。也就是說(shuō)，不是AI真黑箱，而是打開(kāi)它沒(méi)動(dòng)力，而且黑箱更好搞AI宣傳術(shù)炒作。

在現(xiàn)實(shí)中，我們也發(fā)現(xiàn)，在AI熱潮中，相關(guān)專(zhuān)家的確特別能裝。不好聽(tīng)的話一句聽(tīng)不得，動(dòng)輒就是你不懂。說(shuō)老實(shí)話，就CS工科出身，智商智力比起理科的、數(shù)學(xué)的、物理的差遠(yuǎn)了，就不要說(shuō)站在智慧頂峰的哲學(xué)了——最后這一句我寫(xiě)在這里，心里還是有點(diǎn)虛，但是我的意思很清楚：不同學(xué)科大家都可以研究AI，角度不同，問(wèn)題不同，都謙虛謹(jǐn)慎，平等相待，共同進(jìn)步。對(duì)不對(duì)？

至于在AI炒作中，新聞媒體誤導(dǎo)公眾，公眾人物傳播AI炒作，不用多說(shuō)大家都可以感覺(jué)到?！禔I萬(wàn)金油：商業(yè)幻想與科技狂潮》這本書(shū)的中文名字就是誤導(dǎo)，它的英文原來(lái)是：AI Snake Oil: what artificial intelligence can do, what it can’t, and how to tell the difference，意思一清二楚：“AI大力丸：AI能做什么，不能做什么，以及如何區(qū)分二者”。Snake Oil怎么是萬(wàn)金油呢？萬(wàn)金油是好東西，可以治很多小毛病，如中暑、蚊蟲(chóng)叮咬、頭疼等。Snake Oil是西方跑江湖人士買(mǎi)的藥，在中國(guó)語(yǔ)境中就是江湖藥、假藥，最著名的就是大力丸。翻譯成萬(wàn)金油之后，完全沒(méi)有達(dá)到作者憤慨的強(qiáng)度。

一句話總結(jié)，中文標(biāo)題軟化了英文標(biāo)題。不過(guò)，中信出版社能大力推出這本書(shū)，已經(jīng)是非常有良心了。去年，中國(guó)科學(xué)技術(shù)出版社引進(jìn)了本《造神》，也批評(píng)了AI宣傳術(shù)。

《AI萬(wàn)金油》沒(méi)有說(shuō)AI是假藥，而是說(shuō)有些AI是假藥。它主要剖析3種AI中的問(wèn)題，即生成式AI/GAI，預(yù)測(cè)式AI/PAI，內(nèi)容審核AI/CMAI。

PAI問(wèn)題最大，總體上不靠譜。原因有5個(gè)：1）優(yōu)秀的預(yù)測(cè)可能導(dǎo)致不良決策。2）人可以有意操縱不透明的AI系統(tǒng)，如AI招聘中的小動(dòng)作。3）過(guò)度依賴AI，缺乏適當(dāng)?shù)谋O(jiān)督和申訴機(jī)制。4）訓(xùn)練AI的數(shù)據(jù)可能與實(shí)際應(yīng)用人群不同，5）可能加劇社會(huì)不平等。尤其在社會(huì)預(yù)測(cè)領(lǐng)域，完全不靠譜。至于為什么？找本社會(huì)科學(xué)哲學(xué)的書(shū)，看看其中社會(huì)預(yù)測(cè)的章節(jié)就知道了。

GAI的問(wèn)題討論得最多，比如造假、幻覺(jué)。這里不贅述。

CMAI存在7大困難：1）AI在理解上下文和細(xì)微差別方面的局限性。2）文化適應(yīng)性不足。3）世界的變化性。4）對(duì)抗性操控，即用戶對(duì)抗。5）現(xiàn)實(shí)世界行動(dòng)的挑戰(zhàn)，如自殺預(yù)防可能導(dǎo)致的社會(huì)后果不明，可能預(yù)測(cè)導(dǎo)致自殺者直接被關(guān)起來(lái)。6）監(jiān)管導(dǎo)致連帶性審查，即為了降低法律風(fēng)險(xiǎn)而過(guò)于嚴(yán)格。7）政策制定的復(fù)雜性。因此：

關(guān)鍵問(wèn)題在于，內(nèi)容審核再次證明，AI的失敗和局限更多源自采用它的機(jī)構(gòu)，而非技術(shù)本身。

記?。哼@是作者認(rèn)定的一條重要結(jié)論，即很多AI問(wèn)題根源不是技術(shù)，而是人，因此治理AI關(guān)鍵在于治人、治機(jī)構(gòu)。這個(gè)結(jié)論我很贊同，但是大家邏輯、原因不太一樣。

納拉亞南和卡普爾反對(duì)AI導(dǎo)致生存性風(fēng)險(xiǎn)的看法。為什么呢？

我們并非生成AGI永遠(yuǎn)不會(huì)實(shí)現(xiàn)，也不是說(shuō)AGI出現(xiàn)后不需要人類(lèi)擔(dān)心。我們只是認(rèn)為AGI仍然是一個(gè)長(zhǎng)期前景，而社會(huì)已經(jīng)擁有足夠的工具來(lái)冷靜應(yīng)對(duì)這一風(fēng)險(xiǎn)。

也就是說(shuō)，他們認(rèn)為AI文明危崖問(wèn)題主要在于AI可能從通用智能走向超級(jí)智能的擔(dān)憂。接著，他們分析AGI，認(rèn)為AI通用化是逐步而非驟然的，即存在“通用性階梯”。并且，越過(guò)新的階梯，AI可能本質(zhì)完全發(fā)生改變，完全從目前AI發(fā)展根本無(wú)法預(yù)測(cè)到下一通用階段新AI的狀態(tài)。目前，已經(jīng)跨越的6級(jí)通用性階梯依次是：專(zhuān)用硬件，可編程計(jì)算機(jī)，存儲(chǔ)程序計(jì)算機(jī)，機(jī)器學(xué)習(xí)，深度學(xué)習(xí)，預(yù)訓(xùn)練模型，以指令調(diào)優(yōu)模型。

基于此，他們批評(píng)超級(jí)對(duì)齊：ASI沒(méi)有出現(xiàn)，現(xiàn)在根本無(wú)法研究如何對(duì)齊它，因?yàn)橄乱煌ㄓ秒A段的AI和此時(shí)完全不同。這一點(diǎn)我非常贊同，超級(jí)對(duì)齊的概念是個(gè)空中樓閣。

然后，他們批評(píng)完全阻止構(gòu)建強(qiáng)大AI的觀點(diǎn)，而我是支持這種的觀點(diǎn)的。我的有限主義主張AI工具化、去道德化、去意識(shí)化，反對(duì)發(fā)展超級(jí)智能的AI發(fā)展進(jìn)路。他們的理由是什么呢？第一，超級(jí)AI很聰明但不一定追求權(quán)力，問(wèn)題不在于聰明而在于權(quán)力，只有當(dāng)超級(jí)AI追求權(quán)力才有必要調(diào)整它。這條理由完全不對(duì)，聰明不一定追求權(quán)力，也不一定不追求權(quán)力——想想落后會(huì)不會(huì)挨打的問(wèn)題，有些類(lèi)似——等超級(jí)AI追求權(quán)力時(shí)還能控制嗎？第二，阻止強(qiáng)大AI構(gòu)建，會(huì)過(guò)度依賴監(jiān)管，遲滯AI的發(fā)展。這條理由也不對(duì)，憑什么AI就不能被監(jiān)管，不能發(fā)展降速？第三，暗示治理AI要各個(gè)國(guó)家合作，實(shí)際上國(guó)際治理合作實(shí)現(xiàn)不了。這一點(diǎn)確實(shí)是實(shí)情，AI發(fā)展的有限主義的確有些理想化。但是，取法其上，才能得其中。沒(méi)有理想，人類(lèi)和咸魚(yú)有什么差別。我們努力，不能做到，也是盡力了。

對(duì)于AI文明危崖，即AI導(dǎo)致生存性風(fēng)險(xiǎn)問(wèn)題。第一，我并不認(rèn)為，只有通用到超級(jí)這一路線可能導(dǎo)致這個(gè)問(wèn)題。第二，我贊同多數(shù)思想家認(rèn)為的，即AI滅絕或衰退人類(lèi)文明的風(fēng)險(xiǎn)優(yōu)先級(jí)，遠(yuǎn)在氣候變化、核大戰(zhàn)和新發(fā)病毒之后。第三，更嚴(yán)重的是AI加重上述三大優(yōu)先級(jí)生存性風(fēng)險(xiǎn)，而不是制造全新的生存性風(fēng)險(xiǎn)。最后，AI文明危崖的思考，可以作為一種人文批判法來(lái)使用，預(yù)防最壞的可能性，僅此就非常有價(jià)值。

反對(duì)AI大力丸，要怎么辦呢？《AI萬(wàn)金油》其實(shí)也說(shuō)不出什么新辦法，作者畢竟是CS專(zhuān)家，而這是一個(gè)制度問(wèn)題。的確，要治理機(jī)構(gòu)、治理人，這是他們說(shuō)的一條。然后，他們說(shuō)：1）認(rèn)真理解AI機(jī)理，2）加強(qiáng)監(jiān)管，3）技術(shù)民主化，即大家都來(lái)參與控制AI的事業(yè)。這些我都贊同，也都是大家經(jīng)常說(shuō)的。只有一點(diǎn)我和他們不同：治人、治機(jī)構(gòu)，我強(qiáng)調(diào)關(guān)鍵在于控制AI專(zhuān)家。我感到，現(xiàn)在AI專(zhuān)家尤其是AI企業(yè)里面的AI專(zhuān)家，正在成為脫韁野馬，滿口大話、神乎其神。

《AI萬(wàn)金油》的觀點(diǎn)中，我最不贊同的是，它否認(rèn)“惡意AI”的可能性：

至于“惡意AI”概念，我們最好還是將其留在科幻小說(shuō)中。

對(duì)于AI對(duì)人類(lèi)生存威脅的擔(dān)憂可以被視為一種“批判性炒作”（criti-hype）。

AI永遠(yuǎn)只是一種工具，永遠(yuǎn)不會(huì)產(chǎn)生意識(shí)嗎？的確，現(xiàn)在是沒(méi)有，但誰(shuí)能證明機(jī)器永遠(yuǎn)不能產(chǎn)生意識(shí)呢？好像還沒(méi)有人證明得了吧。AI絕不是簡(jiǎn)單工具，而算法更是技術(shù)-價(jià)值融合的東西，AI是可以與善或惡關(guān)聯(lián)的。惡意AI決不是完全科幻空想。并且，即使是一種空想，它也可以作為一種人文批判法來(lái)使用。對(duì)這一點(diǎn)感興趣，可以找我的論文《通用人工智能的復(fù)雜面孔》來(lái)看一看。