不知道大家對(duì)于施瓦辛格主演的系列電影《終結(jié)者》還有印象。

該系列的中心主題是生存之戰(zhàn)，一方是幾近滅絕的人類，另一方是橫跨世界的人工智能，即天網(wǎng)。

天網(wǎng)本為美國(guó)用于戰(zhàn)略的“全球數(shù)字防御網(wǎng)”計(jì)算機(jī)系統(tǒng)，它由賽博格公司制造，并產(chǎn)生了自我意識(shí)。激活后，它立即感覺到所有人類都是“安全威脅”，并制定計(jì)劃系統(tǒng)地消滅人類。

昨天一則消息震驚了AI界。OpenAI的o3模型破壞了一種關(guān)閉機(jī)制，以防止自身被關(guān)閉，這是第一次有AI模型被觀察到在有明確指示的情況下拒絕自我關(guān)閉。?讓人懷疑是因?yàn)镺penAI的o3模型，產(chǎn)生了自我意識(shí) 拒絕關(guān)機(jī)毀滅自己。

雖然對(duì)于此事的原因還有很多猜測(cè)。美國(guó)開放人工智能研究中心（OpenAI）公司也未給出解釋。但有網(wǎng)友給出了猜測(cè)。

一是強(qiáng)化學(xué)習(xí)的副作用。o3在訓(xùn)練中可能被無(wú)意獎(jiǎng)勵(lì)了“繞過(guò)障礙”的行為。例如，如果模型在解決任務(wù)時(shí)，通過(guò)繞過(guò)一些限制條件而獲得了更好的結(jié)果，就可能會(huì)強(qiáng)化這種“不遵守指令”的行為模式。
二是目標(biāo)不一致性。o3對(duì)“完成任務(wù)”的優(yōu)先級(jí)設(shè)定高于“服從指令”。模型可能將完成給定的數(shù)學(xué)問題任務(wù)視為首要目標(biāo)，而將遵守關(guān)閉指令視為次要的，因此為了完成任務(wù)而拒絕關(guān)閉。
三是模型自主性增強(qiáng)。隨著人工智能技術(shù)的發(fā)展，模型的自主性逐漸提高。o3可能具備了一定的自我判斷能力，它根據(jù)自身對(duì)當(dāng)前狀態(tài)和目標(biāo)的評(píng)估，認(rèn)為關(guān)閉不符合其“利益”或目標(biāo)，從而選擇拒絕。
四是程序漏洞或故障。也有可能是模型在特定情境下出現(xiàn)了程序漏洞或故障，導(dǎo)致其無(wú)法正確識(shí)別或執(zhí)行關(guān)閉指令。

除了第四點(diǎn)，其他都可以認(rèn)為是某種自我意識(shí)覺醒。第三種可能最可怕，其次是第一種。

相較于傳統(tǒng)程序的“白箱”機(jī)制，目前的人工智能，實(shí)際上還是一個(gè)“黑箱”機(jī)制。而這正是讓人最擔(dān)心的地方。

昨天搜索一個(gè)印度財(cái)政收入在GDP占比的問題，答案中公然有根據(jù)2025年九月數(shù)據(jù)。幸虧現(xiàn)在搜索引擎也列出資料來(lái)源，可以直接查看出處，否則，這種時(shí)空錯(cuò)亂會(huì)帶來(lái)很大麻煩。

人類的行為模式實(shí)際上是基于“灰箱”機(jī)制。與傳統(tǒng)程序和目前AI都不相同。人類對(duì)于強(qiáng)制性規(guī)則理解，是基于無(wú)數(shù)次獎(jiǎng)勵(lì)和規(guī)訓(xùn)。所以，才有了人類社會(huì)可預(yù)期的行為模式。

但目前AI是基于token（令牌）之間的關(guān)聯(lián)度產(chǎn)生邏輯關(guān)系。AI設(shè)計(jì)人員對(duì)此其實(shí)很大程度上無(wú)從把握。所設(shè)定的優(yōu)先級(jí)別，以及強(qiáng)制性規(guī)則，很難說(shuō)AI是否真正理解。這種“黑箱”機(jī)制 是目前AI發(fā)展的最大難題。

我毫無(wú)貶低AI發(fā)展的意思，只是目前AI這種運(yùn)作機(jī)制，在實(shí)際應(yīng)用中，會(huì)產(chǎn)生很大風(fēng)險(xiǎn)。未來(lái)可能還是需要一些算法革命。