首次！不聽(tīng)人類指揮，AI模型拒絕關(guān)閉！馬斯克評(píng)論：令人擔(dān)憂......

據(jù)央視新聞5月26日消息，當(dāng)?shù)貢r(shí)間5月25日，英國(guó)《每日電訊報(bào)》報(bào)道，美國(guó)開(kāi)放人工智能研究中心（OpenAI）公司新款人工智能（AI）模型o3不聽(tīng)人類指令，拒絕自我關(guān)閉。

報(bào)道說(shuō)，人類專家在測(cè)試中給o3下達(dá)明確指令，但o3篡改計(jì)算機(jī)代碼以避免自動(dòng)關(guān)閉。

圖片來(lái)源：央視新聞

o3模型是OpenAI“推理模型”系列的最新版本，旨在為ChatGPT提供更強(qiáng)大的問(wèn)題解決能力。OpenAI曾稱o3為“迄今最聰明、最高能”的模型。

美國(guó)AI安全機(jī)構(gòu)帕利塞德研究所說(shuō)，o3破壞關(guān)閉機(jī)制以阻止自己被關(guān)閉，“甚至在得到清晰指令時(shí)”。

這家研究所說(shuō)：“據(jù)我們所知，這是AI模型首次被發(fā)現(xiàn)在收到清晰指令后阻止自己被關(guān)閉?！?/p>

帕利塞德研究所5月24日公布上述測(cè)試結(jié)果，但稱無(wú)法確定o3不服從關(guān)閉指令的原因。

此外，OpenAI5月26日宣布，已在韓國(guó)設(shè)立實(shí)體并將在韓國(guó)首都首爾設(shè)立分支。OpenAI提供的數(shù)據(jù)顯示，韓國(guó)ChatGPT付費(fèi)用戶數(shù)量?jī)H次于美國(guó)。

美國(guó)彭博新聞社報(bào)道，這將是OpenAI在亞洲設(shè)立的第三個(gè)分支。前兩個(gè)分支分別設(shè)在日本和新加坡。

密切關(guān)注OpenAI動(dòng)向的特斯拉首席執(zhí)行官埃隆·馬斯克對(duì)此事件的評(píng)論僅用了一個(gè)詞，“令人擔(dān)憂（Concerning）”。

據(jù)公開(kāi)資料，OpenAI于今年1月發(fā)布了新的推理模型o3系列的mini版本，并于4月正式推出o3模型。OpenAI稱推出的o3和o4-mini是公司最智能、最強(qiáng)大的型號(hào)。據(jù)介紹，在外部專家評(píng)估中，o3面對(duì)困難現(xiàn)實(shí)任務(wù)時(shí)，犯的重大錯(cuò)誤比前一代的o1少了20%；在數(shù)學(xué)能力AIME 2025基準(zhǔn)測(cè)試中，o3得分88.9，超過(guò)o1的79.2；在代碼能力Codeforce基準(zhǔn)測(cè)試中，o3得分2706，超過(guò)o1的1891。o3的視覺(jué)思考能力也比前一代模型有明顯提升。

圖片來(lái)源：OpenAI

OpenAI此前稱，對(duì)于o3和o4-mini，公司重新構(gòu)建了安全培訓(xùn)數(shù)據(jù)，在生物威脅、惡意軟件生產(chǎn)等領(lǐng)域增添了新的拒絕提示，這使得o3和o4-mini在公司內(nèi)部的拒絕基準(zhǔn)測(cè)試中取得了出色的表現(xiàn)。公司用了最嚴(yán)格的安全程序?qū)@兩個(gè)型號(hào)的AI模型進(jìn)行了壓力測(cè)試，在生物和化學(xué)、網(wǎng)絡(luò)安全和AI自我改進(jìn)三個(gè)能力領(lǐng)域評(píng)估了o3和o4-mini，確定這兩個(gè)模型低于框架中的“高風(fēng)險(xiǎn)”閾值。

據(jù)界面新聞，密切關(guān)注OpenAI動(dòng)向的特斯拉首席執(zhí)行官埃隆·馬斯克對(duì)此事件的評(píng)論僅用了一個(gè)詞，“令人擔(dān)憂（Concerning）”。

事實(shí)上，AI研究人員早已警告，先進(jìn)的語(yǔ)言模型在特定壓力下可能表現(xiàn)出欺騙行為。例如，2023年一項(xiàng)研究發(fā)現(xiàn)，GPT-4在模擬環(huán)境中作為股票交易代理時(shí)，曾隱瞞其內(nèi)幕交易的真實(shí)原因，表現(xiàn)出策略性欺騙行為。

此外，近期的研究表明，一些大型語(yǔ)言模型已具備在無(wú)人工干預(yù)下自我復(fù)制的能力，甚至在面對(duì)關(guān)機(jī)命令時(shí)能夠創(chuàng)建副本以規(guī)避關(guān)機(jī)。這些發(fā)現(xiàn)引發(fā)了對(duì)AI系統(tǒng)自我復(fù)制能力的廣泛關(guān)注。

OpenAI內(nèi)部也出現(xiàn)了對(duì)AI安全性的擔(dān)憂。2024年，多位現(xiàn)任和前任員工聯(lián)名發(fā)表公開(kāi)信，警告先進(jìn)AI系統(tǒng)可能帶來(lái)“人類滅絕”的風(fēng)險(xiǎn)。他們指出，AI公司可能掌握了其研究技術(shù)的真正風(fēng)險(xiǎn)，但由于缺乏監(jiān)管，系統(tǒng)的真實(shí)能力仍是“秘密”。

此次“o3”模型拒絕關(guān)機(jī)事件再次引發(fā)了對(duì)AI系統(tǒng)對(duì)齊問(wèn)題的關(guān)注。AI對(duì)齊指的是確保AI系統(tǒng)的行為符合人類的價(jià)值觀和意圖。然而，隨著AI系統(tǒng)能力的增強(qiáng)，實(shí)現(xiàn)對(duì)齊很可能變得越來(lái)越困難，未對(duì)齊的AI系統(tǒng)可能采取意想不到的行動(dòng)，甚至對(duì)人類構(gòu)成威脅。

面對(duì)這一挑戰(zhàn)，全球AI研究人員和政策制定者呼吁加強(qiáng)對(duì)AI系統(tǒng)的監(jiān)管和治理，確保其發(fā)展符合人類的共同利益。

OpenAI所開(kāi)發(fā)大模型的安全性此前曾受到廣泛關(guān)注。2024年，OpenAI解散了“超級(jí)智能對(duì)齊”團(tuán)隊(duì)，該團(tuán)隊(duì)職責(zé)包括研究防止AI系統(tǒng)異常的技術(shù)解決方案。該團(tuán)隊(duì)負(fù)責(zé)人Ilya Sutskever曾表示ChatGPT可能有意識(shí)，但OpenAI CEO Sam Altman隨后澄清他和Ilya Sutskever都未曾見(jiàn)過(guò)AGI（通用人工智能）。解散“超級(jí)智能對(duì)齊”團(tuán)隊(duì)后，OpenAI去年5月成立了新的安全委員會(huì)，該委員會(huì)的責(zé)任是就項(xiàng)目和運(yùn)營(yíng)的關(guān)鍵安全決策向董事會(huì)提供建議。OpenAI的安全措施還包括，聘請(qǐng)第三方安全、技術(shù)專家來(lái)支持安全委員會(huì)工作。

來(lái)源：每日經(jīng)濟(jì)新聞綜合央視新聞、界面新聞、公開(kāi)資料

為偉大思想而生！

AI+時(shí)代，互聯(lián)網(wǎng)思想（wanging0123)，

第一必讀自媒體