No.0285

Science Partner

Bring you to the side of science

導(dǎo) 讀

2015年，奧特曼給埃隆·馬斯克發(fā)了一封電子郵件，提議創(chuàng)立一家新機(jī)構(gòu)，核心原則是：“安全應(yīng)作為首要要求。”

那封郵件里，他還比較了原子彈：“顯然我們會(huì)遵守并積極支持所有監(jiān)管?！?/p>

這不是隨口一說。當(dāng)時(shí)他們對外的宣傳邏輯是：人工智能可能是有史以來最危險(xiǎn)的發(fā)明，正因如此，它的研發(fā)必須由一家把安全放在一切之上的機(jī)構(gòu)來主導(dǎo)。這套邏輯后來成了他最重要的融資工具，也成了招攬世界上最頂尖AI研究者的核心承諾。

大量科學(xué)家，就是沖著這些承諾，接受了遠(yuǎn)低于市場價(jià)的薪酬，加入了OpenAI

那么，這些承諾后來怎么了？

走，跟伙伴君來！

今日主筆 | 恒意

那些消失的承諾：安全去哪了？

01. 第一次，章程被繞過

OpenAI的公司章程里有一條極其激進(jìn)的條款，由早期研究負(fù)責(zé)人阿莫迪（后來Anthropic公司的創(chuàng)始人）起草：如果另一個(gè)“價(jià)值觀對齊、重視安全”的項(xiàng)目先于OpenAI接近研發(fā)出AGI，公司將停止競爭，轉(zhuǎn)而協(xié)助該項(xiàng)目。

這被稱為“合并協(xié)助條款”，意思是：如果谷歌的團(tuán)隊(duì)先造出安全的AGI，OpenAI可以停止運(yùn)營，把資源捐給谷歌。

這在商業(yè)邏輯上幾乎是瘋狂的承諾。但OpenAI本來就不該是普通商業(yè)公司。

2019年，微軟談判10億美元投資。阿莫迪要求在協(xié)議里保留這一條款。奧特曼當(dāng)面答應(yīng)了。但協(xié)議即將簽署時(shí)，阿莫迪發(fā)現(xiàn)新增條款賦予了微軟阻止OpenAI任何合并的權(quán)力，這實(shí)際上徹底架空了那條章程。

阿莫迪當(dāng)眾朗讀這個(gè)條款，質(zhì)問奧特曼。奧特曼否認(rèn)該條款存在，直到另一名同事當(dāng)場證實(shí)。據(jù)阿莫迪的筆記記載，奧特曼后來表示不記得這件事。

02. 第二次，安全審批被繞過

2022年12月，奧特曼向董事會(huì)保證，即將發(fā)布的GPT-4模型多項(xiàng)功能已通過安全小組審批。董事托納要求查看相關(guān)文件。

文件顯示，最具爭議的兩項(xiàng)功能，允許用戶微調(diào)模型、將模型部署為個(gè)人助理，并未獲批。

此外，微軟在印度發(fā)布了ChatGPT早期版本，未完成必要安全審查，但奧特曼在數(shù)小時(shí)的董事會(huì)匯報(bào)中，從未提及此事。

03. 第三次，20%的算力承諾

2023年，奧特曼高調(diào)宣布成立“超級對齊團(tuán)隊(duì)”（Superalignment Team），由伊利亞和另一名研究負(fù)責(zé)人揚(yáng)·萊克共同領(lǐng)導(dǎo)。官方公告稱，團(tuán)隊(duì)將獲得公司已獲取算力的20%，價(jià)值可能超過10億美元。

公告還稱，這項(xiàng)工作至關(guān)重要，因?yàn)槿绻麑R問題無法解決，AGI或?qū)?dǎo)致人類喪失權(quán)力甚至滅絕。

這是非常重的話。

但，那20%兌現(xiàn)了嗎？

四名團(tuán)隊(duì)內(nèi)部及密切合作的人士稱，實(shí)際資源僅占公司算力的1%到2%。一名研究員說：大部分所謂的超級對齊算力，都用在最老舊、芯片最差的集群上。

2024年，這支團(tuán)隊(duì)被解散，任務(wù)未完成。伊利亞和萊克相繼辭職。

萊克在公開平臺寫道：“安全文化與流程已讓位于光鮮的產(chǎn)品。”

04. 從F開始的成績單

生命未來研究所（Future of Life Institute）是一家奧特曼本人曾認(rèn)可其安全原則的機(jī)構(gòu)，它對各大AI公司的生存安全進(jìn)行評級。

在最新報(bào)告里，OpenAI的評級是：F。

Anthropic是D，谷歌DeepMind是D-，其他所有大型公司也都是F。

所以不是OpenAI一家的問題。但有意思的是：OpenAI是那家曾經(jīng)承諾最多的公司。

那個(gè)最初說安全是首要要求的人，現(xiàn)在對我們說：”我對通用人工智能安全的理念，和很多傳統(tǒng)安全領(lǐng)域的人不太合拍?！爱?dāng)記者追問具體措施時(shí)，他回答：我們?nèi)詴?huì)開展安全項(xiàng)目，或者……至少是與安全相關(guān)的項(xiàng)目。

當(dāng)記者提出想采訪公司內(nèi)專門研究生存安全問題的研究員時(shí)，一位OpenAI發(fā)言人感到困惑，問道：“你說的生存安全是什么意思？在我們，這根本不算一個(gè)領(lǐng)域。

那么彼時(shí)彼刻的奧特曼的重心在哪里，又在尋找什么。

我是恒意，咱們下期接著聊～

本文僅作科普分享使用，歡迎小伙伴們點(diǎn)、收藏、關(guān)注，以備不時(shí)之需，當(dāng)然更歡迎您把 介紹給周邊可能需要的更多伙伴們呀。