OpenAI發(fā)布Sora 2，稱之為視頻的GPT-3.5時(shí)刻； 還推出了一個(gè)Sora 應(yīng)用，“開啟一個(gè)全新的共創(chuàng)體驗(yàn)時(shí)代”。

OpenAI更是把Sora2視為它向通用的世界模擬器又邁出的一步，要加深A(yù)I對(duì)于物理世界的理解，引領(lǐng)世界模型和具身智能。

視頻全部用Sora2 生成

TL;DR

相比之前版本，Sora2實(shí)現(xiàn)了視頻生成的一次重大飛躍：加深了對(duì)物理世界的理解，更加 物理真實(shí)、逼真、可控。能夠處理復(fù)雜的動(dòng)態(tài)，如體操、浮力以及物體的一致性和連貫性。

• 更好地遵循物理規(guī)律：能夠真實(shí)地建模成功和失敗（例如籃球投失會(huì)反彈，而不是瞬間消失）。

• 音頻 + 對(duì)話集成：可在視頻的同時(shí)生成同步的語音、音效和環(huán)境音效。

• 高可控性：能夠遵循復(fù)雜的多鏡頭指令，保持世界狀態(tài)一致，并且支持電影風(fēng)格、寫實(shí)風(fēng)格和動(dòng)漫風(fēng)格。

• 客串（Cameo） 功能：用戶可以上傳一段短視頻/音頻，將自己的外貌和聲音插入到任意 Sora 生成的場(chǎng)景中。

• 社交應(yīng)用上線：推出新的應(yīng)用 “Sora”，具有類似 TikTok 的內(nèi)容流、二次創(chuàng)作、Cameo，以及基于邀請(qǐng)的逐步開放。重點(diǎn)是創(chuàng)作，而不僅僅是消費(fèi)。

• 安全與健康：提供可定制的推薦系統(tǒng)、家長控制、青少年保護(hù)、反霸凌內(nèi)容審核，以及對(duì)個(gè)人形象使用的嚴(yán)格同意機(jī)制。

• 訪問與推出：初期在美國和加拿大免費(fèi)開放；計(jì)劃逐步擴(kuò)展。ChatGPT Pro 用戶將有專業(yè)版；API 即將上線。

• 長期愿景：邁向通用的世界模擬器，未來可能驅(qū)動(dòng)機(jī)器人。

Sora2的同步配音，與其中的人物和所處的場(chǎng)景交融，包括多種語言、甚至方言的能力?？聪逻@段視頻中，OpenAI的一位老外研究員生成出了利索的中文：

Sora應(yīng)用，AI版的TikTok還是Instagram

為何不用AI生成的短視頻做成一個(gè)類似于TikTok的應(yīng)用？扎克伯格這樣想過，奧特曼也這樣想過，并且憑借大模型的優(yōu)勢(shì)先干出來了。

許多人也擔(dān)心可能做成一個(gè)垃圾版的TikTok，但從目前所展示的Sora應(yīng)用來看，根據(jù)一些初步體驗(yàn)的用戶的反饋，OpenAI對(duì)AI時(shí)代的社交有更深的理解，它想做一個(gè)真正的個(gè)人AI視頻產(chǎn)品，關(guān)于自己的家庭和朋友圈子。更重要的是，Sora應(yīng)用有自己的模型，而且生成的視頻完全在自己的平臺(tái)上——以后不再只發(fā)送到其他的視頻平臺(tái)上了。

用戶還可以將現(xiàn)實(shí)世界的元素直接注入 Sora 2。例如，可以把朋友的視頻插入到任何由 Sora 生成的環(huán)境中，并準(zhǔn)確刻畫其外貌和聲音，適用于任何人類、動(dòng)物或物體。

由于Sora2具備了更強(qiáng)的逼真和亂真的性能，它被設(shè)計(jì)成一個(gè)邀請(qǐng)式的社交應(yīng)用，專門用于朋友之間。這既是出于安全的考慮，也成為Sora2的一大亮點(diǎn)，即它的客串功能（Cameo）。測(cè)試者的反饋非常積極，認(rèn)為 客串功能讓這款應(yīng)用與眾不同，使用起來也充滿樂趣——您必須親自嘗試才能真正體會(huì)，這是一種全新獨(dú)特的人際溝通方式。

OpenAI著重強(qiáng)調(diào)了它與TikTok的不同。它也有推薦算法，可以通過自然語言指導(dǎo)。OpenAI稱：“我們不會(huì)針對(duì)用戶在動(dòng)態(tài)信息流中花費(fèi)的時(shí)間進(jìn)行優(yōu)化，我們明確設(shè)計(jì)這款應(yīng)用的初衷是最大限度地提升創(chuàng)作量，而非消費(fèi)量?！?/p>

與免費(fèi)的TikTok不同，由于預(yù)計(jì)將帶來巨大的算力成本，Sora應(yīng)用可能需要進(jìn)階付費(fèi)。OpenAI解釋說：“其他應(yīng)用的很多問題都源于其盈利模式，它鼓勵(lì)用戶做出與用戶福祉相悖的決策。坦白說，我們目前唯一的計(jì)劃是，如果需求量相對(duì)于可用計(jì)算能力過大，最終允許用戶選擇支付一定金額來生成額外的視頻?！?/p>

OpenAI“ 樂觀地認(rèn)為，與現(xiàn)有的平臺(tái)相比，它將成為一個(gè)更健康的娛樂和創(chuàng)意平臺(tái)?！?/p>

一些體驗(yàn)用戶反饋，這就像是溝通方式的自然演變——從短信到表情符號(hào)，再到語音備忘錄，直到現(xiàn)在上傳自己的視頻。

a16z合伙人Justine Moore認(rèn)為：

OpenAI 正在打造的是一個(gè)社交網(wǎng)絡(luò)（類似最初的 Instagram），而不是一個(gè)內(nèi)容網(wǎng)絡(luò)（像 TikTok 那樣）。

他們讓用戶能夠生成以自己、朋友和寵物為主角的視頻表情包。而且看起來，用戶的動(dòng)態(tài)流會(huì)更大程度上顯示來自朋友的內(nèi)容。

這種方式似乎更有前景——你并不是在和其他視頻生成玩家直接競(jìng)爭(zhēng)，而是讓人們創(chuàng)造出一種全新的內(nèi)容類型。

而這些視頻本身就天然更有趣 / 搞笑 / 有吸引力，因?yàn)樗鼈兊闹鹘鞘悄阏J(rèn)識(shí)的人。

Sora2是GPT是3.5時(shí)刻

2022年2月16日，OpenAI推出Sora，長達(dá)1分鐘逼真的視頻驚艷了世界。OpenAI稱之為世界模擬器。12月10日，Sora1 正式推出，可以生成分辨率1080p、最長 20 秒、寬屏/垂直/方形的視頻。用戶可以自帶素材進(jìn)行擴(kuò)展、混音和混合，或者從文本生成全新的內(nèi)容。其中的故事板工具，能讓用戶能夠精確指定每一幀的輸入，并且把它們串成一個(gè)視覺故事。之后制作20秒以內(nèi)的短視頻，Sora成為利器。

Sora也承認(rèn)了它的不足：仍然會(huì)產(chǎn)生一些不切實(shí)際的物理效果，并且難以長時(shí)間執(zhí)行復(fù)雜的操作，在描繪風(fēng)景、虛構(gòu)人物、卡通效果和風(fēng)格化內(nèi)容方面表現(xiàn)出色，但在基本物理特性（如物體的持續(xù)性）上常常出現(xiàn)問題。人和動(dòng)物走動(dòng)時(shí)的腿部動(dòng)作有時(shí)依然別扭。

但幾乎僅憑驚艷的展示效果，Sora很快掀起了視頻模型的熱潮，如Midjourney、Luma、Pika、Veo等，還有中國的Seedance、可靈（Kling）、萬相（Wan）、MiniMax等多個(gè)模型，有些已經(jīng)超過了Sora較早的版本。

當(dāng)初Sora使用了訓(xùn)練語言大模型的方法，又結(jié)合擴(kuò)散模型的方法訓(xùn)練出來的，即所謂DiT 模型(Diffusion+Transformer)。如果說之前的Sora版本，就像當(dāng)年GPT模型的早期版本一樣并不實(shí)用，Sora2依然不完美，但可以大規(guī)模推向消費(fèi)者，就像當(dāng)年基于GPT-3.5的ChatGPT一樣。但這需要APP的下載量來證明Sora的獨(dú)立應(yīng)用價(jià)值。用戶也可以通過Sora.com或者ChatGPT使用Sora2。

Sora團(tuán)隊(duì)負(fù)責(zé)人Bill Peebles認(rèn)為，這次在物理IQ、可操控性、現(xiàn)實(shí)主義、音響品質(zhì)、模擬世界能力等方面，實(shí)現(xiàn)了一次飛躍。一些測(cè)評(píng)用戶初步反饋，與目前勢(shì)頭正猛的谷歌的Veo3相比，Sora2在音響生成方面又有所提升。它的一致性和連貫性都達(dá)到了看不出破綻的地步。

假作真時(shí)真亦假

正因?yàn)槿绱藦?qiáng)大的逼真和亂真功能，Sora2及其后續(xù)的競(jìng)爭(zhēng)產(chǎn)品，可能對(duì)社會(huì)和經(jīng)濟(jì)產(chǎn)生巨大的影響。它的無限創(chuàng)意，足以生成媲美專家設(shè)計(jì)與策劃公司出品的廣告視頻，對(duì)卡通漫畫、游戲設(shè)計(jì)將帶來革命性的影響，也加快了好萊塢和電影工業(yè)的變革。

Sora的客串功能，幾乎可以把（被）任何人放到任何一種AI生成的場(chǎng)景中，這將對(duì)虛假信息、普通人如何分辨媒體的 真假、選舉、公共健康等諸多領(lǐng)域產(chǎn)生長期負(fù)面影響。目前Sora2采取的做法，是在所有生成視頻上都加標(biāo)簽。創(chuàng)意產(chǎn)業(yè)也在密切關(guān)注，Sora2的訓(xùn)練數(shù)據(jù)的來源中有沒有未經(jīng)許可使用版權(quán)保護(hù)作品。

但是奧特曼是最積極向白宮和國會(huì)游說“合理使用”受版權(quán)保護(hù)的公開作品的。它目前與《紐約時(shí)報(bào)》等媒體機(jī)構(gòu)的版權(quán)官司還沒有了結(jié)。

客串也涉及到肖像權(quán)的問題。OpenAI說明，只有用戶本人才能決定誰可以使用客串，并且可以隨時(shí)撤銷訪問權(quán)限或移除包含該客串的任何視頻。用戶可以隨時(shí)查看包含本人客串的視頻，包括其他人創(chuàng)建的草稿。OpenAI保證用戶肖像使用方面的知情同意、出處確認(rèn)、防止有害內(nèi)容的生成等等，“可以與 Sora 端到端地掌控您的肖像。”

社交媒體上充斥著人們用奧特曼客串的梗

算力影響

顯然算力不足是影響Sora迅速完善與推廣的一個(gè)主要因素。Sora自稱是一個(gè)現(xiàn)實(shí)世界模擬器，引發(fā)了自ChatGPT發(fā)布之后最大的轟動(dòng)，但它始終是一個(gè)類測(cè)試的產(chǎn)品，沒有向ChatGPT多達(dá)7億的用戶認(rèn)真推廣。一個(gè)很重要的原因，是視頻應(yīng)用一旦成為殺手級(jí)的應(yīng)用，將吃掉巨大的算力，但OpenAI至今并不具備這一能力。Sora2目前僅憑邀請(qǐng)碼才能使用，而且僅對(duì)美國和加拿大的用戶。

去年初Sora推出后不久，就有機(jī)構(gòu)推算出將達(dá)到72萬張英偉達(dá)H100 卡。將全部吃掉當(dāng)時(shí)Meta的65萬張卡還不夠。在Sora成為現(xiàn)象級(jí)之后，奧特曼就開始滿世界搞算力基礎(chǔ)設(shè)施，從最初提出的7萬億美元的投資，到最近內(nèi)部聲稱將投資高達(dá)12.5萬億美元。

OpenAI已經(jīng)進(jìn)入了基建狂魔的模式。目前真正在執(zhí)行的，是他去年與微軟一起提出、今年初正式推出的星際之門計(jì)劃，總計(jì)投資5000億美元。

OpenAI在2025年初數(shù)據(jù)中心其用電規(guī)模約為230MW，年底將增至2GW；到2033年更是躍升至驚人的250GW，相當(dāng)于8年內(nèi)增長了125倍，將吃掉差不多一個(gè)中等國家全部的電力。

英偉達(dá)似乎也對(duì)此早有準(zhǔn)備，也宣布推出了專為長上下文推理而設(shè)計(jì)的下一代Rubin CPX芯片，大幅度降低了推理成本，預(yù)計(jì)將于2026年下半年推出，與Sora的全球推文節(jié)奏保持一致，重點(diǎn)滿足視頻和智能體的大規(guī)模推廣而爆發(fā)的推理需求。英偉達(dá)上周還宣布投資OpenAI千億美元，將其算力容量推向10GW級(jí)別。

One More Thing

最后，我們看下OpenAI里的一位華裔員工Michael Chang，用Sora2做的段近兩分鐘的短視頻。