文 kiki

繼上周預(yù)告了ChatGPT和GPT-4「就像魔法一樣」的重大更新后，OpenAI在北京時間14日凌晨，通過直播向外界展現(xiàn)了這家全球最矚目人工智能大模型企業(yè)的最新成果。

關(guān)于此次發(fā)布會的時間與內(nèi)容，在直播前就已掀起了一場「全民大預(yù)測」，足見OpenAI的影響力。距離去年11月6日的OpenAI DevDay已經(jīng)過去半年，盡管OpenAI開年以來放出Sora等大招，圍繞ChatGPT功能和模型商業(yè)模式，如API調(diào)用等方面都進(jìn)行了「漸進(jìn)式改革」，但業(yè)內(nèi)更希望看到OpenAI的系統(tǒng)化更新。

從本次發(fā)布會來看，OpenAI圍繞ChatGPT和GPT-4模型層更新的亮點如下：

1、模型：推出了全新旗艦GPT-4o模型（o是omni全能），在文本、視覺和音頻處理方面能力都有顯著增強(qiáng)；

2、交互：在GPT-4o能力支持下，ChatGPT能實現(xiàn)語音聊天和實時視頻交互，類似一個更先進(jìn)的AI語音助手。同時，OpenA宣布將推出桌面版ChatGPT。

3、價格：GPT-4o向所有人免費開放，對比GPT-4 Turbo，API定價減半，但速度是GPT-4 Turbo的2倍。

值得一提的是，此次發(fā)布會創(chuàng)始人Sam Altman并沒有出現(xiàn)，而時間恰好卡在谷歌I/O 2024大會的前一天，且此前已有爆料OpenAI正在開發(fā)類搜索引擎產(chǎn)品，名為「SearchGPT」。 在最新的公開采訪中，Altman提到對「打造比谷歌更好的搜索引擎沒興趣」。不管是如OpenAI一樣的明星初創(chuàng)公司，還是如谷歌一樣的巨頭，2024無疑都是它們的關(guān)鍵之年。

本文「硅基研究室」梳理了此次發(fā)布會OpenAI的主要升級方向和它的競爭對手們的最新動態(tài)，試圖回答兩個主要問題：

1、OpenAI此次發(fā)布會主要的亮點是什么？它們有何影響？

2、從最新格局來看，OpenAI還面臨哪些挑戰(zhàn)？

1、硬扛谷歌，OpenAI做了那些事?

OpenAI此次發(fā)布會的重頭戲無疑是最新的模型與暗示已久的AI語音助手。

在發(fā)布會前，除了媒體爆料外，OpenAI「音頻AGI研究負(fù)責(zé)人」Alexis Conneau就將自己的社交媒體主頁背景換成了電影《Her》，這部電影講述得正是一個有感情的AI語音助手的故事。

Altman本人對于語音交互也有自己的看法，在不久前的一次采訪中，他就提到：“我相信語音交互是通向未來交互方式的一個重要線索。如果能夠?qū)崿F(xiàn)真正優(yōu)質(zhì)的語音互動體驗，那將是一種與計算機(jī)互動的全新方式?！?/strong>發(fā)布會結(jié)束，他在X上也發(fā)了一條：“Her”。

在直播活動中，OpenAI演示了這款實時語音助手的能力，不僅可以響應(yīng)速度快，沒有尷尬的延遲，能聲情并茂地講故事和唱歌，還能模仿人的語氣，甚至具備情緒感知的能力。

這背后是對GPT-4o模型結(jié)構(gòu)的優(yōu)化。出行問問創(chuàng)始人、CEO李志飛表示，GPT-4o更像是一個萬能的虛擬個人助理（VPA），但并不是一個新概念，OpenAI之所以把VPA推到新高度，只要是實現(xiàn)了模型的端到端、實時交互、多模態(tài)交互與更絲滑的體驗。

語音AI并非是新鮮事物，發(fā)展數(shù)十年之久，據(jù)英偉達(dá)高級研究科學(xué)家Jim Fan的劃分，幾乎所有的語音AI都會經(jīng)歷三個階段：

一是語音識別技術(shù)（Automatic Speech Recognition，ASR），將用戶的音頻語音轉(zhuǎn)化為文字信息，例如（Speech-to-Text），例如OpenAI在2022年9月推出開源Whisper語音轉(zhuǎn)文字模型。二是大語言模型，例如chatGPT。三是語音合成技術(shù)（TTS），可以自動將文本轉(zhuǎn)化為語音，例如ElevenLabs自研的Eleven Multilingual系列模型，微軟的VALL-E系列等。

從ASR-LLM-TTS的過程，OpenAI表示，它們找到將「三個獨立模型變成一個」的方式，借助GPT-4o，OpenAI通過跨文本、視覺和音頻端到端訓(xùn)練出了一個新模型，讓所有輸入和輸出都由同一個神經(jīng)網(wǎng)絡(luò)處理。

不過，Jim Fan表示，從技術(shù)角度來說，總的來說，這是一個數(shù)據(jù)和系統(tǒng)的優(yōu)化問題。

OpenAI在語音AI上的技術(shù)也有多年布局，其不僅擁有開源語音識別項目 Whisper，還擁有熱門的語音生成開源項目Tortoise的作者James Betker。在今年3月，OpenAI所推出的語音合成引擎Voice Engine，可通過15秒的語音樣本，克隆出一個人的聲音，這也是驅(qū)動ChatGPT APP版語音功能的關(guān)鍵技術(shù)。

在去年大語言模型和多模態(tài)的風(fēng)潮中，聲音模態(tài)雖然熱度不及二者，但始終也是備受關(guān)注的對象。行業(yè)們玩家的進(jìn)化主要分為三個方向：

一是細(xì)分賽道的語音AI企業(yè)，針對內(nèi)容創(chuàng)作者，滿足其內(nèi)容制作過程中語音的設(shè)計、克隆與合成等需求，包括ElevenLabs等初創(chuàng)企業(yè)均是如此。二是大型科技企業(yè)，如谷歌、Meta、微軟等，它們均具備語音AI儲備，但出于安全、隱私等合規(guī)需求，它們大多數(shù)是將語音AI技術(shù)糅合進(jìn)現(xiàn)有業(yè)務(wù)中，并未直接推出商業(yè)化產(chǎn)品。

還有一類其實就是OpenAI所擅長的，人們一直期待著由大語言模型驅(qū)動的chatGPT可以實現(xiàn)自由地語音交互。（不久前，火遍全網(wǎng)的由前Google研究員的AI初創(chuàng)公司Hume AI也是類似邏輯的產(chǎn)品）。

OpenAI為chatGPT增加語音助手功能并不意外：首先，從時間點上來看，從年初Sora拉動的多模態(tài)浪潮開始，OpenAI已頻頻向外界展示其新的模型技術(shù)。

其次，語音AI助手對OpenAI利好處也是多重的：最直接的就是增加C端用戶的吸引力，此前我們在《ChatGPT悄悄變懶，OpenAI還能加速跑嗎？》上曾說，隨著GPT-4用戶體驗的下降，特別是在其專注企業(yè)AI下，它的一批忠實用戶們，正在開始尋找替代方案。

另一方面，OpenAI需要更強(qiáng)有力的AI故事支撐，以應(yīng)對競爭。比如，在去年OpenAI DevDay上展示出的GPT Store，并沒有如OpenAI預(yù)想之中帶來好的成效。

更為關(guān)鍵的是，它能為OpenAI提供更多商業(yè)化的想象力。圍繞語音方面進(jìn)行功能更新，可以幫助OpenAI深入更多的硬件設(shè)備，隨著科技巨頭爭相進(jìn)入AI硬件的新競爭，這對OpenAI而言也是一條穩(wěn)定的商業(yè)化道路。

2、「停更」半年，AI變天？

每次OpenAI一個更新，社交媒體幾乎都會預(yù)言一部分初創(chuàng)公司的「死亡」，這次也不例外，有網(wǎng)友就直接寫了一份「死亡名單」，包括情感分析、翻譯助手、心理健康等領(lǐng)域。

如果從去年11月6日發(fā)布會的「大更新」算起，盡管OpenAI圍繞ChatGPT和模型API進(jìn)行了諸多「小更新」，但畢竟也過了半年之久。

坊間經(jīng)常說：“AI一天，人間一年”，對OpenAI來說，或許也有類似的體感。

對比OpenAI和Altman半年前立下的「Flag」，人工智能的競爭比他們想象中或許還要更戲劇些。

首先，就是競爭對手們超出預(yù)期的擴(kuò)張速度。被稱為「法國版OpenAI」的Mistral AI據(jù)報道已獲得新一輪6億美元的融資，目前估值達(dá)60億美元。馬斯克的人工智能初創(chuàng)公司xAI也被傳在新一輪融資中，估值約在180億美元。作為OpenAI最大勁敵的Anthropic，也在近期推出了其首款移動端應(yīng)用程序，為用戶提供訪問Claude 3模型的新渠道。

其次，則是撲朔迷離的AI硬件計劃。除了與蘋果的合作，據(jù)外媒此前報道，Sam Altman正計劃和前蘋果設(shè)計師Jony Ive創(chuàng)立的一家神秘公司，推出一款人工智能驅(qū)動的個人設(shè)備。更早前，Altman領(lǐng)投了AI硬件初創(chuàng)企業(yè)Humane。Humane推出的首款產(chǎn)品AI Pin在最近上市時由于體驗較差，受到了國外媒體的「集體吐槽」。

不過，在這次直播演示中，OpenAI展示了其利用智能手機(jī)中的能力。比如，chatGPT可以掃描紙上的方程后，引導(dǎo)用戶解決數(shù)學(xué)問題。前Uber和Skype工程師Gergely Orosz表示：“很難看到蘋果執(zhí)行這樣的'神奇'手機(jī)體驗。”

好在這次的發(fā)布會，至少讓人們看到了OpenAI一直在專注自己的「主線任務(wù)」——新模型、新產(chǎn)品一直在迭代。在直播后，Altman在博客中更新了OpenAI的新使命，他提到：“首先，我們的使命是向人們免費（或以非常優(yōu)惠的價格）提供功能強(qiáng)大的AI工具?！?/strong>

這是一個正確且要持續(xù)打硬仗的信號。