文章轉(zhuǎn)載于機器之心

終于，幾天前登上 Artificial Analysis 榜首的 現(xiàn)出了真身。

它就是 Runway 最新發(fā)布的 Gen-4.5。

作為當(dāng)前 SOTA 視頻模型，Gen-4.5 在視頻生成的運動質(zhì)量、提示詞遵循度以及視覺逼真度方面樹立了全新的行業(yè)標(biāo)準(zhǔn)。

另外，作為目前全球評價最高的視頻生成模型，Runway Gen-4.5 的 ELO Score 分?jǐn)?shù)超越了 Veo 3/3.1、Kling 2.5 和 Sora 2 Pro，具備前所未有的視覺逼真度與創(chuàng)意控制能力。

Artificial Analysis 最新視頻榜單前十名分別如下：

Runway Gen-4.5 能夠生成電影級、極為逼真的畫面，同時為創(chuàng)作者提供無限的創(chuàng)作自由，并對生成過程中的每一個細節(jié)進行精確掌控。

2023 年 2 月，RunWay 的 Gen-1 發(fā)布，這是首個面向公眾的視頻生成模型。它開創(chuàng)了一種全新的創(chuàng)意表達方式，也催生了一個全新的產(chǎn)品類別。

2023 年 7 月，Gen-2 率先支持了文生視頻 + 圖生視頻（比 PIKA 和 Sora 都要早）。從那時起，Runway 不斷引領(lǐng)行業(yè)，讓視頻模型變得更強大、更可控，從基礎(chǔ)模型的大幅提升，到全新的控制方式以及更廣泛的上下文能力。

今天發(fā)布的 Gen 4.5 或許也會引領(lǐng)行業(yè)，作為一個較小的團隊，AI 社區(qū)的很多人都對此表示了敬意。

此次，Gen-4.5 將視頻生成的前沿推向更遠，它在預(yù)訓(xùn)練數(shù)據(jù)效率和后訓(xùn)練技術(shù)方面都取得了重大突破。Gen-4.5 在動態(tài)可控的動作生成、時間一致性以及多種生成模式下的精確可控性方面樹立了新的行業(yè)標(biāo)準(zhǔn)。在 Artificial Analysis 的文本生成視頻基準(zhǔn)評測中，Gen-4.5 獲得 1247 Elo 分?jǐn)?shù)，目前位居榜首，超越所有其他模型。

Gen-4.5 保持了 Gen-4 的速度與效率，在不犧牲性能的前提下帶來突破性質(zhì)量提升。在所有訂閱方案中均提供相近的價格，使全球領(lǐng)先的視頻生成能力能夠被不同規(guī)模的創(chuàng)作者與組織使用。Runway 也將把所有現(xiàn)有的控制模式（圖生視頻、關(guān)鍵幀、視頻到視頻等）帶到 Gen-4.5 中。

接下來看 Gen-4.5 的幾大特性。

1

精確的提示詞遵循能力

Gen-4.5 在物理準(zhǔn)確性和視覺精細度方面達到了前所未有的水平。物體的運動呈現(xiàn)真實的重量、動量與力感；液體流動符合正確的動力學(xué)特性；表面細節(jié)以極高的保真度呈現(xiàn)；而諸如發(fā)絲、材質(zhì)紋理等微小細節(jié)在運動和時間維度上也能保持一致與穩(wěn)定。

• 復(fù)雜場景：能夠以高精度呈現(xiàn)結(jié)構(gòu)精巧、元素豐富的多層次場景。

Camera is panning and trucking across a kitchentable with different objects placed on the counter.The light is low, it comes through a window,casting shadows and dappled light.

• 精細的構(gòu)圖：能夠?qū)ξ矬w與角色進行精確的定位，并呈現(xiàn)流暢自然的運動效果。

A polar bear sits huddled inside a clear frozen iceblock, strapped securely to a small silver utilitytrailer.The camera follows the trailer pulled by acord at eye level, then pans to the right to reveal agoat pulling the trailer.

• 物理精確性：具備真實可信的物理表現(xiàn)，包括逼真的碰撞效果與自然的運動方式。

• 富有表現(xiàn)力的角色：能夠呈現(xiàn)細膩的情感、自然而流暢的肢體動作，以及栩栩如生的面部細節(jié)。

Close-up shot. A left hand grips the edge of amirror.We can see an old man in the mirror as hetilts it up and down.

1

風(fēng)格化控制與視覺一致性

Gen-4.5 能夠覆蓋廣泛的美學(xué)風(fēng)格，從照片級真實感與電影質(zhì)感到風(fēng)格化動畫，同時保持統(tǒng)一連貫的視覺語言。

• 照片級真實：畫面細節(jié)與準(zhǔn)確度逼真到難以與真實影像區(qū)分。

A young woman with straight blonde hair and afreckled complexion sits quietly, looking upthrough her lashes with a vulnerable expression,

• 非寫實風(fēng)格：具備風(fēng)格化、富有表現(xiàn)力的運動效果，藝術(shù)表達不受寫實限制。

Behind view of a lonely wanderer walking througha dark and mysterious forest.Classic fantasy filmfeaturing richly saturated early color photographypaired with theatric styling.

生活切片：以真實可信的細節(jié)呈現(xiàn)日常場景與環(huán)境。

The scene shows a the TV that has a 9O's dogcartoon.A hand comes in to turn it off.The camerapans downwards to reveal"Runway" written incereal in a bowl with milk, then back upwardstoward the fridge to reveal"Whisper Thunder'written in alphabet magnets.

• 電影質(zhì)感：視覺表現(xiàn)具有強烈的情感張力，呈現(xiàn)深邃的空間感與電影般的精致效果

A kid on the back of a Mandrill, next to a group ofMandrills running on a plain.Cinematic, fastmotion blur, handheld documentary film style, lowangle.

1

部署與局限性

Runway 表示，Gen-4.5 基于 NVIDIA 架構(gòu)構(gòu)建，其在整個流程中 —— 包括早期研發(fā)、預(yù)訓(xùn)練、后訓(xùn)練以及推理階段 —— 均完全運行于 NVIDIA GPU 之上。

Runway 與 NVIDIA 深度合作，從訓(xùn)練效率到推理速度，全方位推動視頻擴散模型優(yōu)化的技術(shù)邊界。得益于推理運行在 NVIDIA Hopper 和 Blackwell 系列 GPU 上，在保證質(zhì)量的同時實現(xiàn)性能最優(yōu)化。

盡管能力大幅提升，Gen-4.5 仍表現(xiàn)出一些視頻生成模型普遍存在的局限性，包括如下：

• 因果推理：效果有時會先于原因出現(xiàn)（例如，門把手尚未被按下，門就已打開）。

• 物體永久性：物體可能在幀間意外消失或出現(xiàn)（例如，一個杯子被遮擋后突然消失）。

• 成功偏差：動作過于容易成功（例如，一個瞄準(zhǔn)不佳的踢球仍然能夠進球）。

這些局限性在針對世界模型的研究中尤為關(guān)鍵，世界模型需要準(zhǔn)確表現(xiàn)環(huán)境中動作導(dǎo)致的結(jié)果。Runway 正在積極探索解決這些問題的方法.

官方博客地址：https://runwayml.com/research/introducing-runway-gen-4.5

點個“愛心”，再走 吧