這項(xiàng)由新加坡南洋理工大學(xué)S-Lab實(shí)驗(yàn)室完成的研究，以預(yù)印本形式于2026年4月11日發(fā)布，論文編號(hào)為arXiv:2604.10030，題為《Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation》。對(duì)視頻生成AI感興趣的讀者可通過該編號(hào)查閱完整論文。

**一個(gè)導(dǎo)演的煩惱**

假設(shè)你是一位導(dǎo)演，手邊有一臺(tái)神奇的攝影機(jī)——只要你口頭描述一段場(chǎng)景，它就能自動(dòng)拍出你要的畫面。聽起來很美，對(duì)吧？但當(dāng)你興致勃勃地告訴它："先拍一個(gè)穿越賽博朋克城市的飛鷹特寫，然后鏡頭拉遠(yuǎn)，揭示其實(shí)這一切都在一臺(tái)老式電視機(jī)的屏幕上播放"——攝影機(jī)拍出來的東西，很可能是鷹的眼睛里飛著一臺(tái)電視機(jī)，或者整個(gè)畫面里城市、鷹、電視機(jī)同時(shí)出現(xiàn)，亂作一團(tuán)。

這不是假設(shè)，而是今天絕大多數(shù)頂尖視頻生成AI的真實(shí)困境。南洋理工大學(xué)的研究團(tuán)隊(duì)把這個(gè)問題稱作"語義糾纏"——就像把一首曲子的所有音符同時(shí)按下，你得到的不是旋律，而是噪音。他們提出的解決方案叫做**Prompt Relay（提示接力）**，目標(biāo)是讓AI真正學(xué)會(huì)按照時(shí)間順序、一件事一件事地"講故事"，而無需對(duì)模型進(jìn)行任何結(jié)構(gòu)改造，也不增加任何額外的計(jì)算負(fù)擔(dān)。

**一、視頻AI為什么總是"時(shí)間盲"？**

要理解這個(gè)問題的根源，可以把現(xiàn)有的視頻AI想象成一位同時(shí)聽到所有指令的廚師。你告訴他："先做涼拌黃瓜，再做紅燒肉，最后上一道清湯。"但他的耳朵沒有"先后"的概念，所以他會(huì)把黃瓜、豬肉和湯料全部扔進(jìn)同一口鍋里一起炒。結(jié)果端上來的，是一道你完全認(rèn)不出來的奇怪混合物。

視頻擴(kuò)散模型（一種通過逐步"去噪"來生成畫面的AI技術(shù)）內(nèi)部有一套叫做"交叉注意力"的機(jī)制，負(fù)責(zé)把文字描述和視頻畫面聯(lián)系起來。用更直白的話說，這套機(jī)制的作用是讓AI知道"這段文字描述的是畫面里的哪個(gè)部分"。然而問題在于，這套機(jī)制是"全局性"的——它會(huì)讓視頻的每一幀，同時(shí)參考你提供的所有文字描述。當(dāng)你的描述包含多個(gè)按順序發(fā)生的事件時(shí)，AI沒有任何內(nèi)置的辦法知道哪句話該在哪段時(shí)間生效，于是所有描述的內(nèi)容就會(huì)相互"滲透"，擠進(jìn)本不屬于它們的時(shí)間段里。

這種現(xiàn)象在業(yè)界已經(jīng)有所關(guān)注，也出現(xiàn)過一些嘗試解決的方法。一類做法是對(duì)AI模型進(jìn)行重新訓(xùn)練，給它喂大量帶有時(shí)間標(biāo)注的視頻數(shù)據(jù)，讓它學(xué)會(huì)"事件A在第0到3秒，事件B在第3到6秒"這樣的對(duì)應(yīng)關(guān)系。代表性的工作是MinT，它在模型內(nèi)部專門加了一個(gè)負(fù)責(zé)處理時(shí)間的模塊。這種方法效果不錯(cuò)，但代價(jià)是你需要海量的標(biāo)注數(shù)據(jù)、大量的訓(xùn)練時(shí)間，而且改造完的模型已經(jīng)和原來不一樣了，原有的生成能力可能受到影響。

另一類做法完全不訓(xùn)練模型，直接在生成過程中做手腳，比如DiTCtrl這類工作，通過給注意力機(jī)制加上"遮罩"（你可以理解為給不同段的文字各套一個(gè)不透明的信封，讓它們互不干擾）來實(shí)現(xiàn)控制。但這種硬切換的方式會(huì)在場(chǎng)景交接處產(chǎn)生明顯的"跳接"感——就像電影里突然出現(xiàn)一道割裂的剪輯，讓人一下子出戲。還有SwitchCraft和TS-Attn這類方法，思路是找到每個(gè)事件中最核心的"主角詞"，讓這個(gè)詞負(fù)責(zé)鎖定該時(shí)間段的畫面。這種做法在主角明確的場(chǎng)景下還算可以，但如果你描述的是一個(gè)整體氛圍的轉(zhuǎn)變——比如"從白天的街道漸漸變成夜晚的霓虹"——根本就找不出一個(gè)單一的"主角詞"，方法就會(huì)失靈。

**二、"接力棒"的比喻：Prompt Relay的核心思路**

南洋理工的團(tuán)隊(duì)提出的思路，本質(zhì)上是一場(chǎng)接力賽的設(shè)計(jì)。在接力賽里，每位選手只在屬于自己的那段跑道上全速奔跑，在交接區(qū)域放慢速度、平穩(wěn)傳棒，然后退場(chǎng)，把賽道交給下一位。沒有人會(huì)整場(chǎng)比賽都在跑道上亂串。

Prompt Relay做的事情，就是給AI的注意力機(jī)制引入這樣一套"接力"規(guī)則。具體來說，當(dāng)AI在生成某個(gè)時(shí)間段的畫面時(shí)，研究團(tuán)隊(duì)會(huì)向注意力機(jī)制施加一個(gè)"懲罰信號(hào)"，讓屬于這段時(shí)間的畫面幀對(duì)其他時(shí)間段的文字描述"視而不見"。懲罰的力度不是一刀切的硬開關(guān)，而是隨著距離當(dāng)前時(shí)間段越遠(yuǎn)，懲罰越強(qiáng)；靠近當(dāng)前時(shí)間段的中心區(qū)域，則完全沒有懲罰，AI可以自由地參考對(duì)應(yīng)的文字描述。

在數(shù)學(xué)上，這個(gè)懲罰被設(shè)計(jì)成一個(gè)經(jīng)典的"高斯衰減"形式——也就是說，懲罰強(qiáng)度從時(shí)間段中心向兩側(cè)呈現(xiàn)一條對(duì)稱的鐘形曲線，平滑下降。這意味著在時(shí)間段的中心區(qū)域，注意力完全不受干擾；隨著幀離中心越來越遠(yuǎn)，注意力對(duì)該時(shí)間段文字描述的"感知"逐漸減弱，直到接近另一個(gè)時(shí)間段時(shí)幾乎降為零。

這里有一個(gè)關(guān)鍵參數(shù)叫做"自由窗口"（用字母w表示）。這個(gè)窗口決定了在時(shí)間段內(nèi)有多大的"免懲罰區(qū)域"。研究團(tuán)隊(duì)通過實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)自由窗口設(shè)置為整個(gè)時(shí)間段長(zhǎng)度減去2幀時(shí)（w = L - 2），效果最好——這意味著每個(gè)時(shí)間段內(nèi)部幾乎可以完全自由地參考對(duì)應(yīng)描述，只在最邊緣的一兩幀才開始向下一段平滑過渡。還有一個(gè)參數(shù)ε，控制懲罰在邊界處衰減到多低。研究團(tuán)隊(duì)測(cè)試了0.001、0.01、0.1和1.0（無懲罰）幾個(gè)值，發(fā)現(xiàn)只要ε足夠小，具體數(shù)值的差別對(duì)最終畫面影響不大，最終采用ε = 0.1作為默認(rèn)值。

除了針對(duì)每段時(shí)間的"局部提示"，研究團(tuán)隊(duì)還保留了一個(gè)"全局提示"——一段覆蓋整個(gè)視頻的文字描述，提供貫穿始終的背景信息和視覺風(fēng)格。這就像接力賽的場(chǎng)地本身：無論哪位選手在跑，場(chǎng)地的規(guī)則、氛圍和背景始終不變。

**三、為什么"軟過渡"比"硬切換"更好？**

這套方案與此前硬遮罩方法之間最關(guān)鍵的區(qū)別，在于邊界處的處理方式，研究團(tuán)隊(duì)把它稱為"邊界注意力衰減"機(jī)制。

硬切換的問題可以用一個(gè)日常場(chǎng)景來理解：假設(shè)你正在看一場(chǎng)話劇，舞臺(tái)上的燈光突然從暖黃色瞬間切換到冷藍(lán)色，而演員的動(dòng)作、道具和服裝卻沒有任何變化。這種燈光和內(nèi)容的"不同步"會(huì)讓觀眾感到突兀，因?yàn)橐曈X信號(hào)之間產(chǎn)生了矛盾。

在視頻AI里，同樣的矛盾存在于兩套機(jī)制之間：一套是我們?cè)谟懻摰?交叉注意力"，負(fù)責(zé)把文字指令翻譯成畫面內(nèi)容；另一套是"自注意力"，負(fù)責(zé)讓畫面在時(shí)間上保持連貫——比如一個(gè)人從第1幀走到第5幀，他的臉、衣服、位置應(yīng)該是前后一致的。硬切換讓交叉注意力在某一幀突然換了一套新指令，但自注意力還記得上一段的視覺結(jié)構(gòu)，兩者產(chǎn)生沖突，AI只好"硬湊"——往往導(dǎo)致奇怪的形變或錯(cuò)誤的主體替換，比如原本應(yīng)該"一個(gè)男人在吃意面"切換到"一個(gè)穿紅裙子的女人走過"，結(jié)果變成了一個(gè)穿紅裙子的女人在吃意面。

Prompt Relay的軟衰減方案則不同。在兩個(gè)時(shí)間段交接的區(qū)域，兩段的提示描述會(huì)同時(shí)保留一定比例的注意力——就像接力賽中的"傳棒區(qū)"，兩位選手并肩跑了一小段。交叉注意力在這段時(shí)間里"知道"即將發(fā)生什么變化，可以提前做好準(zhǔn)備；自注意力也有足夠的緩沖時(shí)間來適應(yīng)視覺結(jié)構(gòu)的轉(zhuǎn)變。這樣生成出來的視頻，在場(chǎng)景切換處就會(huì)顯得自然流暢，而不是突兀割裂。

**四、對(duì)比實(shí)驗(yàn)：和頂尖AI系統(tǒng)的正面較量**

為了驗(yàn)證Prompt Relay的實(shí)際效果，研究團(tuán)隊(duì)用它增強(qiáng)了當(dāng)前最先進(jìn)的視頻生成模型之一Wan2.2-T2V-A14B（一個(gè)擁有140億參數(shù)的大型視頻生成模型），并將結(jié)果與業(yè)界幾款代表性系統(tǒng)進(jìn)行了對(duì)比，包括Sora Storyboard、Veo 3.1、原版Wan 2.2，以及Kling 2.6。

測(cè)試場(chǎng)景由ChatGPT隨機(jī)生成了20個(gè)多事件視頻場(chǎng)景，每個(gè)場(chǎng)景包含3到6個(gè)按時(shí)間順序發(fā)生的事件，涵蓋了明確的場(chǎng)景轉(zhuǎn)換、多角色互動(dòng)、復(fù)雜的鏡頭運(yùn)動(dòng)等多種類型。評(píng)估采用了人類偏好打分的方式，邀請(qǐng)了30位參與者，在不知道視頻來源的情況下對(duì)每段視頻的三個(gè)維度打分（1到5分），打分越低代表排名越靠前。

三個(gè)評(píng)估維度分別是：時(shí)間提示對(duì)齊度（視頻內(nèi)容是否按照文字描述的順序在正確的時(shí)間段發(fā)生）、過渡自然度（相鄰事件之間的切換是否流暢、沒有跳接或奇怪的形變）、以及視覺質(zhì)量（整體畫面是否清晰、時(shí)間上是否穩(wěn)定、有沒有明顯的視覺瑕疵）。

結(jié)果相當(dāng)明顯。在時(shí)間提示對(duì)齊度上，加入Prompt Relay的Wan 2.2以1.10分排名第一，原版Wan 2.2得了4.00分，Sora Storyboard得了4.67分——這意味著原版模型和Sora在這方面的表現(xiàn)接近墊底，而增強(qiáng)版則遙遙領(lǐng)先。在過渡自然度上，Prompt Relay同樣以1.17分名列前茅，遠(yuǎn)超Kling 2.6的4.43分和Wan 2.2的3.50分，而Veo 3.1在這個(gè)維度上得到1.30分，是唯一在這一項(xiàng)上與Prompt Relay接近的競(jìng)爭(zhēng)對(duì)手。在視覺質(zhì)量上，Veo 3.1以2.0分拿下最佳，Kling 2.6以2.50分緊隨其后，Prompt Relay增強(qiáng)版得到2.83分，雖然不是第一，但顯著好于原版Wan 2.2的4.00分。

研究團(tuán)隊(duì)對(duì)視覺質(zhì)量的改善給出了合理的解釋：Prompt Relay通過壓制跨時(shí)間段的注意力干擾，實(shí)際上減少了注意力機(jī)制在處理當(dāng)前段內(nèi)容時(shí)面臨的"競(jìng)爭(zhēng)噪音"。當(dāng)AI不再需要同時(shí)應(yīng)付來自其他時(shí)間段的干擾信號(hào)，它能把更多的"注意力資源"集中在當(dāng)前應(yīng)該描繪的內(nèi)容上，生成結(jié)果自然更清晰、更穩(wěn)定。至于Kling和Veo在視覺質(zhì)量上仍然領(lǐng)先，研究團(tuán)隊(duì)認(rèn)為這主要是因?yàn)檫@兩款產(chǎn)品使用了本身能力更強(qiáng)的底層模型——Prompt Relay是一套方法，不是模型本身，它的視覺質(zhì)量上限受限于它所增強(qiáng)的那個(gè)底層模型。

一個(gè)具體的對(duì)比案例能很好地說明這種差距：測(cè)試提示描述的是"一個(gè)男人用自拍視角在香港的霓虹街道上拍攝自己，然后他將手掌慢慢推向鏡頭直到遮住畫面，再拉開，此時(shí)他背后已經(jīng)變成了大峽谷"。Sora的輸出停留在香港場(chǎng)景，沒有完成轉(zhuǎn)換；Kling的輸出雖然兩個(gè)場(chǎng)景都出現(xiàn)了，但中間過渡充滿了奇怪的形變；Veo在內(nèi)容上基本實(shí)現(xiàn)了，但香港和大峽谷的人物細(xì)節(jié)一致性不足；原版Wan 2.2則出現(xiàn)了明顯的時(shí)間混亂；而加了Prompt Relay的版本，從香港到大峽谷的整個(gè)過渡流暢自然，手掌遮擋鏡頭的橋段也作為兩段場(chǎng)景之間的視覺過渡被完整保留。

**五、這套方法的邊界與局限**

研究團(tuán)隊(duì)在論文中坦誠地指出了Prompt Relay的一個(gè)固有局限。由于每個(gè)時(shí)間段主要只"聽"自己對(duì)應(yīng)的局部描述，如果不同時(shí)間段的描述對(duì)同一個(gè)角色或場(chǎng)景元素的描述不一致——比如第一段說"穿藍(lán)色外套的男人"，第二段只說"男人"——那么這個(gè)角色的外貌可能會(huì)在不同段之間出現(xiàn)漂移，藍(lán)色外套可能憑空消失。

好在研究團(tuán)隊(duì)已經(jīng)找到了一個(gè)有效的應(yīng)對(duì)辦法：在局部提示之外，額外提供一段覆蓋全視頻的"全局提示"，用來錨定貫穿始終的視覺元素。就像一位總導(dǎo)演在拍每一個(gè)分鏡之前，先給全體演員念一遍整部電影的人物設(shè)定，確保無論拍到哪一場(chǎng)，角色的基本形象都不會(huì)走樣。加入全局提示之后，這個(gè)問題在實(shí)驗(yàn)中被完全消除。

**從接力賽到電影工業(yè)**

說到底，Prompt Relay解決的是一個(gè)看起來簡(jiǎn)單、但困擾了這個(gè)領(lǐng)域很久的問題：怎么讓AI知道"什么時(shí)候該干什么"。答案不是重新訓(xùn)練一個(gè)新模型，而是在現(xiàn)有模型生成視頻的過程中，輕輕地調(diào)整它的"注意力分配規(guī)則"——用一套隨時(shí)間平滑變化的獎(jiǎng)懲機(jī)制，讓不同時(shí)段的畫面只認(rèn)領(lǐng)各自對(duì)應(yīng)的文字指令，同時(shí)在交接處留下足夠的緩沖空間，讓過渡變得自然。

這種方法的優(yōu)雅之處在于它的"零成本"性質(zhì)：不需要收集新數(shù)據(jù)，不需要重新訓(xùn)練，不需要修改模型結(jié)構(gòu)，甚至不增加額外的計(jì)算時(shí)間。任何人只要手頭有一個(gè)支持交叉注意力機(jī)制的視頻擴(kuò)散模型，都可以直接把Prompt Relay"插上"就用。

對(duì)于那些希望用AI生成具有完整故事弧度的短視頻、廣告片段或創(chuàng)意內(nèi)容的創(chuàng)作者來說，這套方法意味著你終于可以用更清晰的方式告訴AI"先做這個(gè)，再做那個(gè)"——不再是一鍋亂燉，而是一道有起承轉(zhuǎn)合的菜。這距離真正的"AI導(dǎo)演"還有很長(zhǎng)的路要走，但Prompt Relay至少讓AI第一次開始真正理解"時(shí)間順序"這件事的重要性。有興趣深入了解技術(shù)細(xì)節(jié)的讀者，可以通過論文編號(hào)arXiv:2604.10030查閱完整原文。

**Q&A**

Q1：Prompt Relay需要重新訓(xùn)練視頻AI模型嗎？

A：不需要。Prompt Relay是一種"即插即用"的推理時(shí)方法，意思是它只在AI生成視頻的過程中介入，對(duì)模型內(nèi)部的注意力分配規(guī)則做輕微調(diào)整，完全不需要收集新數(shù)據(jù)或重新訓(xùn)練模型，也不增加任何額外的計(jì)算時(shí)間。任何使用交叉注意力機(jī)制的視頻擴(kuò)散模型都可以直接搭配使用。

Q2：Prompt Relay的"邊界注意力衰減"和硬遮罩方法有什么具體區(qū)別？

A：硬遮罩會(huì)在兩段視頻交接處讓文字描述突然切換，導(dǎo)致畫面內(nèi)容信號(hào)和視覺連貫性信號(hào)產(chǎn)生沖突，常常出現(xiàn)奇怪的形變或錯(cuò)誤的人物替換。Prompt Relay的邊界注意力衰減則在交接區(qū)域讓相鄰兩段的描述都保留一定比例的注意力，平滑過渡，讓AI有時(shí)間"預(yù)判"即將發(fā)生的變化，從而生成更自然的場(chǎng)景切換效果。

Q3：Prompt Relay如何保證同一個(gè)角色在多個(gè)時(shí)間段中外觀保持一致？

A：Prompt Relay默認(rèn)每段時(shí)間只參考對(duì)應(yīng)的局部文字描述，如果不同段描述不一致，角色外觀可能會(huì)發(fā)生漂移。研究團(tuán)隊(duì)的解決方案是在局部提示之外額外提供一段覆蓋整個(gè)視頻的全局提示，用來錨定貫穿所有時(shí)間段的角色外貌、場(chǎng)景風(fēng)格等持久性元素，實(shí)驗(yàn)中這一方法被證明可以完全消除這個(gè)問題。