新智元報道

編輯：Aeneas

【新智元導讀】視頻生成領域的「DeepSeek時刻」來了！清華開源TurboDiffusion，將AI視頻生成從「分鐘級」硬生生拉進「秒級」實時時代，單卡200倍加速讓普通顯卡也能跑出大片！

就在剛剛，AI圈的DeepSeek Moment又來了！

清華大學TSAIL實驗室攜手生數(shù)科技，重磅發(fā)布并開源了視頻生成加速框架TurboDiffusion。

這個框架一出，立刻在全球AI社區(qū)引發(fā)熱議。OpenAI、Meta、vLLM等多個機構和開源社區(qū)的研究者、工程師紛紛點贊、轉(zhuǎn)發(fā)。

為何TurboDiffusion會引起這么大的反響？

用一句話總結：在幾乎不影響生成質(zhì)量的前提下，它讓視頻生成的速度直接飆升了100–200倍！

這一刻起，AI視頻正式從「分鐘級」生成，進入「實時生成」時代！

左右滑動查看

TurboDiffusion是什么？為啥這么強？

隨著AI大模型的發(fā)展，視頻生成正成為繼圖像、文本之后最重要的AI內(nèi)容創(chuàng)作方向之一。

然而，現(xiàn)實中我們卻時常會發(fā)現(xiàn)，盡管模型性能很強，但生成卻很慢！

即使是頂配GPU，如H100，在不加速的情況下生成一個短視頻，仍需數(shù)分鐘，這嚴重影響了落地應用的體驗。更何況大多數(shù)創(chuàng)作者只有RTX 5090或4090這種消費級顯卡。

因此，能否在不犧牲質(zhì)量的前提下，大幅加速生成過程，成為AI視頻能否走入日常創(chuàng)作流程的關鍵。

這時TurboDiffusion的誕生，就非常生逢其時了。

Github:https://github.com/thu-ml/TurboDiffusion

技術報告:https://jt-zhang.github.io/files/TurboDiffusion_Technical_Report.pdf

近日，清華大學聯(lián)合生數(shù)科技，開源了視頻生成加速框架TurboDiffusion。

它是一個專為Diffusion模型加速而生的工具，尤其擅長處理視頻生成場景。

它的出現(xiàn)，就像一臺渦輪引擎，在一張RTX 5090顯卡上，就能實現(xiàn)100-200倍的速度提升。

無論是從圖生成視頻（I2V），還是從文本生成視頻（T2V），它都能高效應對。

甚至在高分辨率、長時長視頻生成中，也依然能保持驚人的加速表現(xiàn)。

實測：多大模型，都能跑得飛快

TurboDiffusion的驚艷表現(xiàn)，不只是理論數(shù)據(jù)。在多個視頻生成模型上的實測加速效果，都讓人驚掉下巴。

下圖顯示了TurboDiffusion的強大生成效果。

以1.3B大小的模型生成5秒的視頻生成為例，使用標準的官方實現(xiàn)生成這段5秒的視頻需要184秒的時間。

TurboDiffusion生成的視頻內(nèi)容在視覺上無明顯差異，但卻只需1.9秒。

這就意味著在同等條件下，TurboDiffusion框架僅用1.9秒就完成了生成，速度提升約97倍。

這段貓咪自拍的圖生視頻，使用的是14B大小的圖生視頻模型，生成5秒的720P分辨率的視頻，雖然畫面質(zhì)量較好，但使用官方標準實現(xiàn)的話耗時極其嚴重（4549s，超過1小時），難以滿足任何實時或互動類場景。

而TurboDiffusion的加速結果，在視頻中做到了水下自拍、戴墨鏡貓咪沖浪等元素都完整保留，而生成時間僅為38秒。也就是14B大小的圖生視頻模型生成5秒的720P視頻，TurboDiffusion可以在單張RTX 5090幾乎無損端到端加速119倍。

加速后視頻畫質(zhì)變化極小，然而速度提升卻高達約120倍（4549s → 38s）！

這表明，即使在超大模型+高分辨率+圖生視頻場景中，TurboDiffusion依然可以帶來數(shù)量級的推理加速效果。

對于14B大小的文生視頻模型生成5秒的720P分辨率視頻，TurboDiffusion可以在單張RTX 5090上幾乎無損端到端加速200倍。

更驚人的是，在Vidu模型上使用TurboDiffusion中包含的技術，也可以在不損失視頻生成質(zhì)量的前提下獲得極高的推理加速效果。

比如，在Vidu模型上生成8秒、1080P的高清視頻，原本需要900秒，使用TurboDiffusion后，只需8秒，真正實現(xiàn)「所見即所得」！

視頻 1（未加速）

用時：450秒

視頻 2（加速后）

用時：4秒

視頻 3（未加速）

用時：900秒

視頻 4（加速后）

用時：8秒

揭秘四大核心黑科技

TurboDiffusion之所以能跑得這么快，靠的是以下四大黑科技加持：

1.SageAttention：低比特量化注意力加速

傳統(tǒng)Transformer注意力層在高分辨率視頻場景中，計算開銷巨大。TurboDiffusion采用清華自主研發(fā)的SageAttention技術，進行了低比特量化注意力加速，充分壓榨了顯卡性能，極致提速。

GitHub鏈接：https://github.com/thu-ml/SageAttention

2.Sparse-LinearAttention（SLA）：稀疏注意力加速

在稀疏計算方面，TurboDiffusion引入了SLA（Sparse-Linear Attention）。

由于稀疏計算與低比特Tensor Core加速是正交的，SLA可以構建在SageAttention之上，顯著減少了全連接矩陣乘法的冗余計算，在推理過程中進一步獲得數(shù)倍的額外加速。

GitHub鏈接：https://github.com/thu-ml/SLA

3.rCM步數(shù)蒸餾加速：更少步生成

來自NVIDIA開源實驗室的rCM，是一種先進的步數(shù)蒸餾方法。它通過訓練，讓少量的采樣步驟也能恢復與原模型一致的質(zhì)量。

這種方法能進行步數(shù)蒸餾加速，減少推理過程中的「擴散步數(shù)」，降低延遲而不損失畫質(zhì)。

比如，原始Diffusion需要50–100步，rCM可壓縮到4-8步。

GitHub鏈接：https://github.com/NVlabs/rcm

4.W8A8 INT8量化：線性層加速

TurboDiffusion在線性層采用了W8A8的INT8量化策略，這樣，就將模型權重和激活映射到8位整數(shù)空間，并在128×128的塊粒度上進行分塊量化，兼顧了速度與精度，而且還顯著降低了推理功耗與內(nèi)存占用。

這4項核心技術均由清華大學TSAIL團隊聯(lián)合生數(shù)科技自主研發(fā)，對AI多模態(tài)大模型的技術突破與產(chǎn)業(yè)落地具有里程碑式的價值與深遠影響力。其中，SageAttention更是全球首個實現(xiàn)注意力計算量化加速的技術方案，已被工業(yè)界大規(guī)模部署應用。

例如，SageAttention已成功集成至NVIDIA推理引擎Tensor RT，同時完成在華為昇騰、摩爾線程S6000等主流GPU平臺的部署與落地。此外，騰訊混元、字節(jié)豆包、阿里Tora、生數(shù)Vidu、智譜清影、百度飛槳、昆侖萬維、Google Veo3、商湯、vLLM等國內(nèi)外頭部科技企業(yè)及團隊，均已在核心產(chǎn)品中應用該技術，憑借其卓越性能創(chuàng)造了可觀的經(jīng)濟效益。

如何上手？

TurboDiffusion使用起來非常方便，高效推理代碼圖生視頻、文生視頻的模型參數(shù)（Checkpoints）都已開源。

因為使用簡便，哪怕你不是煉丹大佬，也能一鍵生成視頻：

1. 安裝TurboDiffusion倉庫中的Python包

地址：https://github.com/thu-ml/TurboDiffusion

2. 下載對應模型的Checkpoints（支持圖生視頻/文生視頻），如TurboWan2.1-T2V-14B-720P。

3. 調(diào)用倉庫中提供的推理腳本，直接生成視頻

    --save_path ./outputs/demo.mp4

總之，代碼與模型全部開源，開箱即用！

DeepSeek Moment，真來了

如今，AI視頻生成正站在大爆發(fā)的門檻上，誰能掌握速度，就能引領未來。

TurboDiffusion的推出，不僅是一項工程突破，更是一道劃時代的分水嶺。

從分鐘級等待到秒級實時生成，從高門檻專業(yè)領域到人人可用的內(nèi)容創(chuàng)作工具，AI視頻正駛入快車道，而TurboDiffusion，正是那臺加速引擎。

別再等待未來，未來已來。立即體驗TurboDiffusion，讓你的視頻生成「飛」起來吧！

項目地址：https://github.com/thu-ml/TurboDiffusion

秒追ASI

?點贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點亮星標，鎖定新智元極速推送！