這項(xiàng)由香港浸會大學(xué)周凱陽教授領(lǐng)導(dǎo)、聯(lián)合騰訊優(yōu)圖實(shí)驗(yàn)室共同開展的突破性研究，發(fā)表于2024年12月的計(jì)算機(jī)視覺頂級會議論文集，研究編號為arXiv:2512.21334。有興趣深入了解的讀者可以通過該編號查詢完整論文內(nèi)容。

當(dāng)你在觀看直播時，主播可能會問"現(xiàn)在屏幕上有幾個人？"或"剛才那個動作叫什么？"傳統(tǒng)的AI就像一個總是遲到的學(xué)生，必須等你把整個視頻看完才能回答問題。而這項(xiàng)研究開發(fā)的Streamo系統(tǒng)，就像一個機(jī)敏的助理，能夠一邊看直播一邊實(shí)時回答各種問題，甚至預(yù)測接下來會發(fā)生什么。

傳統(tǒng)視頻AI的工作方式就像看錄像回放——必須拿到完整視頻才能分析內(nèi)容。這種"馬后炮"式的工作方式在直播、監(jiān)控、實(shí)時互動等場景中完全派不上用場。研究團(tuán)隊(duì)意識到，真正有用的視頻AI應(yīng)該像人類一樣，能夠一邊看一邊理解，一邊分析一邊響應(yīng)。

為了解決這個問題，研究團(tuán)隊(duì)創(chuàng)建了一個名為Streamo的系統(tǒng)，這個系統(tǒng)的核心創(chuàng)新在于給AI裝上了"三種工作狀態(tài)的開關(guān)"。就像一個經(jīng)驗(yàn)豐富的客服代表，Streamo會根據(jù)當(dāng)前看到的內(nèi)容選擇"保持沉默"、"準(zhǔn)備回答"或"立即響應(yīng)"。當(dāng)直播中出現(xiàn)無關(guān)內(nèi)容時，它選擇靜靜觀看；當(dāng)相關(guān)事件正在發(fā)生但尚未完結(jié)時，它進(jìn)入待機(jī)狀態(tài)；只有當(dāng)獲得足夠信息能夠給出完整回答時，它才會開口說話。

更令人印象深刻的是，研究團(tuán)隊(duì)還構(gòu)建了一個包含46.5萬個樣本的大規(guī)模訓(xùn)練數(shù)據(jù)集Streamo-Instruct-465K。這個數(shù)據(jù)集就像一本超級詳細(xì)的"實(shí)時互動教科書"，包含了五種不同類型的任務(wù)訓(xùn)練：實(shí)時解說（像體育解說員一樣描述正在發(fā)生的事情）、事件描述（總結(jié)發(fā)生了什么重要事件）、動作識別（識別具體的行為步驟）、時間定位（準(zhǔn)確找到某個事件發(fā)生的時間段）、以及時間敏感問答（回答那些答案會隨時間變化的問題）。

Streamo的工作原理可以用"智能交通指揮員"來比喻。傳統(tǒng)AI就像只能在路口安裝固定紅綠燈的舊系統(tǒng)，而Streamo像是一個能夠?qū)崟r觀察路況、靈活調(diào)整信號的智能指揮員。它會持續(xù)觀察視頻流，當(dāng)發(fā)現(xiàn)有人問"現(xiàn)在路上有幾輛車？"時，它不會等到所有車都通過路口才回答，而是實(shí)時觀察并在合適的時機(jī)給出準(zhǔn)確答案。

在數(shù)據(jù)處理方面，研究團(tuán)隊(duì)采用了一種巧妙的"多輪對話"訓(xùn)練方式。他們將長視頻切分成一秒一秒的片段，每個片段都標(biāo)記了明確的時間邊界，就像給視頻制作了詳細(xì)的時間碼表。在訓(xùn)練過程中，AI學(xué)會了在每個時間點(diǎn)判斷應(yīng)該采取什么行動：是繼續(xù)觀察、準(zhǔn)備回應(yīng)，還是立即給出答案。

為了解決訓(xùn)練中的"沉默時間過多"問題，研究團(tuán)隊(duì)設(shè)計(jì)了一個智能的權(quán)重調(diào)整機(jī)制。就像調(diào)教一個過于害羞的學(xué)生，他們使用特殊的"焦點(diǎn)損失"技術(shù)，讓AI更容易學(xué)會何時應(yīng)該開口說話，而不是總是選擇保持沉默。這種技術(shù)會根據(jù)每個回答的難度和出現(xiàn)頻率自動調(diào)整學(xué)習(xí)重點(diǎn)，確保AI既不會話癆般無休止地說話，也不會過于沉默錯過重要的回應(yīng)時機(jī)。

研究團(tuán)隊(duì)還開發(fā)了一個專門的測試基準(zhǔn)Streamo-Bench，用來評估AI在復(fù)雜多任務(wù)場景中的表現(xiàn)。這個測試就像是給AI安排的"綜合能力考試"，包含300個視頻和3000個不同類型的任務(wù)。測試內(nèi)容涵蓋了前向時間定位（根據(jù)之前的內(nèi)容預(yù)測未來事件的時間）、后向時間定位（根據(jù)后續(xù)內(nèi)容回溯之前事件的時間）、實(shí)時解說、密集描述以及時間敏感問答等多個方面。

在性能表現(xiàn)上，Streamo在各種測試中都表現(xiàn)出色。在OVO-Bench這個權(quán)威測試中，Streamo-7B模型的綜合得分達(dá)到55.61分，比之前最好的在線視頻模型高出13.83分。更有趣的是，即使用1fps訓(xùn)練的模型在2fps測試中也能工作得很好，表明這種方法具有很強(qiáng)的適應(yīng)性。

在離線視頻理解能力方面，Streamo不僅保持了原有的分析能力，還有所提升。在MVBench、TempCompass、VideoMME等標(biāo)準(zhǔn)測試中，Streamo都取得了比基礎(chǔ)模型更好的成績。這就像是一個學(xué)會了即興表演的演員，不僅沒有丟失原有的劇本表演能力，反而因?yàn)閷?shí)時反應(yīng)能力的增強(qiáng)而變得更加全面。

在技術(shù)實(shí)現(xiàn)細(xì)節(jié)上，研究團(tuán)隊(duì)采用了端到端的訓(xùn)練方式，避免了傳統(tǒng)方法中需要單獨(dú)訓(xùn)練決策模塊的復(fù)雜性。他們使用Qwen2.5-VL作為基礎(chǔ)模型，凍結(jié)視覺編碼器，只更新連接器和語言模型部分。訓(xùn)練過程使用單個epoch、512的批次大小和1e-5的學(xué)習(xí)率，每個視頻被分割成一秒鐘的片段，以1fps采樣幀率進(jìn)行處理。

研究團(tuán)隊(duì)進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)，證明了焦點(diǎn)損失機(jī)制的重要性。在沒有狀態(tài)感知重新加權(quán)的情況下，模型性能會嚴(yán)重下降，因?yàn)轭悇e不平衡問題會導(dǎo)致模型過度傾向于預(yù)測沉默狀態(tài)。通過引入自適應(yīng)的焦點(diǎn)權(quán)重和基于頻率的alpha權(quán)重，模型能夠更好地學(xué)習(xí)何時進(jìn)行響應(yīng)。

Streamo系統(tǒng)的應(yīng)用前景廣闊。在直播領(lǐng)域，它可以為主播提供實(shí)時的內(nèi)容分析和觀眾問題回答；在監(jiān)控系統(tǒng)中，它能夠?qū)崟r識別和報告異常事件；在教育場景中，它可以為在線課程提供實(shí)時的內(nèi)容解釋和問題解答；在娛樂領(lǐng)域，它能夠?yàn)橛螒蛑辈セ蝮w育賽事提供智能解說。

與現(xiàn)有的在線視頻模型相比，Streamo的優(yōu)勢在于其統(tǒng)一的端到端設(shè)計(jì)。以往的方法通常需要一個單獨(dú)的決策模塊來判斷何時調(diào)用離線模型，這種設(shè)計(jì)不僅增加了計(jì)算開銷，還限制了系統(tǒng)的響應(yīng)靈活性。Streamo將決策制定和內(nèi)容生成融合在一個統(tǒng)一的框架中，實(shí)現(xiàn)了更高效和準(zhǔn)確的實(shí)時處理。

研究團(tuán)隊(duì)也誠實(shí)地指出了當(dāng)前系統(tǒng)的局限性。主要挑戰(zhàn)在于處理超長序列時的內(nèi)存和延遲成本。隨著視頻流長度的增加，系統(tǒng)需要維護(hù)的上下文信息會急劇增長，這對硬件資源提出了更高要求。未來的改進(jìn)方向包括集成KV緩存管理、視覺標(biāo)記剪枝、滑動窗口注意力機(jī)制以及自適應(yīng)幀壓縮等技術(shù)，以提高訓(xùn)練和推理效率，擴(kuò)展有效上下文長度。

這項(xiàng)研究的意義不僅在于技術(shù)層面的突破，更在于它為人工智能與實(shí)時視頻內(nèi)容的交互開辟了新的可能性。它展示了如何讓AI系統(tǒng)真正理解動態(tài)變化的視覺世界，并能夠像人類一樣進(jìn)行實(shí)時的理解和響應(yīng)。隨著直播、短視頻、實(shí)時監(jiān)控等應(yīng)用場景的快速發(fā)展，這種能夠進(jìn)行實(shí)時視頻理解的AI技術(shù)將變得越來越重要。

說到底，Streamo代表了視頻AI從"被動分析"向"主動理解"的重要轉(zhuǎn)變。它不再是那個只能在電影結(jié)束后才能告訴你劇情的AI，而是能夠陪你一起看電影、實(shí)時回答你疑問的智能伙伴。這種技術(shù)進(jìn)步不僅提升了AI的實(shí)用性，也為未來更加智能和互動的數(shù)字體驗(yàn)奠定了基礎(chǔ)。對于普通用戶來說，這意味著我們很快就能享受到更加智能、響應(yīng)更及時的視頻相關(guān)服務(wù)，無論是觀看直播、學(xué)習(xí)在線課程還是使用監(jiān)控系統(tǒng)，都會有一個真正理解我們需求的AI助手陪伴左右。

Q&A

Q1：Streamo和傳統(tǒng)視頻AI有什么區(qū)別？

A：傳統(tǒng)視頻AI就像看錄像回放，必須等整個視頻播完才能分析內(nèi)容，而Streamo能夠一邊看直播一邊實(shí)時理解和回答問題。它有三種工作狀態(tài)：保持沉默、準(zhǔn)備回答和立即響應(yīng)，能夠根據(jù)視頻內(nèi)容的變化靈活調(diào)整自己的行為，就像一個機(jī)敏的助理。

Q2：Streamo-Instruct-465K數(shù)據(jù)集包含哪些內(nèi)容？

A：這是一個包含46.5萬個樣本的大規(guī)模訓(xùn)練數(shù)據(jù)集，就像一本超級詳細(xì)的實(shí)時互動教科書。它包含五種任務(wù)類型：實(shí)時解說（像體育解說員描述正在發(fā)生的事）、事件描述（總結(jié)重要事件）、動作識別（識別具體行為）、時間定位（找到事件發(fā)生時間）以及時間敏感問答（回答隨時間變化的問題）。

Q3：Streamo的實(shí)際應(yīng)用場景有哪些？

A：Streamo的應(yīng)用前景非常廣泛，包括為直播主播提供實(shí)時內(nèi)容分析，為監(jiān)控系統(tǒng)提供異常事件實(shí)時識別，為在線教育提供實(shí)時內(nèi)容解釋，為游戲直播和體育賽事提供智能解說等。它能讓AI真正參與到需要實(shí)時理解和響應(yīng)的各種視頻場景中。