作者團(tuán)隊(duì)來自 vivo BlueImage Lab（藍(lán)圖影像創(chuàng)新實(shí)驗(yàn)室），該實(shí)驗(yàn)室主要負(fù)責(zé)移動影像算法創(chuàng)新，持續(xù)突破移動影像的技術(shù)天花板。工作重點(diǎn)包括圖像 / 視頻處理、交互、增強(qiáng)、多模態(tài)理解大模型等方面的技術(shù)前沿探索。他們致力于提升 vivo 移動影像的算法能力，使用戶能夠拍攝出更加清晰、美觀的照片和視頻，并為用戶提供更加豐富便捷的影像體驗(yàn)。

在手機(jī)攝影中，Live Photo 早已成為一種常見而成熟的拍攝形式，它不再只是定格一個畫面，而是記錄「此時此刻」的狀態(tài)與情緒，捕捉那些轉(zhuǎn)瞬即逝的精彩瞬間。它由一張高清封面圖和一段短視頻共同組成，既保留了照片的清晰質(zhì)感，也記錄了拍攝瞬間前后的動態(tài)信息。

在日常使用中，用戶往往希望從這段視頻中重新選擇某一幀作為封面，以捕捉更理想的表情、動作或時機(jī)。然而，在實(shí)際使用中，問題也隨之顯現(xiàn)：由于視頻本身分辨率低、壓縮嚴(yán)重，重選的封面幀往往畫質(zhì)不足，難以滿足「封面級」的觀感要求。

這一看似簡單的需求，實(shí)際上仍缺乏有效的技術(shù)解決方案?，F(xiàn)有單幀或參考修復(fù)方法難以處理來自同一場景卻存在時間偏移的參考圖像；而視頻級方法又往往圍繞整段視頻序列設(shè)計(jì)，難以高效地服務(wù)于單幀封面修復(fù)。

圖 1: 真實(shí) Live Photo 場景下機(jī)內(nèi)重選封面幀與 LiveMoments 的效果對比

近日，vivo 藍(lán)圖實(shí)驗(yàn)室與南開大學(xué)聯(lián)合發(fā)布了一項(xiàng)新的研究工作，首次系統(tǒng)性地定義了「基于原始封面幀參考的 Live Photo 重選封面幀修復(fù)」這一任務(wù)，并為該任務(wù)提供了創(chuàng)新性的解決方案。該工作已正式被國際機(jī)器學(xué)習(xí)頂級會議 ICLR 2026 接收。

通過利用 Live Photo 中自帶的高清原始封面幀作為參考，LiveMoments 能夠在保持內(nèi)容一致性的同時，顯著提升重選封面幀的畫質(zhì)，使其真正達(dá)到可作為封面的視覺質(zhì)量。

• 論文標(biāo)題：LiveMoments: Reselected Key Photo Restoration in Live Photos via Reference-guided Diffusion
• 論文鏈接：https://arxiv.org/pdf/2604.12286
• 論文主頁：https://clara7-c.github.io/livemoments/
• 代碼鏈接：https://github.com/OpenVeraTeam/LiveMoments

全新任務(wù)：為 Live Photo 帶來更清晰的重選封面幀體驗(yàn)

不同于傳統(tǒng)針對單幀圖像或整段視頻的參考修復(fù)任務(wù)，研究團(tuán)隊(duì)從 Live Photo 的真實(shí)使用場景出發(fā)，提出了重選封面幀修復(fù)（Reselected Key Photo Restoration）這一新問題。即利用原始封面幀作為高質(zhì)量參考，引導(dǎo)低質(zhì)量重選幀的修復(fù)過程，從而提升其視覺質(zhì)量。

圖 2: 參考超分與 Live Photo 重選封面幀修復(fù)的任務(wù)對比

這一任務(wù)可以看作參考圖像超分（RefSR）的一個子問題，但與傳統(tǒng)參考圖像超分（RefISR）依賴來自外部數(shù)據(jù)庫的高質(zhì)量參考圖不同，該任務(wù)使用來自同一 Live Photo 序列的原始封面幀，保證了內(nèi)容一致性。同時，相比參考視頻超分（RefVSR）需要處理整段視頻、甚至依賴多攝像頭數(shù)據(jù)的復(fù)雜設(shè)定，該任務(wù)只關(guān)注單張重選封面幀的修復(fù)，更貼近實(shí)際需求，也更加高效。

然而，這一設(shè)定也帶來了新的挑戰(zhàn)：Live Photo 中普遍存在的運(yùn)動錯位，以及原始封面與重選幀之間顯著的質(zhì)量差異，使得現(xiàn)有參考超分與單幀超分方法難以直接適用。

而研究團(tuán)隊(duì)所提出的 LiveMoments 通過 Live Photo 中天然存在的高清原始封面幀作為參考引導(dǎo)重選封面幀的修復(fù)，能夠在顯著提升畫質(zhì)的同時，有效避免結(jié)構(gòu)失真與細(xì)節(jié)不一致等問題。同時，該模型結(jié)合了擴(kuò)散模型所具備的強(qiáng)生成先驗(yàn)，并針對 Live Photo 場景中廣泛存在的運(yùn)動錯位設(shè)計(jì)了對齊模塊，在復(fù)雜動態(tài)場景下依然表現(xiàn)出良好的穩(wěn)定性與魯棒性。

技術(shù)邏輯：參考引導(dǎo)下的重選封面幀修復(fù)

針對 Live Photo 中的重選封面幀修復(fù)任務(wù)，LiveMoments 的整體設(shè)計(jì)圍繞兩個關(guān)鍵問題展開：如何穩(wěn)定實(shí)現(xiàn)細(xì)節(jié)遷移與修復(fù)，以及如何應(yīng)對 Live Photo 中廣泛存在的運(yùn)動場景。

圖 3: LiveMoments 架構(gòu)圖

1. 針對細(xì)節(jié)遷移與修復(fù)設(shè)計(jì)的 baseline

LiveMoments 以擴(kuò)散模型為基礎(chǔ)，構(gòu)建了一個包含參考引導(dǎo)的修復(fù)框架。借助擴(kuò)散模型強(qiáng)大的生成先驗(yàn)，模型能夠?qū)崿F(xiàn)高效與細(xì)粒度的特征提取。同時，基于注意力的特征融合機(jī)制有效地引入了來自原始封面幀的細(xì)節(jié)與紋理信息，在提升清晰度的同時保持整體結(jié)構(gòu)的一致性。

這一設(shè)計(jì)使模型能夠穩(wěn)定可靠地恢復(fù)重選封面幀的畫質(zhì)。

2. 針對 Live Photo 場景的運(yùn)動對齊設(shè)計(jì)

考慮到原始封面幀與重選封面幀往往存在明顯的時間偏移與運(yùn)動錯位，LiveMoments 進(jìn)一步引入了運(yùn)動對齊模塊，以提升跨幀對齊與參考融合的準(zhǔn)確性。

該模塊同時作用于兩個部分：在潛空間中，通過運(yùn)動引導(dǎo)的注意力機(jī)制增強(qiáng)特征融合的一致性；在像素域中，通過圖像塊匹配檢索策略定位并利用正確的參考區(qū)域。這一設(shè)計(jì)有效緩解了運(yùn)動錯位帶來的干擾，使參考信息能夠被更精準(zhǔn)、可靠地使用。

實(shí)驗(yàn)結(jié)果：超越現(xiàn)有的參考超分與單幀超分方法

研究團(tuán)隊(duì)構(gòu)建了 2 個真實(shí)場景下的 Live Photo 數(shù)據(jù)集與 1 個仿真數(shù)據(jù)集，并通過調(diào)整無參考評價(jià)指標(biāo)，使其更適用于重選封面幀修復(fù)這一任務(wù)。

真實(shí) Live Photo 數(shù)據(jù)集由 vivo X200 Pro 與 iPhone 15 Pro 拍攝獲得，模型在 2 個真實(shí)場景數(shù)據(jù)集上均取得了最優(yōu)的評價(jià)指標(biāo)，展現(xiàn)出穩(wěn)定而全面的性能優(yōu)勢。

表 1: 2 個真實(shí) Live Photo 數(shù)據(jù)集上 LiveMoments 與其他模型的數(shù)值指標(biāo)對比

圖 4: 真實(shí) Live Photo 場景下 LiveMoments 與其他模型的修復(fù)效果對比

總結(jié)與展望

通過利用 Live Photo 中天然存在的原始封面幀作為參考，LiveMoments 采用雙分支結(jié)構(gòu)的設(shè)計(jì)，并結(jié)合統(tǒng)一的運(yùn)動對齊模塊，能夠有效將原始高質(zhì)量封面幀中的結(jié)構(gòu)與紋理信息遷移至重選封面幀中，在復(fù)雜場景下依然表現(xiàn)出穩(wěn)定的性能。

該工作從實(shí)際應(yīng)用場景出發(fā)，首次系統(tǒng)性地研究了 Live Photo 重選封面幀修復(fù)問題，能夠廣泛服務(wù)于多種影像場景：

• 日常拍攝：自由選擇最滿意的瞬間作為封面，不再受畫質(zhì)限制
• 內(nèi)容創(chuàng)作：為短視頻、社交平臺內(nèi)容提供更高質(zhì)量的封面圖
• 學(xué)術(shù)研究：為參考引導(dǎo)圖像修復(fù)與擴(kuò)散模型的應(yīng)用提供新的研究范式

誠摯歡迎大家關(guān)注論文與項(xiàng)目進(jìn)展，也期待這一工作能夠?yàn)?Live Photo 相關(guān)的計(jì)算攝影與圖像修復(fù)任務(wù)帶來新的視角與思路。