作者團隊來自 vivo BlueImage Lab（藍(lán)圖影像創(chuàng)新實驗室），該實驗室主要負(fù)責(zé)移動影像算法創(chuàng)新，持續(xù)突破移動影像的技術(shù)天花板。工作重點包括圖像 / 視頻處理、交互、增強、多模態(tài)理解大模型等方面的技術(shù)前沿探索。他們致力于提升 vivo 移動影像的算法能力，使用戶能夠拍攝出更加清晰、美觀的照片和視頻，并為用戶提供更加豐富便捷的影像體驗。

在手機攝影中，Live Photo 早已成為一種常見而成熟的拍攝形式，它不再只是定格一個畫面，而是記錄「此時此刻」的狀態(tài)與情緒，捕捉那些轉(zhuǎn)瞬即逝的精彩瞬間。它由一張高清封面圖和一段短視頻共同組成，既保留了照片的清晰質(zhì)感，也記錄了拍攝瞬間前后的動態(tài)信息。

在日常使用中，用戶往往希望從這段視頻中重新選擇某一幀作為封面，以捕捉更理想的表情、動作或時機。然而，在實際使用中，問題也隨之顯現(xiàn)：由于視頻本身分辨率低、壓縮嚴(yán)重，重選的封面幀往往畫質(zhì)不足，難以滿足「封面級」的觀感要求。

這一看似簡單的需求，實際上仍缺乏有效的技術(shù)解決方案。現(xiàn)有單幀或參考修復(fù)方法難以處理來自同一場景卻存在時間偏移的參考圖像；而視頻級方法又往往圍繞整段視頻序列設(shè)計，難以高效地服務(wù)于單幀封面修復(fù)。

圖 1: 真實 Live Photo 場景下機內(nèi)重選封面幀與 LiveMoments 的效果對比

近日，vivo 藍(lán)圖實驗室與南開大學(xué)聯(lián)合發(fā)布了一項新的研究工作，首次系統(tǒng)性地定義了「基于原始封面幀參考的 Live Photo 重選封面幀修復(fù)」這一任務(wù)，并為該任務(wù)提供了創(chuàng)新性的解決方案。該工作已正式被國際機器學(xué)習(xí)頂級會議 ICLR 2026 接收。

通過利用 Live Photo 中自帶的高清原始封面幀作為參考，LiveMoments 能夠在保持內(nèi)容一致性的同時，顯著提升重選封面幀的畫質(zhì)，使其真正達(dá)到可作為封面的視覺質(zhì)量。

• 論文標(biāo)題：LiveMoments: Reselected Key Photo Restoration in Live Photos via Reference-guided Diffusion
• 論文鏈接：https://arxiv.org/pdf/2604.12286
• 論文主頁：https://clara7-c.github.io/livemoments/
• 代碼鏈接：https://github.com/OpenVeraTeam/LiveMoments

全新任務(wù)：為 Live Photo 帶來更清晰的重選封面幀體驗

不同于傳統(tǒng)針對單幀圖像或整段視頻的參考修復(fù)任務(wù)，研究團隊從 Live Photo 的真實使用場景出發(fā)，提出了重選封面幀修復(fù)（Reselected Key Photo Restoration）這一新問題。即利用原始封面幀作為高質(zhì)量參考，引導(dǎo)低質(zhì)量重選幀的修復(fù)過程，從而提升其視覺質(zhì)量。

圖 2: 參考超分與 Live Photo 重選封面幀修復(fù)的任務(wù)對比

這一任務(wù)可以看作參考圖像超分（RefSR）的一個子問題，但與傳統(tǒng)參考圖像超分（RefISR）依賴來自外部數(shù)據(jù)庫的高質(zhì)量參考圖不同，該任務(wù)使用來自同一 Live Photo 序列的原始封面幀，保證了內(nèi)容一致性。同時，相比參考視頻超分（RefVSR）需要處理整段視頻、甚至依賴多攝像頭數(shù)據(jù)的復(fù)雜設(shè)定，該任務(wù)只關(guān)注單張重選封面幀的修復(fù)，更貼近實際需求，也更加高效。

然而，這一設(shè)定也帶來了新的挑戰(zhàn)：Live Photo 中普遍存在的運動錯位，以及原始封面與重選幀之間顯著的質(zhì)量差異，使得現(xiàn)有參考超分與單幀超分方法難以直接適用。

而研究團隊所提出的 LiveMoments 通過 Live Photo 中天然存在的高清原始封面幀作為參考引導(dǎo)重選封面幀的修復(fù)，能夠在顯著提升畫質(zhì)的同時，有效避免結(jié)構(gòu)失真與細(xì)節(jié)不一致等問題。同時，該模型結(jié)合了擴散模型所具備的強生成先驗，并針對 Live Photo 場景中廣泛存在的運動錯位設(shè)計了對齊模塊，在復(fù)雜動態(tài)場景下依然表現(xiàn)出良好的穩(wěn)定性與魯棒性。

技術(shù)邏輯：參考引導(dǎo)下的重選封面幀修復(fù)

針對 Live Photo 中的重選封面幀修復(fù)任務(wù)，LiveMoments 的整體設(shè)計圍繞兩個關(guān)鍵問題展開：如何穩(wěn)定實現(xiàn)細(xì)節(jié)遷移與修復(fù)，以及如何應(yīng)對 Live Photo 中廣泛存在的運動場景。

圖 3: LiveMoments 架構(gòu)圖

1. 針對細(xì)節(jié)遷移與修復(fù)設(shè)計的 baseline

LiveMoments 以擴散模型為基礎(chǔ)，構(gòu)建了一個包含參考引導(dǎo)的修復(fù)框架。借助擴散模型強大的生成先驗，模型能夠?qū)崿F(xiàn)高效與細(xì)粒度的特征提取。同時，基于注意力的特征融合機制有效地引入了來自原始封面幀的細(xì)節(jié)與紋理信息，在提升清晰度的同時保持整體結(jié)構(gòu)的一致性。

這一設(shè)計使模型能夠穩(wěn)定可靠地恢復(fù)重選封面幀的畫質(zhì)。

2. 針對 Live Photo 場景的運動對齊設(shè)計

考慮到原始封面幀與重選封面幀往往存在明顯的時間偏移與運動錯位，LiveMoments 進(jìn)一步引入了運動對齊模塊，以提升跨幀對齊與參考融合的準(zhǔn)確性。

該模塊同時作用于兩個部分：在潛空間中，通過運動引導(dǎo)的注意力機制增強特征融合的一致性；在像素域中，通過圖像塊匹配檢索策略定位并利用正確的參考區(qū)域。這一設(shè)計有效緩解了運動錯位帶來的干擾，使參考信息能夠被更精準(zhǔn)、可靠地使用。

實驗結(jié)果：超越現(xiàn)有的參考超分與單幀超分方法

研究團隊構(gòu)建了 2 個真實場景下的 Live Photo 數(shù)據(jù)集與 1 個仿真數(shù)據(jù)集，并通過調(diào)整無參考評價指標(biāo)，使其更適用于重選封面幀修復(fù)這一任務(wù)。

真實 Live Photo 數(shù)據(jù)集由 vivo X200 Pro 與 iPhone 15 Pro 拍攝獲得，模型在 2 個真實場景數(shù)據(jù)集上均取得了最優(yōu)的評價指標(biāo)，展現(xiàn)出穩(wěn)定而全面的性能優(yōu)勢。

表 1: 2 個真實 Live Photo 數(shù)據(jù)集上 LiveMoments 與其他模型的數(shù)值指標(biāo)對比

圖 4: 真實 Live Photo 場景下 LiveMoments 與其他模型的修復(fù)效果對比

總結(jié)與展望

通過利用 Live Photo 中天然存在的原始封面幀作為參考，LiveMoments 采用雙分支結(jié)構(gòu)的設(shè)計，并結(jié)合統(tǒng)一的運動對齊模塊，能夠有效將原始高質(zhì)量封面幀中的結(jié)構(gòu)與紋理信息遷移至重選封面幀中，在復(fù)雜場景下依然表現(xiàn)出穩(wěn)定的性能。

該工作從實際應(yīng)用場景出發(fā)，首次系統(tǒng)性地研究了 Live Photo 重選封面幀修復(fù)問題，能夠廣泛服務(wù)于多種影像場景：

• 日常拍攝：自由選擇最滿意的瞬間作為封面，不再受畫質(zhì)限制
• 內(nèi)容創(chuàng)作：為短視頻、社交平臺內(nèi)容提供更高質(zhì)量的封面圖
• 學(xué)術(shù)研究：為參考引導(dǎo)圖像修復(fù)與擴散模型的應(yīng)用提供新的研究范式

誠摯歡迎大家關(guān)注論文與項目進(jìn)展，也期待這一工作能夠為 Live Photo 相關(guān)的計算攝影與圖像修復(fù)任務(wù)帶來新的視角與思路。