作者 | 傅聰團(tuán)隊(duì)

審校 | 蔡芳芳

在真實(shí)的工業(yè)級(jí)推薦場(chǎng)景中，用戶(hù)的偏好會(huì)隨著時(shí)間不斷遷移，而模型當(dāng)然也不能“一成不變”，需要不斷在每一天新到來(lái)的數(shù)據(jù)上訓(xùn)練，來(lái)適應(yīng)數(shù)據(jù)分布的遷移。理想中，模型在“見(jiàn)識(shí)過(guò)”各種各樣的用戶(hù)數(shù)據(jù)后，可以從容自如、準(zhǔn)確地預(yù)測(cè)用戶(hù)的行為。而實(shí)際情況是，模型在訓(xùn)練每一天的數(shù)據(jù)時(shí)，AUC 可以持續(xù)增長(zhǎng)，但在未來(lái)一天的樣本上預(yù)測(cè)的時(shí)候，又會(huì)斷崖式下跌，仿佛模型在不斷地“過(guò)擬合”每一天的數(shù)據(jù)。不僅如此，電商平臺(tái)的大促前后，劇烈的數(shù)據(jù)分布“地震”往往會(huì)讓模型在大促當(dāng)天表現(xiàn)不佳。

推薦模型在持續(xù)訓(xùn)練中為何“失憶”？如何讓模型能夠在不斷遷移的數(shù)據(jù)分布中“找到”有效的的信息？

針對(duì)這一問(wèn)題，Shopee 傅聰團(tuán)隊(duì)聯(lián)合新加坡管理大學(xué) SMU，深入分析挖掘了工業(yè)級(jí)推薦系統(tǒng)數(shù)據(jù)分布遷移的模式，并在此基礎(chǔ)上提出了一種模型架構(gòu)無(wú)關(guān)的學(xué)習(xí)框架 ELBO_TDS（Evidence Lower Bound Objective for Temporal Distribution Shift）。

該研究成果發(fā)表后，便獲得人工智能領(lǐng)域核心基礎(chǔ)設(shè)施平臺(tái) Hugging Face 的關(guān)注。作為學(xué)術(shù)界與工業(yè)界公認(rèn)的重要開(kāi)源平臺(tái)，Hugging Face 主動(dòng)邀請(qǐng)傅聰團(tuán)隊(duì)將論文及配套的推薦系統(tǒng)時(shí)間分布偏移工業(yè)基準(zhǔn)數(shù)據(jù)集分別托管至其論文庫(kù)與數(shù)據(jù)集平臺(tái)。這一認(rèn)可充分體現(xiàn)了傅聰團(tuán)隊(duì)的該項(xiàng)研究在理論創(chuàng)新與工程實(shí)踐方面的雙重價(jià)值。

傅聰團(tuán)隊(duì)的研究方法從真實(shí)場(chǎng)景數(shù)據(jù)分析出發(fā)，重新解讀了推薦系統(tǒng)場(chǎng)景下，用戶(hù)交互數(shù)據(jù)的“生成過(guò)程”，并提出了一種 ELBO 建模目標(biāo)，將增強(qiáng)表征時(shí)間尺度魯棒性的自監(jiān)督學(xué)習(xí)，與訓(xùn)練模型個(gè)性化能力的標(biāo)簽監(jiān)督學(xué)習(xí)，無(wú)縫統(tǒng)一在了一個(gè)因果學(xué)習(xí)框架中，為持續(xù)學(xué)習(xí)、甚至 life-long 學(xué)習(xí)提供了一個(gè)新的視角。

1 時(shí)間維度分布遷移分析：改寫(xiě)推薦系統(tǒng)數(shù)據(jù)認(rèn)知

推薦數(shù)據(jù)在時(shí)間維度上的分布漂移會(huì)阻礙模型的穩(wěn)定學(xué)習(xí)，尤其是在 Shopee 的場(chǎng)景，每月一大促、半月一小促的周期讓模型的訓(xùn)練 AUC 曲線(xiàn)如同“過(guò)山車(chē)”。想要解決問(wèn)題，首先需要理解問(wèn)題的本質(zhì)。

論文對(duì) 30 天周期的訓(xùn)練數(shù)據(jù)進(jìn)行了深入分析，將部分結(jié)果可視化后，如下圖所示：

推薦系統(tǒng)模型的訓(xùn)練數(shù)據(jù)，本質(zhì)上是用戶(hù)的行為 + 各種類(lèi)型特征的記錄。在推薦系統(tǒng)的特征工程中最常用的特征不外乎三大類(lèi)：統(tǒng)計(jì)特征、類(lèi)別特征、序列特征。不同類(lèi)型特征的遷移表現(xiàn)可以總結(jié)為以下三點(diǎn)：

• 統(tǒng)計(jì)類(lèi)特征（如物品最近 3 天窗口的 CTR）的 item CV 分布呈現(xiàn)單峰分布。解讀：CV（Coefficient of Variation）一般用于度量某個(gè)數(shù)值的波動(dòng)劇烈程度。單峰分布的 CV 代表了該統(tǒng)計(jì)特征在大多數(shù)情況下呈現(xiàn)出“有界性”。換句話(huà)說(shuō)，特征的數(shù)值在很小的概率下會(huì)產(chǎn)生遠(yuǎn)離均值的異常值。

• 序列特征中，與目標(biāo)商品相關(guān)的 item 數(shù)量（例如在 swing i-to-i graph 中有互連邊的關(guān)系）的 CV 分布也是偏左單峰。

• 類(lèi)別特征（例如 item id，user id）的分布，在連續(xù)多天的 JSD（香農(nóng)熵，衡量分布差異性）數(shù)值上是緩慢增長(zhǎng)。解讀：以 item ID 為例，任意相鄰兩天的 JSD 是 0.53 附近。但第 0 天到第 13 天的累積 JSD 卻只增長(zhǎng)到了 0.59。

從上面的數(shù)據(jù)分析我們可以看出，任意一種特征的數(shù)值或分布，在天與天之間切換時(shí)，都呈現(xiàn)了不弱的抖動(dòng)（CV 數(shù)值在 2～4）。但長(zhǎng)周期來(lái)看，數(shù)值的波動(dòng)烈度又是相對(duì)穩(wěn)定的（CV 單峰、JSD 增長(zhǎng)緩慢）。

這像極了一拳超人的絕技：超級(jí)反復(fù)橫跳。

為什么數(shù)據(jù)會(huì)“反復(fù)橫跳”呢？這個(gè)橫跳過(guò)程中的那個(gè)相對(duì)穩(wěn)定的“均值”又代表什么呢？

一般情況下，可以假定參與到推薦系統(tǒng)“協(xié)同過(guò)濾”過(guò)程的用戶(hù)，是“理性”和“感性”摻雜的個(gè)體，但多數(shù)情況下理性占主導(dǎo)，尤其是電商場(chǎng)景，涉及到真實(shí)交易支付。一個(gè)商品的質(zhì)量等本質(zhì)屬性不會(huì)突變，所以不會(huì)今天暢銷(xiāo)、明天滯銷(xiāo)、后天又暢銷(xiāo)；同樣，一個(gè)用戶(hù)，也可以認(rèn)為其文化背景、生活環(huán)境、年齡履歷、經(jīng)濟(jì)狀況，不會(huì)經(jīng)常突變。因此，論文認(rèn)為，這個(gè)穩(wěn)定的均值代表參與到推薦系統(tǒng)的對(duì)象（用戶(hù)和物品）的“穩(wěn)定內(nèi)核”，而橫持續(xù)跳著的“方差”，則是由各種因素帶來(lái)的“干擾”，例如社交媒體的流行趨勢(shì)、熱點(diǎn)訊息、用戶(hù)不定期的訪(fǎng)問(wèn)習(xí)慣、廣告促銷(xiāo)、系統(tǒng) Bias 和不確定性等等。

由此看來(lái)，我們需要對(duì)推薦系統(tǒng)的數(shù)據(jù)模型進(jìn)行重新認(rèn)知。

傳統(tǒng)的理解里，推薦模型建模的是 P(Y|X)，把 X 作為數(shù)據(jù)的“真實(shí)”，以此 X 來(lái)推斷標(biāo)簽 Y，那么數(shù)據(jù)的“因果”流向是 X -> Y。但論文認(rèn)為，X 中的絕大多數(shù)“手工特征”是對(duì)真實(shí)屬性、偏好的帶噪聲的表達(dá)，而不是數(shù)據(jù)的“真實(shí)”。那么，推薦系統(tǒng)的真實(shí)數(shù)據(jù)生成過(guò)程可能是下面這張圖：

論文認(rèn)為參與到推薦系統(tǒng)的對(duì)象——用戶(hù)和物品都包含兩面性。一種是穩(wěn)定因素，代表對(duì)象的內(nèi)核、本質(zhì)，例如商品的類(lèi)目、質(zhì)量、功能，或用戶(hù)的性別、年齡段（相對(duì)穩(wěn)定）。另一種是波動(dòng)因素，代表對(duì)象的表象、某種視角的觀測(cè)，例如商品的銷(xiāo)量一般會(huì)持續(xù)上漲至其生命周期結(jié)束，用戶(hù)的即時(shí)興趣會(huì)收到社會(huì)屬性的影響。

為了方便建模，論文方法引入隱變量 Z。這個(gè)視角下的數(shù)據(jù)生成過(guò)程，或者因果關(guān)系，是穩(wěn)定因素 S 和波動(dòng)因素 V 共同作用于隱變量，即 S -> Z，V -> Z。而再經(jīng)由 Z，形成了大家對(duì)數(shù)據(jù)表象的觀測(cè) X 和 Y，即 Z -> X, Z -> Y。

因此，論文方法希望模型能夠捕捉到 Z 的分布，從而建模好 X 和 Y 的聯(lián)合分布。因此，論文方法追究的這個(gè)過(guò)程，更接近與“生成式建模”的思路（注，不同于目前業(yè)界很多所謂的生成式推薦，其本質(zhì)都還是建模條件分布 P(Y|X)，嚴(yán)格意義上屬于判別式模型）。

2 方法論：從 ELBO 推導(dǎo)出自監(jiān)督和判別式監(jiān)督聯(lián)合學(xué)習(xí)框架

首先，論文基于對(duì)數(shù)據(jù)的觀察總結(jié)提出了穩(wěn)態(tài) - 波動(dòng)假設(shè)：

接著，基于這個(gè)假設(shè)，論文方法希望模型建模聯(lián)合分布的時(shí)候可以過(guò)濾掉波動(dòng)因素 V 的干擾，從而讓預(yù)測(cè)更穩(wěn)定，從這個(gè)角度來(lái)看，論文提出了以下極大似然估計(jì)目標(biāo)：

這個(gè)目標(biāo)的含義是，從一個(gè)帶有噪聲 V 的數(shù)據(jù)分布上采樣得到樣本，但讓模型試圖僅僅學(xué)習(xí) given 穩(wěn)定因素 S，X 和 Y 的聯(lián)合概率分布。上述目標(biāo)不可直接優(yōu)化，為了方便 VAE 形式的建模，引入隱變量 Z，稍加推導(dǎo)，可以得到新的目標(biāo) ELBO：

這個(gè) ELBO 包含 4 個(gè)小項(xiàng)目，從語(yǔ)義理解看：

• 重構(gòu)項(xiàng)：從隱變量 Z 重構(gòu)出樣本 X，

• 熵約束項(xiàng)：對(duì)隱變量 Z 的方差進(jìn)行有效約束，保證表征坍塌。

• 預(yù)測(cè)（判別式）項(xiàng)：從隱變量 Z 預(yù)測(cè)標(biāo)簽 Y。

• 先驗(yàn)約束：使得隱變量 Z 盡可能只與穩(wěn)定因素 S 有關(guān)，從而讓表征 Z 具備應(yīng)對(duì)時(shí)間維度分布遷移的魯棒性。

優(yōu)化上述 ELBO，模型就可以得到具有這樣特性的表征 Z，既包含了重構(gòu) X 的能力，最大限度的保留信息，防止表征坍塌；又保留了有助于判別式任務(wù)的有效信息，助力下游任務(wù)；還排擠掉了與 V 有關(guān)的信息，強(qiáng)化了應(yīng)對(duì)時(shí)間分布遷移（Temporal Distribution Shift，TDS）的魯棒性，可以說(shuō)是全能表征。更具體地，模型的訓(xùn)練框架如下：

3 多視圖數(shù)據(jù)增強(qiáng)策略

從上述模型結(jié)構(gòu)圖可以看到，模型的輸入包含帶有波動(dòng)因素 V 的數(shù)據(jù)樣本。獲得這樣的樣本，最簡(jiǎn)單的方法就是，從歷史樣本中獲取和構(gòu)造。然而，這樣做費(fèi)時(shí)費(fèi)力非存儲(chǔ)不說(shuō)，還有一個(gè)非常嚴(yán)重的缺點(diǎn)，就是 One-Epoch 過(guò)擬合問(wèn)題。

所謂 One-Epoch 過(guò)擬合問(wèn)題，是在工業(yè)界不同場(chǎng)景被廣泛發(fā)現(xiàn)的問(wèn)題：模型在同一天數(shù)據(jù)上訓(xùn)練超過(guò)一次就容易過(guò)擬合到當(dāng)天樣本，造成預(yù)測(cè)未來(lái)時(shí)間的樣本的 AUC 明顯下降。

為了不產(chǎn)生類(lèi)似的問(wèn)題，論文提出了在線(xiàn)增強(qiáng)策略，針對(duì)不同類(lèi)型的特征：

• 統(tǒng)計(jì)類(lèi)型 的特征進(jìn)行數(shù)據(jù)分桶（工業(yè)界常規(guī)操作），增強(qiáng)視圖樣本則通過(guò)擾動(dòng)真實(shí)樣本產(chǎn)生，根據(jù)之前的數(shù)據(jù)觀測(cè)分析，可以把真實(shí)樣本的桶號(hào)隨機(jī)擾動(dòng)到其附近的分桶號(hào)上。

• 類(lèi)比類(lèi)型的特征，隨機(jī)替換或者 zero mask。

• 序列類(lèi)型的特征，對(duì)序列 item 進(jìn)行隨機(jī) mask

上述操作隨機(jī)進(jìn)行多次，可以得到一條樣本的多個(gè)“視圖”。這就好像圖片預(yù)訓(xùn)練模型的隨機(jī)裁剪、旋轉(zhuǎn)、變色等數(shù)據(jù)增強(qiáng)操作。

上述樣本生成過(guò)程不需要參考?xì)v史樣本，可以在訓(xùn)練時(shí)并行計(jì)算，對(duì)樣本訓(xùn)練帶來(lái)的成本幾乎可忽略不計(jì)。

4 實(shí)驗(yàn)數(shù)據(jù)和結(jié)果分析

推薦系統(tǒng)數(shù)據(jù)的時(shí)間分布遷移（TDS）是一個(gè)相對(duì)比較小眾且新型的領(lǐng)域，可對(duì)比的方法不多。但論文關(guān)注到和這個(gè)領(lǐng)域最相關(guān)的一個(gè)機(jī)器學(xué)習(xí)方向叫做不變性學(xué)習(xí)（Invariant Learning or Invariant Risk Minimization for covariant shift）。與此相對(duì)應(yīng)地，傳統(tǒng)的推薦模型建模其實(shí)都隱含一種數(shù)據(jù)分布隨著時(shí)間推移保持 i.i.d. 的假設(shè)，可以被統(tǒng)稱(chēng)為 Empirical Risk Minimization （ERM）。此外，論文中還將比較相似的基于對(duì)比學(xué)習(xí)的自監(jiān)督學(xué)習(xí)，以及將圖像 pretrain 領(lǐng)域的 Dino 適配到搜推領(lǐng)域，統(tǒng)一納入到 Baseline 之中。

論文在公開(kāi)數(shù)據(jù)集和工業(yè)級(jí)數(shù)據(jù)上都進(jìn)行了實(shí)驗(yàn)。公開(kāi)數(shù)據(jù)集的選擇也比較有限，主要原因是，要對(duì)數(shù)據(jù)特征進(jìn)行有效“擾動(dòng)”，就需要了解特征的語(yǔ)義；同時(shí)，數(shù)據(jù)需要在相對(duì)比較連續(xù)的一段時(shí)間內(nèi)進(jìn)行采集，保證用戶(hù)偏好不會(huì)產(chǎn)生極大偏移，從而脫離論文研究問(wèn)題的范疇；數(shù)據(jù)不可以經(jīng)過(guò)主觀性強(qiáng)的、大力度的采樣，導(dǎo)致數(shù)據(jù)分布產(chǎn)生不自然的扭曲。因此，傳統(tǒng) 的常用推薦 benchmark，如 Amazon Reviews、MovieLens 數(shù)據(jù)集存在時(shí)間尺度過(guò)長(zhǎng)且不連續(xù)、采樣力度過(guò)大的問(wèn)題；AliCCP、AE 等電商數(shù)據(jù)存在時(shí)間戳不明確、特征含義不明等問(wèn)題。最終我們找到快手 release 的 kuairand 系列數(shù)據(jù)。針對(duì) kuairand 數(shù)據(jù)集，由于其跟蹤 user 來(lái)采集數(shù)據(jù)，導(dǎo)致數(shù)據(jù)因用戶(hù)來(lái)訪(fǎng)頻率不穩(wěn)定而產(chǎn)生時(shí)間區(qū)間的數(shù)量不均，例如數(shù)據(jù)采集區(qū)間內(nèi) 4～5 月的很多自然天內(nèi)內(nèi)沒(méi)有數(shù)據(jù)。我們將數(shù)據(jù)按時(shí)間戳排序后，將數(shù)據(jù)集重新等分為數(shù)量差不多的幾個(gè) part，定義為不同虛擬“自然天”的數(shù)據(jù)。

實(shí)驗(yàn)結(jié)果如下：

首先，從上述數(shù)據(jù)我們可以看到論文提出的 ELBO_TDS 框架，相較于 baseline，均取得了顯著提升。這說(shuō)明 ELBO_TDS 可以有效低去除數(shù)據(jù)中與用戶(hù)核心興趣無(wú)關(guān)、與時(shí)間遷移有關(guān)的噪聲，從而更好地預(yù)測(cè)用戶(hù)的偏好。

其次，ELBO_TDS 在視頻、電商兩類(lèi)模態(tài)的數(shù)據(jù)上均取得有效提升，也說(shuō)明了 TDS 問(wèn)題在各類(lèi)推薦系統(tǒng)中廣泛存在。

另外，IRM 類(lèi)方法例如 IRM、V-REx、RVP 等效果均低于在數(shù)據(jù)上增量訓(xùn)練的 ERM（模擬現(xiàn)實(shí)推薦場(chǎng)景的天級(jí)更新）。說(shuō)明 TDS 問(wèn)題不是傳統(tǒng)的 IRM 問(wèn)題，需要有新的解決方案。

因?yàn)樗蟹椒ǘ际前凑諘r(shí)間順序，在數(shù)據(jù)的一個(gè)一個(gè) partition 上增量訓(xùn)練的，我們用“前一天”的 checkpoint 去預(yù)測(cè)“下一天”的位置樣本，將曲線(xiàn)畫(huà)了出來(lái)：

我們可以看到，ERM、自監(jiān)督、以及 ELBO_TDS 都是隨著時(shí)間訓(xùn)練，表現(xiàn)越來(lái)越好；但 IRM 類(lèi)方法基本都是越訓(xùn)練越差。

這是因?yàn)?IRM 類(lèi)方法假設(shè)數(shù)據(jù)集的不同 partition 之間存在絕對(duì)不變的“內(nèi)核”，試圖用某種 regularization + 對(duì)其它 partition 數(shù)據(jù)的重復(fù)訪(fǎng)問(wèn)，來(lái)學(xué)到這個(gè)“絕對(duì)不變”的隱變量。然而，這個(gè)假設(shè)并不適用于搜推廣的情形。從理論上，TDS 不是單純的 covariant shift 的問(wèn)題，TDS 不假設(shè)穩(wěn)定因子 S 絕對(duì)不變。從經(jīng)驗(yàn)分析上，論文的數(shù)據(jù)分析也表明，除了劇烈波動(dòng)的 V 因子，S 因子也在隨著時(shí)間漂移，只是相對(duì)來(lái)說(shuō)非常緩慢。

針對(duì) covariant shift 的 IRM 類(lèi)方法失效的原因，一方面是“不允許”用戶(hù)偏好遷移，這與任務(wù)目標(biāo)違背；另一方面是參考了“歷史”數(shù)據(jù) partition，觸發(fā)了搜推廣常見(jiàn)的 one-epoch 過(guò)擬合問(wèn)題。

ELBO_TDS 的另一個(gè)優(yōu)勢(shì)在于，對(duì)大促來(lái)帶的劇烈數(shù)據(jù)分布地震不敏感：

Baseline，即線(xiàn)上的 ERM 方法，在大促前后，即便切換到了小時(shí)級(jí)別更新，進(jìn)行快速的分布 adaption，依然在大促前夜、大促后夜的時(shí)間區(qū)間出現(xiàn)了 auc 斷崖下跌，會(huì)對(duì)大促前幾個(gè)小時(shí)的收入造成損失。而 ELBO_TDS 效果幾乎無(wú)損。最終，在兩周實(shí)驗(yàn)期間，ELBO_TDS 取得了 2.33% 的 GMV/user 的收益推全。

論文原文及開(kāi)源代碼鏈接：

arxiv 論文 ELBO_TDS（https://arxiv.org/pdf/2511.21032）

huggingface（https://huggingface.co/papers/2511.21032）

GitHub 開(kāi)源代碼（https://github.com/FuCongResearchSquad/ELBO4TDS）