整理 | 屠敏

出品 | CSDN（ID：CSDNnews）

“我們將在 7 天內(nèi)把 X 平臺(tái)最新的內(nèi)容推薦算法開源?！?/p>

幾天前，X 平臺(tái)掌舵者埃隆·馬斯克拋出的這句話，著實(shí)讓不少人愣了一下。畢竟這意味著，外界將第一次有機(jī)會(huì)系統(tǒng)性地了解：X 到底是如何決定向用戶推薦哪些自然內(nèi)容、哪些廣告內(nèi)容的。

彼時(shí)話一說出口，很多人翹首以盼，也在 X 上每天“蹲守”，等著看馬斯克會(huì)不會(huì)“爽約”。

讓人有些興奮的是，X 平臺(tái)工程團(tuán)隊(duì)的 Engineering 官方賬號(hào)于今天給出了答案。他們重磅宣布，正式開源新的 X 推薦算法——該算法采用了與 xAI 的 Grok 模型相同的 Transformer 架構(gòu)。

與此同時(shí)，相關(guān)的 GitHub 倉庫也一并公開：https://github.com/xai-org/x-algorithm ，上線六小時(shí)便已經(jīng)獲得了 1.6k 個(gè) Star。

這并不是一次象征性的“放點(diǎn)代碼看看”。對(duì)于外界討論了多年的那個(gè)問題——“X 的推薦系統(tǒng)到底是怎么運(yùn)作的”，這一次，終于有了可以直接翻源碼的對(duì)象。

從“放話”到“交卷”：馬斯克為什么非要開源算法？

要聊這次開源，得先搞懂馬斯克的“執(zhí)念”。

在社交平臺(tái)領(lǐng)域，推薦算法向來是各家的“核心機(jī)密”：用戶刷到的每條動(dòng)態(tài)、每個(gè)廣告，背后都是算法根據(jù)用戶行為、內(nèi)容標(biāo)簽、商業(yè)訴求等維度計(jì)算的結(jié)果。此前，無論是 Facebook、Instagram 還是其他社交平臺(tái)，算法都被牢牢鎖在“黑箱”里，外界只能靠逆向工程猜測邏輯，平臺(tái)正常也不會(huì)主動(dòng)交底。

但馬斯克偏不。接手 X 平臺(tái)前后，他不止一次吐槽過“算法不透明”的問題。于是，其勢(shì)要打造一個(gè)「自由廣場」。

這次立“開源的 Flag”，與其說是一時(shí)興起，不如說是他對(duì) X 平臺(tái)改造的關(guān)鍵一步：一方面，通過開源讓全球開發(fā)者、用戶監(jiān)督算法邏輯，減少“算法偏見”、“流量操縱”的質(zhì)疑，也應(yīng)對(duì)監(jiān)管；另一方面，借助社區(qū)的力量優(yōu)化算法——畢竟全球程序員的智慧，遠(yuǎn)比內(nèi)部團(tuán)隊(duì)“閉門造車”來得高效，借此可以鞏固 X 生態(tài)護(hù)城河。

當(dāng)然，這只是第一步。馬斯克此前還表示，“后續(xù)將每四周更新一次代碼，同時(shí)附帶開發(fā)者說明，標(biāo)注算法和邏輯上的改動(dòng)內(nèi)容。”

這種“持續(xù)開源+透明更新”的模式，在社交平臺(tái)領(lǐng)域幾乎是前所未有的嘗試。那么，這次他們到底開源了什么，我們接下來再一探究竟。

GitHub 開箱：X 的推薦算法，到底長什么樣？

打開https://github.com/xai-org/x-algorithm 這個(gè)倉庫，我們首先看到這次 X 平臺(tái)開源的是「For You（為你推薦）」信息流的核心推薦系統(tǒng)。

據(jù) X 工程團(tuán)隊(duì)介紹，「For You」信息流的內(nèi)容主要來自兩大來源：

• 一是站內(nèi)內(nèi)容（Thunder 模塊），即用戶關(guān)注賬號(hào)發(fā)布的帖子；

• 二是站外內(nèi)容（Phoenix 召回模塊），也就是從全網(wǎng)內(nèi)容庫中篩選出的帖子。

兩類內(nèi)容整合后，會(huì)交由 Phoenix 模型（基于 Grok Transformer 模型，Transformer 實(shí)現(xiàn)移植自 xAI 開源的 Grok-1，并針對(duì)推薦系統(tǒng)的具體使用場景進(jìn)行了適配和調(diào)整）分析——該模型會(huì)通過用戶的點(diǎn)贊、回復(fù)、轉(zhuǎn)發(fā)等互動(dòng)歷史，預(yù)測用戶對(duì)每篇帖子的各類互動(dòng)概率，最終的內(nèi)容得分便是這些概率的加權(quán)組合。

X 工程團(tuán)隊(duì)還透露，該系統(tǒng)已剔除所有手工設(shè)計(jì)的特征及絕大部分啟發(fā)式規(guī)則，核心計(jì)算工作完全由這款 Grok Transformer 模型承擔(dān)，其核心邏輯就是通過分析用戶互動(dòng)歷史，判斷內(nèi)容與用戶的相關(guān)性。

系統(tǒng)架構(gòu)如下所示：

Rust 語言為主，Python 為輔，「For You」推薦系統(tǒng)大揭秘

從技術(shù)棧維度來看，這一倉庫主要使用了 Rust 和 Python 兩種編程語言。項(xiàng)目遵循了Apache License 2.0 開源許可。

該倉庫的代碼文件按功能模塊劃分，核心模塊分工明確：

• phoenix/：包含 Grok 模型適配、推薦系統(tǒng)模型（recsys_model.py）、召回模型（recsys_retrieval_model.py）等核心代碼，以及模型運(yùn)行、測試腳本；

• home-mixer/：以 Rust 語言開發(fā)，是推薦系統(tǒng)的 “編排層”，包含候選內(nèi)容補(bǔ)全、查詢數(shù)據(jù)補(bǔ)全、打分器、過濾器等核心邏輯；

• thunder/：基于 Rust 開發(fā)，負(fù)責(zé)處理 “站內(nèi)內(nèi)容”（關(guān)注賬號(hào)帖子）的檢索、反序列化、Kafka 消息處理等；

• candidate-pipeline/：候選內(nèi)容流水線相關(guān)邏輯，是連接內(nèi)容源與后續(xù)處理的關(guān)鍵環(huán)節(jié)。

該推薦系統(tǒng)的工作原理、核心執(zhí)行流程有清晰的邏輯鏈路——從響應(yīng)用戶的信息流請(qǐng)求開始，算法會(huì)通過七個(gè)核心階段完成內(nèi)容篩選與推送，每一步都圍繞 “精準(zhǔn)匹配用戶興趣”展開，同時(shí)規(guī)避重復(fù)、低質(zhì)或用戶反感的內(nèi)容。

• 第一步：調(diào)取用戶核心數(shù)據(jù)

算法啟動(dòng)的首要環(huán)節(jié)是“用戶數(shù)據(jù)補(bǔ)全”：系統(tǒng)會(huì)先抓取用戶近期的互動(dòng)記錄，比如點(diǎn)贊、回復(fù)、轉(zhuǎn)發(fā)、點(diǎn)擊等行為，同時(shí)調(diào)取關(guān)注列表、賬號(hào)偏好設(shè)置等基礎(chǔ)元數(shù)據(jù)，這些信息是后續(xù)推薦的核心依據(jù)，相當(dāng)于為算法搭建起“用戶畫像” 的基礎(chǔ)框架。

• 第二步：抓取兩類候選內(nèi)容

基于用戶數(shù)據(jù)，算法會(huì)從上述提到的兩大渠道檢索候選內(nèi)容：

一類是“站內(nèi)內(nèi)容”，由 Thunder 模塊負(fù)責(zé)，來源是用戶已關(guān)注賬號(hào)發(fā)布的近期帖子，也是用戶日常刷到的核心內(nèi)容之一；

另一類是“站外內(nèi)容”，由 Phoenix 召回模塊通過機(jī)器學(xué)習(xí)技術(shù)，從全網(wǎng)內(nèi)容庫中挖掘出的、用戶未關(guān)注但可能感興趣的帖子，這也是系統(tǒng)“推薦陌生內(nèi)容”的核心來源。

• 第三步：補(bǔ)全內(nèi)容完整信息

為了讓后續(xù)打分更精準(zhǔn)，算法會(huì)對(duì)所有候選內(nèi)容做“信息補(bǔ)全”，譬如補(bǔ)充帖子的文本、圖片/視頻等核心素材，作者的用戶名、認(rèn)證狀態(tài)，視頻類帖子的時(shí)長，以及內(nèi)容對(duì)應(yīng)的訂閱權(quán)限等關(guān)鍵信息，確保每一條候選內(nèi)容的信息維度完整。

• 第四步：打分前先過濾無效內(nèi)容

在進(jìn)入核心打分環(huán)節(jié)前，算法會(huì)執(zhí)行“前置過濾”，直接剔除不符合要求的內(nèi)容，包括重復(fù)帖子、超期的過期內(nèi)容、用戶本人發(fā)布的帖子，以及來自已屏蔽/靜音賬號(hào)、包含用戶靜音關(guān)鍵詞的內(nèi)容。

此外，用戶已經(jīng)查看過、近期剛推送過的內(nèi)容，或是無權(quán)限訪問的付費(fèi)內(nèi)容，也會(huì)在這一步被篩除，避免低質(zhì)內(nèi)容占用后續(xù)計(jì)算資源。

• 第五步：多維度打分并排序

過濾后的內(nèi)容會(huì)進(jìn)入核心打分環(huán)節(jié)（Scoring），系統(tǒng)會(huì)依次調(diào)用四款打分器計(jì)算“適配得分”：

• 首先是 Phoenix 打分器，從基于 Grok 的 Transformer 模型中獲取機(jī)器學(xué)習(xí)預(yù)測結(jié)果；

• 接著加權(quán)打分器將這些預(yù)測結(jié)果整合為最終的相關(guān)性得分；

• 作者多樣性打分器會(huì)刻意降低重復(fù)作者內(nèi)容的得分，保證信息流的內(nèi)容多樣性；

• 站外內(nèi)容打分器（OON Scorer）則針對(duì)性調(diào)整全網(wǎng)挖掘內(nèi)容的得分，平衡站內(nèi)與站外內(nèi)容的展示比例。

• 第六步：篩選

最終算法會(huì)按得分高低對(duì)所有內(nèi)容排序，選取排名前 K 的候選內(nèi)容進(jìn)入最后環(huán)節(jié)。

• 第七步：最終驗(yàn)證后推送

即便內(nèi)容得分靠前，也需經(jīng)過“篩選后處理”的最終驗(yàn)證：系統(tǒng)會(huì)對(duì)候選內(nèi)容做最后一輪合規(guī)性、有效性校驗(yàn)，確認(rèn)無誤后才會(huì)正式推送到用戶的信息流中，這也是內(nèi)容呈現(xiàn)給用戶前的最后一道把關(guān)。

在算法底層設(shè)計(jì)上，X 平臺(tái)的推薦系統(tǒng)有五大核心決策，這些設(shè)計(jì)也成為其區(qū)別于傳統(tǒng)推薦算法的關(guān)鍵：

1. 該系統(tǒng)完全摒棄了手工設(shè)計(jì)的特征，核心依賴基于 Grok 的 Transformer 模型，從用戶的互動(dòng)行為序列中自主學(xué)習(xí)內(nèi)容與用戶的相關(guān)性，不再靠人工設(shè)定內(nèi)容相關(guān)性特征，這一設(shè)計(jì)大幅降低了數(shù)據(jù)處理流水線和推送基礎(chǔ)設(shè)施的復(fù)雜度；

2. 在排序環(huán)節(jié)，模型對(duì)候選內(nèi)容采取“隔離計(jì)算”的方式，推理過程中候選內(nèi)容之間不會(huì)相互影響，僅圍繞用戶上下文進(jìn)行打分，確保單篇帖子的得分不受同批次其他內(nèi)容干擾，讓得分結(jié)果更穩(wěn)定且可緩存；

3. 召回和排序兩大核心環(huán)節(jié)均采用多個(gè)哈希函數(shù)實(shí)現(xiàn)嵌入向量的查找，提升了算法運(yùn)行效率；

4. 不同于傳統(tǒng)模型僅預(yù)測單一的“相關(guān)性”得分，該模型會(huì)同時(shí)預(yù)測用戶對(duì)內(nèi)容的多種行為概率，讓打分維度更全面；

5. 此外，系統(tǒng)基于 candidate-pipeline 框架搭建了可組合的流水線架構(gòu)，不僅實(shí)現(xiàn)了流水線執(zhí)行、監(jiān)控邏輯與業(yè)務(wù)邏輯的分離，支持獨(dú)立環(huán)節(jié)并行執(zhí)行和優(yōu)雅的錯(cuò)誤處理，還能便捷地新增內(nèi)容來源、數(shù)據(jù)補(bǔ)全規(guī)則、過濾器及打分器，讓算法具備高度的靈活性和可拓展性。

馬斯克：“其他社交媒體公司都沒有這樣做”

此次開源之際，馬斯克直言：“我們知道這個(gè)算法很笨拙，需要大幅改進(jìn)，但至少你可以實(shí)時(shí)、透明地看到我們努力改進(jìn)它的過程?！?/p>

他同時(shí)強(qiáng)調(diào)，“其他社交媒體公司都沒有這樣做。”

對(duì)于 X 開源的舉措，也引發(fā)了不少的熱議。

于普通開發(fā)者來說，此次開源的價(jià)值遠(yuǎn)超“看代碼”本身，好處無疑是明顯的，正如網(wǎng)友 AbundanceVsWar 評(píng)論道：

「之所以重要，是因?yàn)楫?dāng)分配注意力的系統(tǒng)不透明時(shí)，豐富性是不可能出現(xiàn)的。

當(dāng)人們不了解影響力是如何分布的，注意力就會(huì)顯得零和、被操控、充滿政治性。僅這種認(rèn)知本身，就會(huì)引發(fā)沖突。而將推薦算法開源，則把注意力從一個(gè)神秘資源變成了一個(gè)可理解的系統(tǒng)。而可理解性，會(huì)改變?nèi)藗兊男袨椤?/strong>

確實(shí)，一開始透明度會(huì)讓“玩法”更容易被利用。但這并不是缺陷，而是一個(gè)階段。封閉系統(tǒng)會(huì)凍結(jié)權(quán)力，而開放系統(tǒng)會(huì)暴露漏洞、適應(yīng)變化并不斷改進(jìn)。隨著時(shí)間推移，系統(tǒng)的平衡會(huì)從憤怒和部落化轉(zhuǎn)向優(yōu)化和貢獻(xiàn)。

這就是減少人工稀缺的方式。方法不是去道德化內(nèi)容，而是讓規(guī)則可見，從而讓價(jià)值可以擴(kuò)展，而不是讓注意力成為爭奪的對(duì)象?！?/p>

不過也有用戶擔(dān)憂開源以后，現(xiàn)在更容易作弊，優(yōu)質(zhì)內(nèi)容瀏覽量很快就會(huì)爆炸式增長。

整體而言，馬斯克的這波操作，也讓人開始猜測，其他平臺(tái)是否會(huì)跟風(fēng)開源算法嗎？其實(shí)如果 X 平臺(tái)的“開源+透明更新”模式被證明有效，可能會(huì)倒逼其他平臺(tái)做出改變。畢竟用戶對(duì)算法透明的需求只會(huì)越來越高，誰先滿足這個(gè)需求，誰就能占據(jù)用戶心智的優(yōu)勢(shì)。

至于馬斯克的“第一步”之后，還會(huì)有多少驚喜？我們不妨拭目以待。

參考：

https://x.com/XEng/status/2013471689087086804

https://github.com/xai-org/x-algorithm