就現(xiàn)在，GitHub已經(jīng)能完整看到馬斯克開源的推薦算法系統(tǒng)了。

開源文件里明確表示，這是一個(gè)幾乎完全由AI模型驅(qū)動(dòng)的算法系統(tǒng)。

• 我們移除了所有人工設(shè)計(jì)特征和絕大多數(shù)啟發(fā)式規(guī)則。

消息一出，整個(gè)社區(qū)立刻沸騰了，最高贊上去就是一頓猛夸：

• incredible！沒有其他平臺(tái)能做到如此透明。

馬斯克本人也火速轉(zhuǎn)發(fā)了工程團(tuán)隊(duì)原帖，不過一向言辭高調(diào)的老馬，此番卻低調(diào)表示：

• 我們知道這個(gè)算法很蠢（dumb），需要大幅改進(jìn)，但至少您可以實(shí)時(shí)、透明地看到我們?yōu)楦倪M(jìn)它而努力。
• 其他社交媒體公司都沒有這樣做。

早在2022年收購（原Twitter）之前，馬斯克就多次批評(píng)該平臺(tái)過于封閉。

自收購之后，他也兌現(xiàn)承諾多次公開Twitter核心推薦算法，這一次也算是不忘初心了。

原來純AI驅(qū)動(dòng)的推薦系統(tǒng)，是這樣運(yùn)作的！

話不多說，咱這就扒一扒整套系統(tǒng)的運(yùn)作機(jī)制。

一句話概括這個(gè)系統(tǒng)即為：

基于Grok-1同款Transformer架構(gòu)打造，能通過學(xué)習(xí)你的歷史互動(dòng)行為（點(diǎn)贊/回復(fù)/轉(zhuǎn)發(fā)過什么），來決定給你推薦什么內(nèi)容。

從用戶打開“For You”開始，客戶端會(huì)向服務(wù)器發(fā)送一個(gè)請(qǐng)求，觸發(fā)整個(gè)算法流程。

然后系統(tǒng)會(huì)先做一件事——搞清楚你是誰、你最近在干什么、你平時(shí)對(duì)什么內(nèi)容有反應(yīng)。

為實(shí)現(xiàn)這一目的，系統(tǒng)會(huì)拉取兩類用戶信息：

• 行為序列（Action Sequence）：一類代表最直接、最強(qiáng)烈的興趣信號(hào)，比如最近點(diǎn)贊、回復(fù)、轉(zhuǎn)發(fā)、點(diǎn)進(jìn)、停留過什么。
• 屬性（Features）：另一類代表長期屬性，比如關(guān)注列表、聲明的興趣主題、地理位置、使用設(shè)備等。

這一步的目標(biāo)并不是人工構(gòu)造特征，而是盡可能真實(shí)地構(gòu)建“實(shí)時(shí)用戶畫像”——

以前工程師可能會(huì)假設(shè)“某些屬性很重要”，然后手動(dòng)編寫規(guī)則或公式去計(jì)算一個(gè)“用戶興趣得分”。

但這本質(zhì)上是工程師的猜想，而非用戶真實(shí)狀態(tài)的反映。

于是馬斯克的這套算法就決定不做任何預(yù)設(shè)假設(shè)，而是盡可能多地、原始地收集用戶最真實(shí)的行為反應(yīng)，然后將這堆數(shù)據(jù)直接喂給后續(xù)的模型，從而讓模型自己去從原始數(shù)據(jù)中學(xué)習(xí)和發(fā)現(xiàn)規(guī)律。（即“去人工化”和“端到端”）

而拿到實(shí)時(shí)用戶畫像后，系統(tǒng)會(huì)接著兵分兩路，從整個(gè)平臺(tái)的海量推文中快速篩選出幾千條“可能相關(guān)”的推文。

一條是通過熟人圈。即從Thunder模塊，直接抓取你關(guān)注的所有人的最新推文。

另一條是通過外部。利用Phoenix Retrieval這一核心檢索模塊，抓取那些你可能感興趣、但來自未關(guān)注賬號(hào)的推文。

以上兩類來源不同的信息，會(huì)在后續(xù)階段被統(tǒng)一對(duì)待。

需要提醒，此時(shí)篩選出來的還只是推文ID。

于是系統(tǒng)會(huì)通過Hydration模塊，補(bǔ)全每條候選推文的信息，包括推文全文、作者詳情、圖片/視頻、歷史互動(dòng)數(shù)據(jù)等，以便后續(xù)深度評(píng)估。

而且在正式開始計(jì)算前，還會(huì)進(jìn)一步通過Filtering模塊淘汰那些明顯不要的內(nèi)容，例如：

• 重復(fù)或過期的帖子
• 用戶自己發(fā)布的內(nèi)容
• 來自拉黑或靜音賬號(hào)的帖子
• 包含用戶屏蔽關(guān)鍵詞的內(nèi)容
• 已經(jīng)看過或在當(dāng)前會(huì)話中展示過的帖子
• 用戶無權(quán)限訪問的訂閱內(nèi)容

記住，這一步只做一件事：回答某條內(nèi)容“能不能出現(xiàn)，而不是值不值得推薦”。

鋪墊到這里，最終剩下來的內(nèi)容會(huì)被逐條送入Phoenix排序模型進(jìn)行打分。

這個(gè)模型是一個(gè)基于Transformer的模型，它會(huì)同時(shí)接收：

• 用戶的行為序列與屬性信息
• 單條候選帖子的內(nèi)容與作者信息

然后模型會(huì)預(yù)測(cè)用戶對(duì)某條推文執(zhí)行各種操作的概率，并將各種概率按照預(yù)設(shè)權(quán)重進(jìn)行加權(quán)組合（如點(diǎn)贊類正向行為加分、拉黑類負(fù)向行為減分），并形成最終排序分?jǐn)?shù)。

基于此，系統(tǒng)還會(huì)進(jìn)行少量工程層面的調(diào)節(jié)——

比如控制作者多樣性，避免單一賬號(hào)在信息流中占據(jù)過高比例（防止某一大V刷屏）。

這里也需要提醒，為了保證送入的每條帖子都是獨(dú)立評(píng)分的，所以系統(tǒng)還特意設(shè)置了“不允許候選帖子相互看見”（推文之間沒有交叉注意力機(jī)制）。

所有候選帖子按最終得分排序，系統(tǒng)從中選出Top-K條帖子，作為本次請(qǐng)求的推薦結(jié)果。

而且在返回客戶端之前，系統(tǒng)還會(huì)進(jìn)行最后一輪校驗(yàn)，確保內(nèi)容符合平臺(tái)安全規(guī)范——

例如，移除任何已刪除、被標(biāo)記為垃圾信息或包含暴力血腥等違規(guī)內(nèi)容的推文。

最終，經(jīng)歷重重篩選后的信息會(huì)根據(jù)分?jǐn)?shù)高低，依次展示給客戶端用戶。

總結(jié)下來，這套系統(tǒng)能夠成功運(yùn)轉(zhuǎn)的五大關(guān)鍵在于（官方劃重點(diǎn)版）：

（1）純數(shù)據(jù)驅(qū)動(dòng)，拒絕人工規(guī)則。

徹底摒棄人工定義“什么內(nèi)容算好”的復(fù)雜規(guī)則，改由AI模型直接從原始用戶數(shù)據(jù)中學(xué)習(xí)。

（2）采用候選隔離機(jī)制，獨(dú)立評(píng)分。

AI模型在給內(nèi)容打分時(shí)，每條內(nèi)容“看不見”其他候選內(nèi)容，只能看到用戶信息。這確保了每條帖子的分?jǐn)?shù)不會(huì)因?yàn)橥纹渌佣兓?，分?jǐn)?shù)一致且可高效緩存復(fù)用。

（3）哈希嵌入，實(shí)現(xiàn)高效檢索。

檢索和排序都使用多個(gè)哈希函數(shù)進(jìn)行向量嵌入查找，提高效率。

（4）預(yù)測(cè)多元行為，而非單一分?jǐn)?shù)。

AI模型不直接輸出一個(gè)模糊的“推薦值”，而是對(duì)多種用戶行為同時(shí)預(yù)測(cè)。

（5）模塊化流水線，支撐快速迭代。

整個(gè)推薦系統(tǒng)采用模塊化設(shè)計(jì)，各個(gè)組件可以獨(dú)立開發(fā)、測(cè)試、替換。

“是的，這算法太爛了”

不過，雖然眾人對(duì)老馬開源的姿態(tài)表達(dá)了贊賞，但奈何這套算法還是有一些“缺陷”。

有網(wǎng)友就在推薦算法開源后吐槽道：

• 由于API訪問受限且成本高昂，現(xiàn)在屏蔽列表的做法已經(jīng)很少見了，但以前這種做法非常普遍。
• 算法必須讓較舊的屏蔽列表隨著時(shí)間推移而逐漸消失，這樣這些較舊的屏蔽列表就不會(huì)再被惡意利用。

言下之意是，算法代碼顯示“被大量用戶屏蔽”是一個(gè)強(qiáng)負(fù)面信號(hào)，會(huì)直接導(dǎo)致賬號(hào)被“降權(quán)”，即內(nèi)容更難獲得推薦，但代碼中沒有明確看到針對(duì)“屏蔽”信號(hào)的時(shí)間衰減機(jī)制。

這意味著，歷史上的屏蔽記錄可能至今仍在影響賬號(hào)的推薦分?jǐn)?shù)。

此番言論也引得馬斯克本人現(xiàn)身評(píng)論區(qū)吐槽：

• 是的，這算法太爛了。

但不管怎樣，老馬想要改變的態(tài)度已經(jīng)明確——

不僅過去開源、現(xiàn)在開源，而且接下來還會(huì)持續(xù)開源，未來每4周將重復(fù)一次開源更新。

開源倉庫：
https://github.com/xai-org/x-algorithm