新智元報道

編輯：LRST

【新智元導(dǎo)讀】支撐Facebook Ads、Instagram Ads、Reels Ads等萬億級推薦系統(tǒng)的技術(shù)底座，正在經(jīng)歷一場由AI智能體驅(qū)動的自我重構(gòu)。面對指數(shù)級增長的算力需求與自研芯片MTIA的大規(guī)模部署，傳統(tǒng)的工程師調(diào)優(yōu)模式已觸及極限。Meta最新論文揭示了背后的秘密：一種基于樹狀思維鏈搜索的智能體框架，正在以「無人駕駛」的方式，在復(fù)雜的異構(gòu)硬件上暴力重寫Meta廣告系統(tǒng)的底層內(nèi)核。該論文揭示了如何用自動化代碼生成， 將NVIDIA GPU， AMD和Meta Training and Inference Accelerator (MTIA)內(nèi)核開發(fā)時間從數(shù)周壓縮到數(shù)小時， 并在生產(chǎn)環(huán)境中實(shí)現(xiàn)最高17倍的性能提升。

在Meta的廣告推薦業(yè)務(wù)中,深度學(xué)習(xí)推薦模型(DLRM)是支撐數(shù)十億用戶日常體驗(yàn)的核心技術(shù)。

然而， 隨著業(yè)務(wù)規(guī)模的急劇擴(kuò)張， 一個被稱為「維度詛咒」的系統(tǒng)性難題正在成為制約發(fā)展的瓶頸。

這個難題由三個維度構(gòu)成:

1. 模型架構(gòu)的多樣性:從傳統(tǒng)的檢索模型、粗排、精排模型，到基于Transformer的序列模型和生成式推薦模型，每種架構(gòu)對計算的需求截然不同。

2. 算子原語的多樣性:除了傳統(tǒng)的矩陣乘法(GEMM)等密集計算算子， 推薦系統(tǒng)還依賴超過200種數(shù)據(jù)預(yù)處理算子包括特征提取、歸一化、去重、掩碼等操作。這些看似簡單的算子， 在大規(guī)模部署中卻至關(guān)重要。

3. 硬件異構(gòu)性:Meta的基礎(chǔ)設(shè)施橫跨多代NVIDIA GPU、AMD GPU， 以及自研的MTIA v1-v3加速器。每種硬件都有獨(dú)特的內(nèi)存層次、編程模型和架構(gòu)特性， 代碼無法直接移植。

圖 1 展示了Meta自研的MTIA芯片。從宏觀的數(shù)據(jù)中心布局到機(jī)架部署，再到微觀的電路連接與芯片核心，多維度呈現(xiàn)了MTIA在提升AI負(fù)載性能與能效方面的先進(jìn)設(shè)計。

圖 2 展示了MTIA 2i架構(gòu)詳情。其核心為8×8的處理單元（PE）陣列，通過片上網(wǎng)絡(luò)互聯(lián)。每個PE集成了雙RISC-V內(nèi)核及四大專用硬件引擎：用于數(shù)據(jù)轉(zhuǎn)換的MLU、矩陣運(yùn)算的DPE、聚合計算的RE和向量處理的SIMD，并由命令處理器（CP）統(tǒng)一調(diào)度。

這三個維度相乘， 產(chǎn)生了數(shù)千種「模型-算子-硬件」的組合。

傳統(tǒng)的手工優(yōu)化方式下，一個經(jīng)驗(yàn)豐富的內(nèi)核工程師需要數(shù)周時間才能為單個組合完成高性能實(shí)現(xiàn)。這種開發(fā)模式在面對快速迭代的業(yè)務(wù)需求時， 已經(jīng)難以為繼。

面對這一挑戰(zhàn)，Meta提出了一個基于智能體的內(nèi)核代碼生成框架KernelEvolve， 將內(nèi)核優(yōu)化過程重新定義為一個圖搜索與進(jìn)化的過程。

論文鏈接: https://arxiv.org/abs/2512.23236

KernelEvolve的設(shè)計靈感來自進(jìn)化算法， 將內(nèi)核優(yōu)化建模為一個經(jīng)典的搜索問題， 包含四個核心組件:

• 選擇策略(Selection Policy):基于Upper Confidence Bound (UCB) 的樹搜索算法， 智能地選擇最有希望的優(yōu)化方向。系統(tǒng)會根據(jù)歷史執(zhí)行結(jié)果動態(tài)調(diào)整探索與利用的平衡。

• 通用算子(Universal Operator):這是KernelEvolve的創(chuàng)新之處。不同于傳統(tǒng)系統(tǒng)使用多個靜態(tài)提示模板， KernelEvolve 采用單一的、動態(tài)適應(yīng)的轉(zhuǎn)換函數(shù)。該函數(shù)基于運(yùn)行時上下文包括性能分析結(jié)果、錯誤信息、硬件約束和歷史優(yōu)化記錄， 通過檢索增強(qiáng)的方式動態(tài)合成提示， 使得大語言模型能夠?qū)φ_性、性能和架構(gòu)權(quán)衡進(jìn)行整體推理。

• 適應(yīng)度函數(shù)(Fitness Function):綜合評估內(nèi)核的正確性和性能。系統(tǒng)不僅驗(yàn)證數(shù)值精度，還通過多層次的性能分析工具(從系統(tǒng)級到指令級)全面評估執(zhí)行效率。

• 終止規(guī)則(Termination Rule):當(dāng)計算預(yù)算耗盡、優(yōu)化進(jìn)展停滯或達(dá)到性能閾值時，搜索過程自動終止。

這一突破性進(jìn)展不僅震撼了硬件圈，更引起了全球AI權(quán)威觀察家的震動。

Anthropic聯(lián)合創(chuàng)始人Jack Clark在其影響深遠(yuǎn)的周刊《Import AI》（第 439 期）中，將KernelEvolve放在了頭條位置進(jìn)行深度剖析，他高度評價Meta正利用GPT、Claude和Llama/CWM等模型混合驅(qū)動來實(shí)現(xiàn)「萬億級基礎(chǔ)設(shè)施的自動化」，并斷言這預(yù)示著「LLM 智能體將成為異構(gòu)AI系統(tǒng)的通用編譯層」，開啟了軟件工程范式的深刻變革。

文章鏈接：https://jack-clark.net/2026/01/05/import-ai-439-ai-kernels-decentralized-training-and-universal-representations/

多層次抽象與硬件適配

KernelEvolve的一個關(guān)鍵優(yōu)勢是其對多層次編程抽象的支持， 從高級 DSL 到底層硬件指令，覆蓋了完整的軟硬件優(yōu)化棧:

• TritonDSL: 用于快速原型和跨平臺開發(fā)

• CuTeDSL: 針對NVIDIA GPU的深度優(yōu)化

• 硬件診斷語言: 針對MTIA等專有加速器的底層優(yōu)化

圖 3 展示了Triton多目標(biāo)編譯架構(gòu)。源代碼通過MLIR進(jìn)行逐層降級：從平臺無關(guān)的Triton-MLIR，到針對特定硬件（GPU/AMDGPU/MTIA）的方言，最終生成支持NVIDIA (PTX)、AMD (AMDGCN) 以及MTIA (RISC-V)平臺的原生二進(jìn)制文件。

這種多層次設(shè)計使得KernelEvolve能夠?yàn)槊總�硬件平臺選擇最合適的抽象層次。

更重要的是，系統(tǒng)集成了一個持久化的知識庫，編碼了各種硬件的特定約束和優(yōu)化經(jīng)驗(yàn)。這使得即使對于大語言模型訓(xùn)練語料中不存在的專有加速器，系統(tǒng)也能生成有效的內(nèi)核代碼。

智能體架構(gòu)與自我改進(jìn)

KernelEvolve采用了復(fù)雜的智能體系統(tǒng)架構(gòu)， 包含多個專門化的子智能體:

• 上下文記憶子智能體:分析動態(tài)運(yùn)行時信息(內(nèi)核實(shí)現(xiàn)、性能測量、錯誤診斷)， 診斷性能瓶頸并合成優(yōu)化指令。

• 深度搜索子智能體:當(dāng)遇到復(fù)雜優(yōu)化場景時， 執(zhí)行更深入的搜索和分析。

• 硬件解釋器:為NVIDIA、AMD和MTIA平臺提供專門的執(zhí)行環(huán)境，確保代碼在真實(shí)硬件上的準(zhǔn)確評估。

• LLM合成器:生成動態(tài)提示，可以對接外部模型(Claude 4.5、GPT-5) 或Meta內(nèi)部的Code World Model(CWM)模型。

系統(tǒng)還維護(hù)了一個完整的元數(shù)據(jù)存儲，記錄搜索樹中每個節(jié)點(diǎn)的執(zhí)行分?jǐn)?shù)和父子關(guān)系，支持持續(xù)學(xué)習(xí)和優(yōu)化策略的迭代改進(jìn)。

圖4 展示了KernelEvolve的系統(tǒng)架構(gòu)（上）與執(zhí)行工作流（下）。該系統(tǒng)通過具備「自進(jìn)化」能力的樹搜索（Tree Search）狀態(tài)機(jī)，協(xié)同子智能體、評估工具及AI硬件解釋器（MTIA/GPU/AMD），利用Claude 4.5、GPT-5或Meta內(nèi)部CWM等大模型后端動態(tài)生成Triton內(nèi)核候選方案，并通過持久化知識庫與元數(shù)據(jù)存儲，實(shí)現(xiàn)內(nèi)核優(yōu)化的閉環(huán)探索與性能壓榨。

閉環(huán)進(jìn)化

端到端評估流水線

如果說Tree Search是KernelEvolve的「大腦」，那么端到端評估流水線就是它的「神經(jīng)反射弧」。

Meta并沒有簡單地將代碼扔給編譯器，而是構(gòu)建了一套極其嚴(yán)密的自動化驗(yàn)證與性能反饋閉環(huán)。KernelEvolve 的完整工作流程體現(xiàn)了其工程化的嚴(yán)謹(jǐn)性。整個系統(tǒng)分為三個主要模塊，形成一個閉環(huán)的優(yōu)化過程:

左側(cè): 樹搜索引擎

這是整個系統(tǒng)的「大腦」， 維護(hù)著一棵動態(tài)演進(jìn)的搜索樹。樹的每個節(jié)點(diǎn)代表一個內(nèi)核候選方案，包含PyTorch基線實(shí)現(xiàn)和Triton優(yōu)化版本的雙重實(shí)現(xiàn)。

系統(tǒng)通過在多組相同輸入下對比兩者的輸出結(jié)果，確保AI生成的內(nèi)核在數(shù)學(xué)邏輯上與原生代碼100%一致，從根源上解決了大模型生成代碼可能帶來的準(zhǔn)確性風(fēng)險。搜索引擎通過UCB策略在樹中游走， 不斷探索新的優(yōu)化路徑。當(dāng)需要生成新的候選方案時， 系統(tǒng)會調(diào)用非LLM靜態(tài)代碼生成器， 基于模板快速生成標(biāo)準(zhǔn)化的評估框架代碼。

中間:AI工具鏈代碼生成

這是系統(tǒng)的「創(chuàng)造力來源」，生成的代碼會被送入專門的工具鏈進(jìn)行編譯和性能分析。

值得注意的是， KernelEvolve采用了多層次、多維度的評估策略: TritonBench驗(yàn)證功能正確性， Torch Profiler提供系統(tǒng)級性能視圖， NVIDIA NCU深入到GPU指令級分析， Triton Proton工具測量內(nèi)核內(nèi)部延遲， MTIA Insight則針對 Meta 自研芯片提供專屬診斷。這些性能分析工具產(chǎn)生的反饋會重新輸入搜索引擎， 指導(dǎo)下一輪迭代。

右側(cè)：異構(gòu)AI硬件平臺

這是系統(tǒng)的「試驗(yàn)場」，KernelEvolve為每種硬件平臺配備了專門的解釋器。每個解釋器都能實(shí)時采集硬件特定的性能指標(biāo)，比如GPU顯存吞吐量、L2緩存命中率、計算單元利用率等細(xì)粒度數(shù)據(jù)，甚至還能追蹤到具體的停頓指令。

這些硬件級洞察為LLM提供了寶貴的優(yōu)化線索。

整個流程形成了一個「生成-評估-反饋」的自適應(yīng)循環(huán): 搜索引擎選擇候選節(jié)點(diǎn) → 代碼生成工具鏈產(chǎn)出實(shí)現(xiàn) → 硬件解釋器執(zhí)行并采集性能數(shù)據(jù) → 多維度分析工具提供診斷反饋 → 搜索引擎根據(jù)反饋調(diào)整策略。

這種緊密集成的評估管線， 讓 KernelEvolve 能夠在數(shù)小時內(nèi)完成人類工程師需要數(shù)周才能完成的優(yōu)化探索。

圖5 展示了端到端評估流水線：系統(tǒng)通過樹搜索（Tree Search）生成具備標(biāo)準(zhǔn)雙實(shí)現(xiàn)（PyTorch 基準(zhǔn)與 Triton 優(yōu)化）的候選內(nèi)核，并在專用的硬件解釋器（GPU、AMD、MTIA）上執(zhí)行。利用 TritonBench、NCU、MPP 和 MTIA Insight 等工具收集平臺特定的性能剖析指標(biāo)（Profiling metrics），其反饋結(jié)果將直接指導(dǎo)后續(xù)的搜索迭代。為了實(shí)現(xiàn)跨異構(gòu)加速器的自動化評估，AlphaKernel 基于 Meta 的 Bento 平臺構(gòu)建了集成了完整軟件棧、編譯工具鏈和運(yùn)行時依賴的標(biāo)準(zhǔn)化解釋器環(huán)境。

工業(yè)級驗(yàn)證

從基準(zhǔn)到生產(chǎn)

KernelEvolve的有效性在多個層面得到了驗(yàn)證。

基準(zhǔn)測試表現(xiàn)

在公開的KernelBench測試集上， KernelEvolve 展現(xiàn)了卓越的魯棒性:

• 在三個難度級別的全部250個問題上達(dá)到100%通過率

• 在三個異構(gòu)硬件平臺上測試160個PyTorch ATen算子

• 480個「算子-平臺」配置全部正確，準(zhǔn)確率100%

生產(chǎn)環(huán)境部署

更令人印象深刻的是在Meta真實(shí)生產(chǎn)環(huán)境中的表現(xiàn):

• 性能提升:在多樣化的廣告訓(xùn)練和推理工作負(fù)載中，KernelEvolve生成的內(nèi)核相比PyTorch基線實(shí)現(xiàn)了1.25至17倍的加速。這證明自動化合成的代碼可以超越最先進(jìn)的編譯器生成代碼。

• 開發(fā)效率:將內(nèi)核開發(fā)時間從數(shù)周壓縮到數(shù)小時，極大降低了新模型部署和硬件適配的時間成本。

• 硬件支持:成功為NVIDIA多代GPU、AMD GPU和Meta自研的MTIA v3加速器生成了高質(zhì)量內(nèi)核，顯著降低了新硬件的編程門檻。

圖6 展示了KernelEvolve在異構(gòu)AI硬件上的卓越性能。相比傳統(tǒng)方案，它在卷積 Transformer、數(shù)據(jù)預(yù)處理算子及推薦系統(tǒng)等Meta核心生產(chǎn)場景中，實(shí)現(xiàn)了1.25倍至17倍的加速。

圖7 展示了在Meta的生產(chǎn)環(huán)境場景中，針對Convolutional Transformer的張量形狀，KernelEvolve生成內(nèi)核與PyTorch原生算子的對比 (atol=10^?4, rtol=5×10^?4)。在 NVIDIA、AMD 和 MTIA 架構(gòu)上，其生成的內(nèi)核相比conv1d基準(zhǔn)和優(yōu)化后的conv2d基準(zhǔn)，最高實(shí)現(xiàn)了6.22倍的加速。

對于像MTIA這樣的專有加速器，傳統(tǒng)的開發(fā)流程面臨更大挑戰(zhàn)，相關(guān)的編程范式和優(yōu)化技巧并未包含在主流大模型的訓(xùn)練數(shù)據(jù)中。

KernelEvolve通過知識庫注入硬件特定約束的方式，成功解決了這一問題，這意味著即使是全新的、文檔稀缺的硬件平臺，也能快速獲得高性能的算子庫支持。

從單點(diǎn)優(yōu)化到系統(tǒng)級重構(gòu)

KernelEvolve的意義不僅在于提升了單個內(nèi)核的性能，更在于它改變了整個推薦系統(tǒng)基礎(chǔ)設(shè)施的開發(fā)范式:

• 完整的算子覆蓋:通過自動化生成，KernelEvolve能夠快速實(shí)現(xiàn)完整的算子矩陣，使得模型可以在單一加速器上整體部署， 避免了分離式架構(gòu)帶來的系統(tǒng)級開銷。

• 持續(xù)優(yōu)化循環(huán):系統(tǒng)的搜索樹和知識庫會不斷積累優(yōu)化經(jīng)驗(yàn)， 形成正向循環(huán)。每次優(yōu)化不僅解決當(dāng)前問題， 還為未來的優(yōu)化提供了參考。

• 降低創(chuàng)新門檻:新的模型架構(gòu)或硬件平臺不再受限于內(nèi)核開發(fā)的瓶頸， 研究人員和工程師可以更快地將創(chuàng)新想法付諸實(shí)踐。

技術(shù)啟示與未來展望

KernelEvolve的成功為AI系統(tǒng)優(yōu)化領(lǐng)域帶來了幾個重要啟示:

• 智能體的有效性:將復(fù)雜的工程問題建模為搜索和優(yōu)化過程， 通過智能體進(jìn)行自動化求解， 在異構(gòu)硬件（HH）等復(fù)雜解空間中可以達(dá)到甚至超越人類專家的水平。

• 知識與推理的結(jié)合：通過檢索增強(qiáng)和知識庫注入，有效擴(kuò)展了大語言模型（LLM）的能力邊界，使其能夠精準(zhǔn)處理 MTIA 等專有硬件架構(gòu)的底層約束。

• 多層次抽象的價值:支持從高級DSL（如 Triton）到底層指令的多層次優(yōu)化，使得系統(tǒng)在保持快速迭代的同時，能實(shí)現(xiàn)對硬件性能的精細(xì)壓榨。

• 生產(chǎn)部署的挑戰(zhàn):論文也分享了在生產(chǎn)環(huán)境中操作KernelEvolve的實(shí)踐經(jīng)驗(yàn)，包括失敗模式分析、調(diào)試策略、性能驗(yàn)證方法論和組織整合模式， 為后續(xù)研究提供了寶貴參考。

展望未來，KernelEvolve正在開啟基礎(chǔ)設(shè)施演進(jìn)的新篇章：

• 邁向Agentic RL：未來的演進(jìn)方向?qū)⒁隣nline Agentic Reinforcement Learning（在線智能體強(qiáng)化學(xué)習(xí)）。這意味著系統(tǒng)能根據(jù)生產(chǎn)環(huán)境中的運(yùn)行時負(fù)載（Live Workloads）和硬件遙測數(shù)據(jù)，動態(tài)調(diào)整搜索策略和獎勵函數(shù)，實(shí)現(xiàn)內(nèi)核性能的「熱進(jìn)化」。

• 適配下一代MTIA架構(gòu)：隨著Meta自研芯片的快速迭代，KernelEvolve將成為下一代MTIA研發(fā)中的核心組件。通過硬件與軟件智能體的深度協(xié)同（Co-design），在芯片流片前即可通過仿真環(huán)境進(jìn)化出最優(yōu)算子庫，極大縮短新硬件的TTM（上市時間，time to market）

• 軟件工程范式的深刻變革：自動化代碼優(yōu)化將從內(nèi)核編程擴(kuò)展到更廣泛的系統(tǒng)軟件領(lǐng)域。我們或許正在見證從人工編寫到智能體輔助，再到智能體主導(dǎo)（Agent-Led）的演進(jìn)路徑。

對于Meta而言， KernelEvolve不僅是一個技術(shù)工具， 更是其在AI基礎(chǔ)設(shè)施領(lǐng)域保持競爭優(yōu)勢的戰(zhàn)略投資。

在萬億級廣告推薦系統(tǒng)的支撐下，每一個百分點(diǎn)的性能提升都意味著巨大的商業(yè)價值，而KernelEvolve所展現(xiàn)的， 正是用AI重構(gòu)AI基礎(chǔ)設(shè)施的無限可能。

主要作者

Gang Liao

Meta研究科學(xué)家 (Research Scientist) 馬里蘭大學(xué)（UMD）計算機(jī)博士，師從數(shù)據(jù)庫傳奇人物Daniel Abadi。 他是Meta廣告與推理基礎(chǔ)設(shè)施領(lǐng)域的底層優(yōu)化專家，曾在百度、字節(jié)跳動及微軟研究院擔(dān)任核心角色，致力于推動支撐Meta 98% 年收入處理的底層基礎(chǔ)設(shè)施優(yōu)化。

Carole-Jean Wu

Meta FAIR 研究總監(jiān) (Director of AI Research) 領(lǐng)導(dǎo)系統(tǒng)和機(jī)器學(xué)習(xí)研究團(tuán)隊(duì)，同時擔(dān)任MLCommons創(chuàng)始成員兼副主席。她擁有普林斯頓大學(xué)博士學(xué)位，曾任亞利桑那州立大學(xué)終身教授。她的研究聚焦于計算機(jī)體系結(jié)構(gòu)與機(jī)器學(xué)習(xí)的交叉領(lǐng)域，曾獲ACM SIGARCH Maurice Wilkes 獎等頂級榮譽(yù)，是 ISCA和HPCA名人堂成員，她同時擔(dān)任了MLSys'22和ISCA'26 機(jī)器學(xué)習(xí)系統(tǒng)和體系結(jié)構(gòu)頂級會議聯(lián)名主席。

Gaoxiang Liu

Meta杰出工程師 (Distinguished Engineer) Meta廣告服務(wù)系統(tǒng)和推理引擎的核心掌舵人，畢業(yè)于密歇根大學(xué)安娜堡分校。他共同領(lǐng)導(dǎo)了Meta 全公司范圍內(nèi)的現(xiàn)代化推理平臺建設(shè)，主導(dǎo)設(shè)計了支撐 LLM 規(guī)模推薦模型的下一代廣告服務(wù)系統(tǒng)。作為商業(yè)化 AI 硬件項(xiàng)目的技術(shù)負(fù)責(zé)人，他深度參與了 MTIA 的協(xié)同設(shè)計，構(gòu)建了實(shí)現(xiàn)異構(gòu)硬件(Nvidia GPU/AMD GPU/MTIA) 「可互換性」的架構(gòu)棧。

這一里程碑的達(dá)成離不開Meta內(nèi)部各團(tuán)隊(duì)的卓越協(xié)作， 包括Monetization Infra and Ranking (商業(yè)化基礎(chǔ)設(shè)施與排序)， FAIR (基礎(chǔ)人工智能研究中心)， Compiler (編譯器)， MTIA， Serverless Compute (無服務(wù)器計算) 等團(tuán)隊(duì)。

參考資料：