算子（Kernel），作為連接硬件與軟件的核心軟件層，是軟件生態(tài)中的重要一環(huán)。算子優(yōu)化是旨在根據(jù)硬件架構(gòu)和芯片設(shè)計，優(yōu)化特定程式代碼，以盡可能挖掘硬件潛力，提高程序運行速度的工作。

當(dāng)前算子優(yōu)化主要依靠專家通過試錯法進(jìn)行手動優(yōu)化，這一過程不僅耗時，而且需要跨硬件、軟件和指令集架構(gòu)（ISA，Instruction Set Architecture）的多學(xué)科專業(yè)專家合作開發(fā)，人力和時間成本都十分高昂。對于新興的 ISA 架構(gòu)而言，其配套算子庫的性能優(yōu)化缺口已成為阻礙廣泛部署的主要瓶頸。

隨著大模型的發(fā)展，自動化算子優(yōu)化領(lǐng)域出現(xiàn)了新范式。大模型驅(qū)動的方法利用其生成能力，通過最少的人工指導(dǎo)生成或迭代改進(jìn)算子實現(xiàn)，已經(jīng)涌現(xiàn)出了一批科研成果。尤其在 CUDA 算子優(yōu)化領(lǐng)域，這一范式已展現(xiàn)出顯著潛力——完備的技術(shù)文檔和成熟的代碼庫使得現(xiàn)成的大模型能夠在部分算子問題上取得超越人類專家的效果。

然而，在 RISC-V 等新興架構(gòu)或指令集上，參考材料的稀缺，限制了這種新興范式的有效性。

為此，來自香港城市大學(xué)的研究人員開展了一項課題，并研發(fā)出了一款名為 EoK 的應(yīng)用。

圖 | 研究人員（來源：研究人員）

首先，EoK 通過系統(tǒng)化挖掘成熟開源算子庫的開發(fā)歷史（如 Git 提交記錄），構(gòu)建結(jié)構(gòu)化的優(yōu)化“想法”池。每個想法包含通用設(shè)計原則和一系列可操作思路，其中包括簡明技術(shù)描述、示例代碼和歷史效果評估。這種方法為大模型提供了明確的數(shù)據(jù)驅(qū)動指導(dǎo)，彌補(bǔ)了訓(xùn)練數(shù)據(jù)中 RISC-V 參考材料的缺失。

其次，EoK 采用基于檢索增強(qiáng)生成（RAG，Retrieval-Augmented Generation）的并行搜索策略，通過同時沿多個優(yōu)化方向（由想法池中的不同想法定義）進(jìn)行并行探索，并結(jié)合 RISC-V 特定的上下文信息（包括 ISA 手冊和硬件配置文件），顯著提高了搜索效率和效果。每個想法引導(dǎo)的搜索都根據(jù)歷史效果加權(quán)采樣可操作思路，確保優(yōu)先驗證經(jīng)過實踐檢驗的技術(shù)，同時保持探索多樣性。

通過這種方法，EoK 在 80 個算子設(shè)計任務(wù)中實現(xiàn)了中位數(shù) 1.27 倍的加速效果，在幾乎所有任務(wù)上超越人類專家性能，并將現(xiàn)有大模型方法的性能提升了 20%。這些結(jié)果表明，將人類經(jīng)驗系統(tǒng)化地融入新興領(lǐng)域優(yōu)化過程的可行性，同時也凸顯了大模型驅(qū)動的自動化算子優(yōu)化在 RISC-V 領(lǐng)域的巨大潛力。

（來源：https://arxiv.org/pdf/2509.14265）

在應(yīng)用前景上：

其一，可用于多架構(gòu)支持?jǐn)U展：EoK 的方法論可以擴(kuò)展到其他開放或?qū)Ｓ?ISA（如神經(jīng)網(wǎng)絡(luò)異構(gòu)計算架構(gòu)、元計算統(tǒng)一系統(tǒng)架構(gòu)等 AI 加速指令集或其它新興 ISA），通過適配想法池和參考材料，打破 CUDA 壁壘，實現(xiàn)跨平臺算子優(yōu)化，促進(jìn)硬件創(chuàng)新和軟件創(chuàng)新的協(xié)同進(jìn)化。

其二，可用于 DAY0/DAY1 級適配：EoK 相較于其它大模型方法，其算子優(yōu)化時間開銷更低，能夠幫助國產(chǎn)新興的 AI 加速算力在 Day0/Day1 級別對于類似于 Deepseek v3.2 等新型模型軟件架構(gòu)實現(xiàn)支持，推動新興軟硬件生態(tài)正循環(huán)。

其三，可用于定制處理器算子優(yōu)化：針對特定應(yīng)用場景（如邊緣計算、具身智能等），EoK 可以自動生成高度優(yōu)化的算子，減少開發(fā)時間并提升能效。

其四，可用于硬件-軟件協(xié)同設(shè)計：在芯片設(shè)計階段，EoK 可用于快速原型化和評估不同硬件配置下的算子性能，輔助設(shè)計決策，縮短產(chǎn)品上市周期。

目前，研究人員正在推進(jìn)對于知識“想法”池的進(jìn)一步挖掘，以期能夠使大模型在學(xué)習(xí)人類算子優(yōu)化經(jīng)驗和自動優(yōu)化算子過程中，拓展可能的算子優(yōu)化空間和范式。

參考資料：

https://arxiv.org/pdf/2509.14265