4月1日，在2026中國(guó)IC領(lǐng)袖峰會(huì)“邊緣AI與算力芯片”垂直技術(shù)論壇上，國(guó)科微AI算法部部長(zhǎng)倪亞宇發(fā)表題為《FlashAttention-4：新一代大模型推理NPU流水線范式設(shè)計(jì)》的主題演講。

隨著大模型加速走向產(chǎn)業(yè)落地，推理效率、內(nèi)存帶寬與系統(tǒng)功耗成為端側(cè)部署的關(guān)鍵瓶頸。尤其在Transformer與大型語(yǔ)言模型持續(xù)演進(jìn)的背景下，注意力機(jī)制（Attention）的高效實(shí)現(xiàn)，已成為芯片架構(gòu)與工具鏈優(yōu)化的重要突破口。

倪亞宇表示，國(guó)科微正聚焦FlashAttention等前沿技術(shù)在NPU平臺(tái)上的落地探索，推動(dòng)構(gòu)建更適合端側(cè)量產(chǎn)部署的NPU架構(gòu)與工具鏈，為自動(dòng)駕駛、邊緣計(jì)算、智能終端及AIGC等場(chǎng)景提供高效能算力支撐。

NPU部署“滿(mǎn)血版”FlashAttention仍面臨挑戰(zhàn)

作為大模型中的核心計(jì)算結(jié)構(gòu)之一，注意力機(jī)制在實(shí)際運(yùn)行中普遍面臨訪存開(kāi)銷(xiāo)高、流水線效率受限等問(wèn)題。FlashAttention的提出，為解決這一問(wèn)題提供了新的路徑。

FlashAttention是由斯坦福大學(xué)Tri Dao等人于2022年提出的一種快速且內(nèi)存高效的精確注意力算法。它通過(guò)對(duì)注意力計(jì)算過(guò)程進(jìn)行等價(jià)重構(gòu)，通過(guò)分塊計(jì)算、在線Softmax、重計(jì)算與異步流水等方式，將中間計(jì)算過(guò)程保留在片上緩存中，減少外部存儲(chǔ)訪問(wèn)帶寬壓力，顯著提升推理效率。

在剛剛過(guò)去的3月中旬，F(xiàn)lashAttention 4.0版本正式發(fā)布。倪亞宇指出，F(xiàn)lashAttention從1.0演進(jìn)至4.0，在并行性、長(zhǎng)序列支持、低精度計(jì)算及異步執(zhí)行等方面持續(xù)增強(qiáng)。但相較GPU，當(dāng)前NPU在向量單元算力、異步流水排布、動(dòng)態(tài)調(diào)度及超長(zhǎng)上下文等能力上仍存差距。倪亞宇指出，要實(shí)現(xiàn)“滿(mǎn)血版”FlashAttention，需圍繞計(jì)算流水線、數(shù)據(jù)復(fù)用與系統(tǒng)帶寬進(jìn)行協(xié)同設(shè)計(jì)。

國(guó)科微NPU 4.0：構(gòu)建更高效的推理單元

自2020年起，國(guó)科微持續(xù)投入NPU自主研發(fā)，形成從GKNPU 1.0到4.0的演進(jìn)路線，產(chǎn)品能力向更高算力、更廣模型覆蓋與更優(yōu)能效比升級(jí)。目前，國(guó)科微AI視覺(jué)與車(chē)載AI系列芯片已搭載3.0版本NPU，支持0.5T至8T算力，支持視覺(jué)、音頻、時(shí)序等AI模型在端側(cè)芯片應(yīng)用落地。

在GKNPU 4.0架構(gòu)設(shè)計(jì)中，國(guó)科微提出面向高效注意力計(jì)算的增強(qiáng)型脈動(dòng)陣列架構(gòu)，針對(duì)性擴(kuò)展矩陣和向量計(jì)算能力，強(qiáng)化對(duì)大模型注意力機(jī)制中的關(guān)鍵操作的支持，壓縮數(shù)據(jù)搬運(yùn)路徑與流水線開(kāi)銷(xiāo)，增強(qiáng)片上閉環(huán)計(jì)算能力。該設(shè)計(jì)旨在減少對(duì)外部帶寬的依賴(lài)，提升推理鏈路執(zhí)行效率，有效應(yīng)對(duì)大模型推理中的帶寬瓶頸、激活值碎片化及超長(zhǎng)上下文的內(nèi)存壓力。

強(qiáng)化工具鏈，推動(dòng)高效規(guī)模化部署

在NPU架構(gòu)演進(jìn)的同時(shí)，國(guó)科微持續(xù)強(qiáng)化工具鏈能力。新一代GKToolchain 3.0面向端側(cè)異構(gòu)算力場(chǎng)景，重點(diǎn)提升硬件感知編譯、自動(dòng)分塊、自動(dòng)向量化、異步數(shù)據(jù)讀寫(xiě)與計(jì)算流水編排能力，推動(dòng)模型部署從“可適配”邁向“高效率、可規(guī)?；薄?/p>

同時(shí)，工具鏈圍繞動(dòng)態(tài)內(nèi)存管理、投機(jī)推理加速等前沿方向持續(xù)演進(jìn)，增強(qiáng)對(duì)長(zhǎng)上下文管理及復(fù)雜推理流程的支撐能力，助力客戶(hù)高效完成從模型到芯片的部署閉環(huán)。

隨著AI應(yīng)用從訓(xùn)練側(cè)走向推理側(cè)、從云端走向終端，產(chǎn)業(yè)對(duì)算力平臺(tái)的要求正從“高峰值性能”轉(zhuǎn)向“高能效、可量產(chǎn)、易部署”的綜合能力。NPU在端側(cè)規(guī)?；涞刂芯邆滹@著的成本與功耗優(yōu)勢(shì)。

倪亞宇表示，國(guó)科微將持續(xù)堅(jiān)持算法與硬件協(xié)同創(chuàng)新，圍繞大模型推理核心瓶頸，不斷完善NPU架構(gòu)、產(chǎn)品能力與工具鏈體系，推動(dòng)端側(cè)智能計(jì)算平臺(tái)向更高性能、更低功耗、更強(qiáng)工程可落地方向演進(jìn)，為客戶(hù)提供更具競(jìng)爭(zhēng)力的算力方案。