編輯｜Panda、澤南

大模型的競(jìng)爭(zhēng)如火如荼，也有一群人正在研究如何降低門(mén)檻，讓 AI 工具變得親民。

最近，在 AI 基礎(chǔ)算力上重磅頻出的華為，又亮出了一張王牌：昇騰的底層基礎(chǔ)軟件，CANN 全面開(kāi)源開(kāi)放

昇騰宣布將通過(guò)一系列新舉措，持續(xù)支持開(kāi)發(fā)者在 AI 模型、算子、內(nèi)核、底層資源等多個(gè)層級(jí)進(jìn)行自主優(yōu)化與自定義開(kāi)發(fā)。通過(guò)開(kāi)放共建，一個(gè)新興的 AI 算力生態(tài)正在快速崛起，改變計(jì)算架構(gòu)領(lǐng)域本已固化的格局。

CANN 全稱(chēng)為「神經(jīng)網(wǎng)絡(luò)異構(gòu)計(jì)算架構(gòu)」（Compute Architecture for Neural Networks），其作為連接上層 AI 訓(xùn)練框架（如 PyTorch、TensorFlow、MindSpore 等）和底層 AI 芯片的橋梁，讓開(kāi)發(fā)者不用關(guān)心芯片細(xì)節(jié)就能調(diào)用底層算力。

最近一段時(shí)間，業(yè)內(nèi)對(duì)于國(guó)產(chǎn) AI 算力的需求大幅增長(zhǎng)，讓人們更加重視起硬件的計(jì)算架構(gòu)。CANN 的開(kāi)源開(kāi)放引發(fā)了業(yè)界的廣泛關(guān)注，當(dāng) CANN 這個(gè)在整個(gè) AI 技術(shù)棧中「承上啟下」的關(guān)鍵角色被開(kāi)源了之后，開(kāi)發(fā)者們獲得了定義算力的權(quán)力。

以前在 AI 芯片上的算子開(kāi)發(fā)門(mén)檻高到不敢用，現(xiàn)在昇騰 CANN 把這層窗戶(hù)紙捅破了。

這一次，我們不談宏大的生態(tài)格局，只談對(duì)于坐在屏幕前的開(kāi)發(fā)者來(lái)說(shuō)，CANN 的開(kāi)源開(kāi)放到底帶來(lái)了什么？

拒絕「黑盒」

三種路徑實(shí)現(xiàn)「AI 算子開(kāi)發(fā)自由」

在 AI 開(kāi)發(fā)的深水區(qū)，算子開(kāi)發(fā)效率與性能的平衡始終是個(gè)難題。但「AI 算子開(kāi)發(fā)自由」首先建立在廣泛的生態(tài)兼容之上。

CANN 目前已經(jīng)支持與 PyTorch、TensorFlow、MindSpore、PaddlePaddle 等主流 AI 框架無(wú)縫對(duì)接，并開(kāi)放了 GE 圖開(kāi)發(fā)接口，允許開(kāi)發(fā)者自定義圖結(jié)構(gòu)，滿(mǎn)足了多樣化的開(kāi)發(fā)需求。

大模型方面，CANN 覆蓋了國(guó)內(nèi)外目前的主流，支持包括 Llama、Mistral、Phi 等海外模型，以及 Qwen、DeepSeek、GLM 等國(guó)產(chǎn)大模型家族，共計(jì)超過(guò) 50 種。昇騰已經(jīng)參與了超過(guò) 10 個(gè)大模型開(kāi)源社區(qū)的上下游生態(tài)構(gòu)建。

在此基礎(chǔ)上，針對(duì)更深層的算子開(kāi)發(fā)挑戰(zhàn)，開(kāi)源開(kāi)放后的 CANN 為不同技術(shù)背景的開(kāi)發(fā)者提供了三條路徑。

路徑一：習(xí)慣 Python？Triton 生態(tài)無(wú)縫接入

對(duì)于習(xí)慣了 GPU 編程范式的開(kāi)發(fā)者，最大的顧慮往往是遷移成本。CANN 對(duì)此給出的答案是：不用改變習(xí)慣

CANN 實(shí)現(xiàn)了與業(yè)界主流開(kāi)發(fā)范式 Triton 的深度對(duì)接。通過(guò) Linalg IR 與 AscendNPU IR（中間表示）的轉(zhuǎn)換，開(kāi)發(fā)者可以直接使用熟悉的 Python 語(yǔ)法編寫(xiě)高性能算子，原有的 Triton 代碼能夠以極低的成本遷移到昇騰 NPU 上。

此外，CANN 還引入了TileLang這一新興編程選擇。它提供了比 Triton 更細(xì)粒度的性能控制能力，允許開(kāi)發(fā)者顯式管理數(shù)據(jù)分塊和內(nèi)存層級(jí)映射。通過(guò) TileLang-Ascend 的深度適配，開(kāi)發(fā)者可以利用類(lèi) Python 語(yǔ)法，精準(zhǔn)操控 NPU 的 Cube 核與 Vector 核，有效解決現(xiàn)代 AI 芯片面臨的「內(nèi)存墻」挑戰(zhàn)。

路徑二：追求極致？Ascend C 讓性能「狂飆」

對(duì)于追求 SOTA 性能的系統(tǒng)級(jí)程序員，Ascend C是昇騰原生提供的終極武器。

這是一種采用 C/C++ 語(yǔ)法風(fēng)格的編程語(yǔ)言，它開(kāi)放了算子底層資源管理接口。這意味著開(kāi)發(fā)者不再受限于封裝好的 API，而是可以直接調(diào)用 NPU 的原子級(jí)能力，精確控制每一個(gè)時(shí)鐘周期的行為和片上緩存管理。無(wú)論是 FlashAttention 還是復(fù)雜的 MoE 融合算子，Ascend C 都能讓開(kāi)發(fā)者榨干硬件的每一滴性能。

路徑三：想要省力？搭積木式的模板庫(kù)

并非所有場(chǎng)景都需要從零手寫(xiě)算子。針對(duì)深度學(xué)習(xí)中無(wú)處不在的矩陣運(yùn)算（GEMM），CANN 推出了CATLASS 算子模板庫(kù)

這是一個(gè)基于 Ascend C 構(gòu)建的高性能算子模版庫(kù)，它將復(fù)雜的矩陣乘法及其融合算子抽象為可配置的模板。開(kāi)發(fā)者無(wú)需重新編寫(xiě)復(fù)雜的切分（Tiling）和流水線(xiàn)（Pipeline）邏輯，只需簡(jiǎn)單的參數(shù)配置，即可快速生成適配不同形狀和精度的矩陣乘算子。

在當(dāng)前主流的 MoE（混合專(zhuān)家）模型支持上，CANN 還推出了創(chuàng)新的 MLAPO 融合算子。這種設(shè)計(jì)將原本需要多個(gè)算子完成的 MoE 計(jì)算，融合為單個(gè)高效算子。測(cè)試數(shù)據(jù)顯示，MLAPO 融合算子能夠顯著降低計(jì)算開(kāi)銷(xiāo)，相比傳統(tǒng)實(shí)現(xiàn)方式，在相同硬件上獲得明顯的性能提升。

在大參數(shù) DeepSeekV3 模型的量化場(chǎng)景下，MLAPO 算子的實(shí)現(xiàn)能將計(jì)算耗時(shí)從 109us 縮減為 45us，帶來(lái)整網(wǎng)性能提升 20%。

這不是畫(huà)餅，而是已經(jīng)有開(kāi)源代碼、有倉(cāng)庫(kù)的實(shí)質(zhì)性進(jìn)展。

為了方便開(kāi)發(fā)者快速上手，CANN 已在 AtomGit 上開(kāi)放了包括 CATLASS（算子模板庫(kù)）、ops-math（基礎(chǔ)數(shù)學(xué)）、ops-nn（神經(jīng)網(wǎng)絡(luò)）、ops-transformer（transformer 類(lèi)大模型）、ops-cv（圖像處理、目標(biāo)檢測(cè)）、HCCL（通信庫(kù)）在內(nèi)的多個(gè)核心倉(cāng)庫(kù)，并發(fā)布了集成主流大模型環(huán)境的官方容器鏡像，開(kāi)發(fā)者可以通過(guò)容器指令直接獲取開(kāi)箱即用的開(kāi)發(fā)環(huán)境。（https://gitcode.com/cann）

目前，CANN 已預(yù)置了超過(guò) 1400 個(gè)基礎(chǔ)算子、100 多個(gè)融合算子以及 15 個(gè)通信算法，為大模型開(kāi)發(fā)提供了「開(kāi)箱即用」的能力。這些算子經(jīng)過(guò)深度優(yōu)化和實(shí)際生產(chǎn)過(guò)程的驗(yàn)證，能夠充分發(fā)揮昇騰硬件的性能潛力，是吸引開(kāi)發(fā)者和企業(yè)客戶(hù)從「試一試」轉(zhuǎn)向「深度用」的硬通貨。

這種對(duì)底層細(xì)節(jié)的「可控性」，使 CANN 能夠成為追求 SOTA 性能的系統(tǒng)程序員的有力武器。

架構(gòu)變革：分層解耦

為什么現(xiàn)在的 CANN 能做到如此靈活？核心在于架構(gòu)上的分層解耦

CANN 的多層架構(gòu)示意圖，其中不同的層級(jí)有不同的開(kāi)源策略。

何為分層解耦？其實(shí)并不難理解。在過(guò)去的 AI 軟件棧中，工具鏈、運(yùn)行時(shí)、驅(qū)動(dòng)、編程體系、加速庫(kù)等往往被打造成一個(gè)整體。這種模式雖也有優(yōu)勢(shì)，但對(duì)于追求極致性能的頭部模型廠商和底層系統(tǒng)工程師來(lái)說(shuō)，卻顯得笨重。

而 CANN 卻做到了在宏觀架構(gòu)上的功能解耦與組件獨(dú)立演進(jìn)。

具體來(lái)說(shuō)，CANN 不再是一個(gè)巨大的單體軟件，而是被拆解為多個(gè)功能正交的組件。分層解耦的思路貫穿了全棧：從底層的硬件驅(qū)動(dòng)到中間的運(yùn)行時(shí)，再到上層的編譯器和加速庫(kù)，每一層都實(shí)現(xiàn)了物理上的松耦合。

這意味著開(kāi)發(fā)者無(wú)需像過(guò)去那樣「牽一發(fā)而動(dòng)全身」，而是可以根據(jù)業(yè)務(wù)需求，按需引入或升級(jí)特定的組件功能，大幅降低了系統(tǒng)集成和定制開(kāi)發(fā)的門(mén)檻。

這種解耦可為 CANN 各個(gè)層級(jí)帶來(lái)重要的變化：

加速庫(kù)的「組件化」

CANN 改變了過(guò)去「全量算子一個(gè)包」的發(fā)布方式。算子庫(kù)被精細(xì)拆分為 ops-math、ops-nn、ops-cv 和 ops-transformer 等獨(dú)立組件。

通信庫(kù)和圖引擎（GE）也作為獨(dú)立組件逐步開(kāi)放。其中 HCCL 開(kāi)放了通信算子和框架層，支持開(kāi)發(fā)者自定義通信算法以適應(yīng)大規(guī)模集群；GE 則開(kāi)放了圖編譯和執(zhí)行接口，支持自定義圖融合策略。

運(yùn)行時(shí)的「極簡(jiǎn)化」

Runtime 層剝離了冗余模塊，實(shí)現(xiàn)了核心功能的最小化。更為關(guān)鍵的是，Runtime 開(kāi)放了 aclGraph 接口，支持圖模式下沉。

這一機(jī)制允許開(kāi)發(fā)者將由多個(gè)算子組成的計(jì)算圖一次性下沉到 Device 側(cè)，極大地減少了 Host 與 Device 之間的交互開(kāi)銷(xiāo)。

在架構(gòu)分層解耦之后，CANN 實(shí)現(xiàn)了組件功能的最小化，共有 20 余個(gè)安裝包，支持各功能的獨(dú)立演進(jìn)和編譯升級(jí)。

這樣一來(lái)，開(kāi)發(fā)者可以在模型、算子、內(nèi)核、底層資源等多個(gè)層級(jí)分別進(jìn)行優(yōu)化與開(kāi)發(fā)。可以說(shuō)開(kāi)源后的 CANN，在追求極致性能的同時(shí)，兼顧了開(kāi)發(fā)的易用性。

全面開(kāi)源開(kāi)放

正在陸續(xù)進(jìn)行中

對(duì)于開(kāi)源世界來(lái)說(shuō)，真正的技術(shù)價(jià)值會(huì)在自由流動(dòng)中無(wú)限放大。CANN 的開(kāi)源正是遵循同一邏輯：它不僅僅是為了「替代」，更是發(fā)出了一份共同構(gòu)建「算力多元世界」的邀請(qǐng)函。開(kāi)發(fā)者的每一次使用，問(wèn)題的反饋和代碼的提交，都會(huì)為這個(gè)新的生態(tài)做出貢獻(xiàn)。

當(dāng) CANN 開(kāi)源社區(qū)的代碼倉(cāng)庫(kù)逐漸被開(kāi)發(fā)者 fork 和 star，大學(xué)實(shí)驗(yàn)室的研究者們開(kāi)始用 Ascend C 完成 AI 項(xiàng)目，當(dāng)硅基流動(dòng)、無(wú)問(wèn)芯穹等創(chuàng)業(yè)公司基于 CANN 優(yōu)化自己的模型訓(xùn)練流程，一個(gè)不同于 CUDA 路徑的 AI 算力生態(tài)正在快速成長(zhǎng)。

基于昇騰 CANN，無(wú)論你是想驗(yàn)證一個(gè)想法，還是遷移一個(gè)模型，現(xiàn)在都可以快速開(kāi)始。

目前，CANN 的全面開(kāi)源開(kāi)放正在加速推進(jìn)，其在 AtomGit 的代碼庫(kù)也非?；钴S，幾乎每天都有新的動(dòng)態(tài)。

截至目前，CANN 項(xiàng)目下已有 27 個(gè)子項(xiàng)目，總 star 數(shù)已經(jīng)超過(guò) 3700，總下載量更是已經(jīng)突破 35 萬(wàn)。

更值得期待的是，開(kāi)源的版圖還在持續(xù)擴(kuò)大。比如用于負(fù)責(zé) AI 計(jì)算圖的解析、優(yōu)化和執(zhí)行的 GE （Graph Engine，也是 CANN 的核心組件之一）以及一種旨在簡(jiǎn)化高性能算子的開(kāi)發(fā)流程的新型編程范式 PyPTO（Python Parallel Tensor Operation）框架。

想體驗(yàn)最新的 CANN 開(kāi)源開(kāi)放能力？

• 主頁(yè)地址：https://www.hiascend.com/cann
• 開(kāi)源項(xiàng)目：https://gitcode.com/cann