把端側(cè)AI生態(tài)，向前推進一小步。

作者｜劉楊楠

編輯｜栗子

“你們有信心嗎！”

11月13日，安謀科技Arm China“周易”X3 NPU IP發(fā)布會臨近尾聲，安謀科技Arm China CEO陳鋒低調(diào)現(xiàn)身會場后方，作為現(xiàn)場Q&A環(huán)節(jié)的最后一位“提問者”，向臺上的三位演講者發(fā)問。這場精心安排的互動彩蛋，也將整場發(fā)布會的情緒推至高潮。

陳鋒自今年2月出任CEO以來，便帶領(lǐng)公司開啟“All in AI”的產(chǎn)品戰(zhàn)略，推動公司在AI領(lǐng)域全面投入。其中，端側(cè)AI是安謀科技AI Arm China戰(zhàn)略的重要方向。此次發(fā)布會主角“周易”X3便是專為端側(cè)AI打造的NPU IP。

可陳鋒的問題，或許不只是向臺上的同僚提問，更是向整個端側(cè)AI芯片設(shè)計市場提問。

當前的端側(cè)AI市場火熱之余仍面臨巨大的不確定性。算法的快速迭代、市場需求的碎片化、客戶對成本與性能的雙重苛求，都讓芯片廠商如履薄冰。

安謀科技Arm China產(chǎn)品研發(fā)副總裁劉浩在發(fā)布會上坦言，端側(cè)AI正面臨著前所未有的挑戰(zhàn)?！笆紫仁谴竽Ｐ偷男枨?，它算力巨大，參數(shù)眾多，對算力、帶寬、存儲都提出了極具挑戰(zhàn)性的要求，形成了所謂的‘算力墻’‘面積墻’‘功耗墻’。其次是多模態(tài)的需求，輸入不再只是文字，可能是圖像、視頻、點云、語音，這要求NPU支持更多異構(gòu)算子。第三是混合專家系統(tǒng)(MoE)的需求，動態(tài)路由、動態(tài)任務(wù)分配，這些都需要架構(gòu)具備靈活的算力調(diào)度和高帶寬互聯(lián)能力?！眲⒑普f。

安謀科技Arm China產(chǎn)品研發(fā)副總裁劉浩

更令人捉摸不透的，是模型迭代速度。劉浩舉了一個生動的例子：“客戶在芯片流片成功進入量產(chǎn)之際，他的模型和算法仍然需要兩周一次的迭代。這就要求芯片硬件必須有足夠的通用性，無論新的算子還是模型出現(xiàn)，硬件都能靈活支持。”

于是，端側(cè)AI芯片IP的設(shè)計陷入了兩難境地——過于專用化的架構(gòu)雖然面效比、能效比高，但無法適應(yīng)快速變化的算法；而過于通用化的架構(gòu)雖然靈活，但能效比低下，難以滿足端側(cè)設(shè)備的嚴格約束。

而安謀科技Arm China在其中找到了一條四兩撥千斤的生存法則，他們在進攻與防守之間找到了一個平衡點，并以此為基礎(chǔ)，展開了一場“中庸”的突圍。

1.DSP+DSA的融合與平衡

在NPU IP的設(shè)計哲學中，“靈活性”與“效率”幾乎是一對永恒的矛盾 。

為了追求極致的效率，業(yè)界一度推崇DSA（Domain-Specific Architecture，專用領(lǐng)域架構(gòu)）。這是一種為特定任務(wù)（如早期的CNN）量身定制的硬件加速器。

在處理CNN網(wǎng)絡(luò)時，它可以實現(xiàn)極高的能效比，但其缺陷也同樣致命，它高效但“脆弱” 。當算法范式從CNN迭代到Transformer時，那些為CNN硬化的DSA可能會幾乎瞬間死機。

而與之相對的DSP（Digital Signal Processor，數(shù)字信號處理器），則是一種更通用的計算單元。它靈活，能夠處理各種算法，但如果用它來硬磕Transformer所需的高密度的矩陣運算，又會顯得能效比低下。

因此，“周易”X3在二者間找到了融合共存的平衡，采用了先進的DSP+DSA 融合架構(gòu)。安謀科技Arm China NPU產(chǎn)品線負責人兼首席架構(gòu)師舒浩博士將其類比為汽車的“混合動力引擎”。

安謀科技Arm China NPU產(chǎn)品線負責人兼首席架構(gòu)師舒浩博士

在這個架構(gòu)中，有兩個核心計算單元。

其一是被喻為“武”的AIFF（AI Fixed-Function）引擎 ，它就是DSA的化身，具備專用向量加速能力，負責架構(gòu)的效率，高效處理那些高頻、重度、相對固定的計算任務(wù)，例如Transformer中必不可少的矩陣乘法和LayerNorm操作 。其二是被喻為“文”的TEC處理器（Task Execution Cell），它扮演DSP的角色，具備通用向量計算能力，負責整套架構(gòu)的靈活性。

在當前大模型范式下，盡管Tensor（張量）計算占據(jù)了模型約70%的計算量，但剩下的30% Vector（向量）計算其實更為復雜其計算類型的數(shù)量約達Tensor計算的四倍以上。

Vector計算的關(guān)鍵在于“靈活性”而非“算力”。如果硬件無法原生支持，就不得不求助于CPU/GPU等異構(gòu)方案。然而，跨設(shè)備的數(shù)據(jù)傳輸與同步會帶來巨大成本，最終，這20%-30%的Vector工作量很可能成為制約整體性能的瓶頸。

因此，這種融合架構(gòu)的好處就是兼具靈活性和高效率。對于占比高(約70%)但類型相對固定的計算任務(wù)，如矩陣運算、卷積操作等，由AIFF加速器負責，確保高效能；對于占比低(約30%)但種類繁多的計算需求，如激活函數(shù)、動態(tài)控制流等，由TEC處理器處理，保證靈活性。

同時，安謀科技Arm China提供了圖靈完備的指令集，并專門為AI模型設(shè)計了約1200條向量指令，以確保功能的完備性，徹底消除此類瓶頸。

這種“文武雙全”的協(xié)同設(shè)計，帶來了驚人的性能飛躍。以Transformer模型中極為關(guān)鍵的Softmax算子為例，通過DSP和DSA的深度協(xié)同優(yōu)化，“周易”X3實現(xiàn)了10倍的性能提升 。

更重要的是，這種架構(gòu)平衡還解決了一個系統(tǒng)級的效率難題——降低不必要的CPU負載。

傳統(tǒng)NPU在執(zhí)行任務(wù)時，需要CPU的頻繁介入和調(diào)度。而“周易”X3集成了專用的硬化調(diào)度器。所謂“硬化”，就是將原本需要軟件在CPU上執(zhí)行的調(diào)度任務(wù)，直接用硬件電路在NPU內(nèi)部實現(xiàn)。這帶來了一個革命性的成果：NPU在并行處理多項AI任務(wù)時，對主CPU的資源占用降低至0.5% 。

這使得NPU幾乎可以“自給自足”，將寶貴的CPU資源釋放給其他應(yīng)用，真正實現(xiàn)了高效的異構(gòu)計算。

雖然“DSP+DSA”的混合架構(gòu)解決了計算靈活性的問題，平衡了專用計算的高效率與通用計算的靈活性。但在真實端側(cè)AI場景中，模型完成一個任務(wù)往往需要經(jīng)過多次推理，如何在高效、靈活度同時，保持足夠的準確性，是影響模型在端側(cè)應(yīng)用效果的關(guān)鍵，這就需要在數(shù)據(jù)精度上做文章。

2.從定點到混合浮點，讓模型更聰明

我們先來厘清兩個概念：TOPS（Tera Operations Per Second）和TFLOPS（Tera Floating Point Operations Per Second）。

TOPS通常指的是每秒萬億次定點運算，這是一種低精度、高效率的計算方式，但容易在復雜運算中損失精度；而TFLOPS指的是每秒萬億次浮點運算，浮點計算能夠保留小數(shù)，精度更高，更適合AI大模型復雜的推理過程。

傳統(tǒng)的端側(cè)NPU大多采用INT8定點計算，這種方式雖然能效比高，但在處理復雜大模型時精度損失嚴重。

因此，“周易”X3大膽地轉(zhuǎn)向了浮點計算，并創(chuàng)新性地采用了W4A8/W4A16的混合精度模式，即模型權(quán)重(Weight)采用4位整數(shù)，激活值(Activation)采用8位或16位浮點。

安謀科技Arm China產(chǎn)品總監(jiān)鮑敏祺解釋了這一選擇的背后邏輯：“大模型90%的帶寬消耗來自權(quán)重，這意味著，要想模型流暢運行，就要想盡一切辦法降低模型權(quán)重的比特數(shù)，所以我們采用W4低比特來解決存儲和帶寬問題；而激活值是模型精度的生命線，如果精度太低，經(jīng)過幾次推理后結(jié)果就會完全失真，采用浮點計算可以保證模型的‘智能’和準確性，避免出現(xiàn)‘胡說八道’的情況?！?/p>

安謀科技Arm China產(chǎn)品總監(jiān)鮑敏祺

此外，從定點轉(zhuǎn)向浮點，還能讓客戶省去復雜且耗時的量化過程?！傲炕笔侵笇⒛Ｐ蛷母呔鹊母↑c格式（如FP32）壓縮到低精度的定點格式（如INT8）的過程，這個過程費時費力，且常常伴隨精度受損的風險 。

然而，純浮點計算也并非完美方案，其對端側(cè)設(shè)備的帶寬和功耗而言是難以承受的。

因此，“周易”X3采用了W4A8 / W4A16的低精度混合計算方案?！癢4”代表將模型權(quán)重壓縮至4比特，極大地壓縮了模型的體積，同時也降低了數(shù)據(jù)搬運量；“A8/A16”意味著計算過程中的中間數(shù)據(jù)被保留在8比特或16比特的浮點格式。

W4A8/A16的混合精度方案，是“周易”X3在模型精度與系統(tǒng)帶寬限制之間找到的最佳平衡點 。它在有效降低模型體積和帶寬占用的同時，最大限度地保留了LLM的推理精度。

“周易”X3還支持int4 / int8 / int16 / int32 / fp4 / fp8 / fp16 / bf16 / fp32多精度融合計算，強浮點計算，可靈活適配智能手機邊緣部署、AI PC推理、智能汽車等從傳統(tǒng)CNN到前沿大模型的數(shù)據(jù)類型需求，平衡性能與能效。

不過，W4A8/W4A16的混合精度固然是一個精妙的取舍，能在有限的硬件資源下實現(xiàn)大模型的高效推理，但對于大模型而言，權(quán)重參數(shù)動輒數(shù)十億，即使采用低比特壓縮，仍需要巨大的內(nèi)存帶寬來支撐數(shù)據(jù)吞吐。

3.如何打通內(nèi)存墻，提升有效帶寬？

在芯片設(shè)計中，算力的提升相對容易，但帶寬的增長卻受限于物理封裝工藝、功耗和成本等因素。

這就導致了一個普遍的尷尬局面：NPU的計算單元，如X3的AIFF引擎快如閃電，但它們大部分時間都在空轉(zhuǎn)，被動地等待數(shù)據(jù)從緩慢的主內(nèi)存（DDR）中搬運過來。此時，芯片上再高的紙面算力都只是擺設(shè)。

“周易”X3的策略則是不盲目堆砌紙面算力，聚焦于提升有效帶寬，榨干硬件的每一分潛力 。

首先，X3在硬件基礎(chǔ)上做了扎實的提升。其單Core帶寬高達256GB/s，這相較于傳統(tǒng)CNN加速器常見的64GB/s，提升整整4倍。但這只是第一步。

真正的“殺手锏”是兩項軟硬協(xié)同的創(chuàng)新。

第一項是安謀科技Arm China自研的硬件解壓單元WDC（Weight Decompression Engine，權(quán)重解壓縮引擎）。它與W4量化協(xié)同工作，模型權(quán)重（W4）在存入內(nèi)存時，會先通過軟件進行一次無損壓縮；當計算單元需要這些數(shù)據(jù)時，WDC硬件會實時將其解壓出來再送去計算。

這能夠在不增加物理帶寬的情況下，額外獲得約15%的等效帶寬提升 。正是憑借這項技術(shù)，經(jīng)實測結(jié)果顯示，在Llama2 7B模型上，“周易”X3的Prefill階段算力利用率達到72%，Decode階段在開啟WDC的情況下有效帶寬利用率超過100%。

第二項創(chuàng)新是動態(tài)Shape（Dynamic Shape）支持。

所謂動態(tài) Shape，是指在AI推理過程中，每一次輸入的數(shù)據(jù)量與任務(wù)規(guī)模都可能不同。傳統(tǒng) NPU 由于缺乏足夠的通用性與靈活性，無法在運行時動態(tài)調(diào)整計算流程，通常采用“對齊”方式，將不同尺寸的輸入統(tǒng)一處理成固定格式。這種做法不可避免會引入無效計算，浪費算力，降低整體效率。

而“周易”X3 NPU憑借其內(nèi)部靈活的架構(gòu)與通用處理能力，能夠?qū)崿F(xiàn)僅對有效數(shù)據(jù)執(zhí)行計算，從而在動態(tài)場景下實現(xiàn)更高效率。經(jīng)實際比對，動態(tài)Shape相較于靜態(tài)定點方式，最高可帶來4倍性能提升與近3倍的功耗降低。

通過WDC和動態(tài)Shape的軟硬協(xié)同，X3巧妙化解了內(nèi)存墻對效率的影響，將紙面算力高效轉(zhuǎn)化為了用戶能真實感受到的有效性能。

4.從“好用”到“用好”的關(guān)鍵在于軟件

然而，強大的硬件特性，必須依賴高效、開放的軟件工具鏈才能最終轉(zhuǎn)化為客戶價值。

在端側(cè)AI應(yīng)用碎片化的時代，一個封閉的工具鏈是致命的。它不僅難以快速適配海量涌現(xiàn)的新模型，更無法滿足客戶保護自身核心算法、實現(xiàn)差異化競爭的訴求。

“周易”X3的Compass AI軟件平臺則在易用性和定制化之間，構(gòu)建了一種動態(tài)平衡。

在易用性上，Compass平臺讓X3變得“好用”。其核心的AIPULLM工具鏈可以支持開發(fā)者從Hugging Face上下載模型，并完成一站式轉(zhuǎn)化和部署，極大降低了開發(fā)門檻 。同時，平臺還支持GPTQ等大模型主流量化方案 ，讓模型的快速適配成為可能。

在定制化上，Compass平臺讓用戶真正“用好”X3。安謀科技Arm China深知，對于客戶而言，最高效的算法往往是他們差異化的護城河。為了賦能客戶，同時保護他們的知識產(chǎn)權(quán)，Compass平臺采取了深度的開放策略。

首先是開放核心組件。平臺將Parser（模型解析器）、Optimizer（優(yōu)化器）、Linux Driver（驅(qū)動）等核心組件相繼開放 。這使得開發(fā)者可以進行白盒調(diào)試，清晰地看到工具鏈的每一步操作，而不是面對一個無法理解的黑盒。

其次是支持自定義算子。平臺提供了一種DSL（Domain-Specific Language，領(lǐng)域特定語言） 。通過這種專用的編程語言，客戶可以在深度開發(fā)模式下，編寫自己的自定義算子。這項功能至關(guān)重要，它意味著客戶可以將自己最核心、最機密的算法IP，直接編譯到底層硬件上運行，既能享受NPU的加速，又無需將算法細節(jié)暴露給任何人 。

“周易”NPU Compass AI軟件平臺

更有趣的是，安謀科技Arm China還提供了一個與硬件比特級精確的仿真器。這個“硅前”（pre-silicon）開發(fā)工具，允許客戶在拿到物理芯片之前的數(shù)個月甚至一年，就開始進行軟件開發(fā)、算法驗證和性能調(diào)優(yōu) ，從而極大地縮短上市周期。

至此，安謀科技Arm China這場“中庸”的突圍完成了嚴密的邏輯閉環(huán)。從應(yīng)對不確定性的混合計算架構(gòu) ，到平衡精度與帶寬效率的混合精度設(shè)計 ，再到榨干物理極限的帶寬優(yōu)化 ，最后用一套開放的軟件生態(tài)將其全部賦能給客戶。

回看“周易”系列NPU的研發(fā)歷程，就會發(fā)現(xiàn)X3的發(fā)布并非一日之功，而是安謀科技Arm China NPU團隊長期主義的必然兌現(xiàn)，整套戰(zhàn)略背后有一個核心支點，就是安謀科技Arm China對當前市場需求和應(yīng)用場景的清醒認知。

5.難而正確的“中庸之道”

回顧安謀科技Arm China的NPU布局，可以清晰地看到“周易”系列如何逐步從感知AI時代向認知智能過渡。

早期的Z1/Z2聚焦于TOPS級的“感知”能力，主要應(yīng)用于AIoT的基礎(chǔ)識別功能（如人臉識別） ；隨后的中期（X1/X2）開始支持更復雜的應(yīng)用，如高級汽車輔助駕駛（ADAS）和AI PC上的AIGC輕量級應(yīng)用 ；而當前的X3則全面適配Transformer架構(gòu)的模型需求。

可以看到，“周易”系列的產(chǎn)品迭代一直在圍繞市場需求變化推進?！爸芤住盭3的更新同樣如此。

只是，就目前端側(cè)AI市場來說，很多端側(cè)用戶其實并沒有很清晰的算力選型策略。鮑敏祺透露，公司現(xiàn)有客戶中可能有30%需求相對明確，而70%的客戶仍在觀望。這種情況下，芯片IP的架構(gòu)設(shè)計必須“中庸”，不能過于激進。“萬一你提前押注某個方向，但有一天忽然發(fā)現(xiàn)走不下去了，那基本上你就把客戶一起帶到溝里去了?！彼f。

因此，“中庸”并非平庸。要做到真正的“靈活適配”，不僅考驗安謀科技Arm China研發(fā)團隊的綜合實力——包括對前沿算法變化的敏銳判斷，以及整個IP設(shè)計的工程化思考和執(zhí)行力，更考驗企業(yè)決策者的戰(zhàn)略定力。這是一條真正困難但正確的路。

“周易”X3的核心價值，就在于它通過層層技術(shù)創(chuàng)新，在當前極其碎片化的端側(cè)用戶需求中找到了數(shù)個平衡點。

在架構(gòu)的平衡上，它采用DSP+DSA融合架構(gòu)，平衡了專用計算的效率與通用算法的靈活，確保硬件能適應(yīng)未來不可知的算法迭代；在精度的平衡上，通過W4A8/W4A16混合浮點計算，平衡了LLM推理所需的精度與端側(cè)的內(nèi)存帶寬限制。

這緊密關(guān)聯(lián)到帶寬的平衡，即通過WDC解壓硬件和動態(tài)Shape支持，平衡了峰值算力與系統(tǒng)有效效率，解決了困擾端側(cè)大模型的內(nèi)存瓶頸 。最后，這一切又通過生態(tài)的平衡得以閉環(huán)。憑借開放的Compass AI軟件平臺，平衡了IP的易用性與客戶的差異化定制需求，同時還保護了客戶的核心知識產(chǎn)權(quán)。

目前，新一代“周易”X3 NPU IP將端側(cè)智能的邊界拓展至更廣闊的應(yīng)用場景，面向基礎(chǔ)設(shè)施、智能汽車、移動終端、智能物聯(lián)網(wǎng)四大領(lǐng)域，精準匹配當前爆發(fā)的端側(cè)AI需求，可廣泛應(yīng)用于加速卡、智能座艙、ADAS、具身智能、AI PC、AI手機、智能網(wǎng)關(guān)、智能IPC等AI設(shè)備。

從高性能的智能駕駛到低功耗的物聯(lián)網(wǎng)設(shè)備，每個領(lǐng)域?qū)π阅?、功耗和成本的訴求都大相徑庭，而“周易”X3的架構(gòu)則給用戶提供了一個“進可攻，退可守”的選擇。

正如“周易”NPU的命名出處《易經(jīng)》中所言：“天地交而萬物通，上下交而其志同。” “周易”X3使得位于產(chǎn)業(yè)鏈不同環(huán)節(jié)、不同行業(yè)領(lǐng)域的合作伙伴，都能在一個統(tǒng)一的平臺上進行開發(fā)。當更多生態(tài)玩家都能嘗試在自己的場景下先邁出一步，高效部署端側(cè)AI的有效路徑，或許就會在眾人的實踐中迅速厘清。

（封面圖以及文中配圖來源：安謀科技Arm China）