八年前，我們第一次見(jiàn)識(shí)到了手機(jī)里的神經(jīng)網(wǎng)絡(luò)處理器（NPU），你還記得2017年華為Mate10的麒麟970吧，它比上不足（蘋(píng)果A11、驍龍835），比下有余（驍龍660、聯(lián)發(fā)科P60），卻是世界上第一款集成NPU的移動(dòng)SoC。從此，“手機(jī)本地也能跑AI”成為一種可能。

老實(shí)說(shuō)，這八年變化挺大的，蘋(píng)果和三星終于也開(kāi)始搞端側(cè)AI了，雖說(shuō)效果有好有壞；谷歌則將自家數(shù)據(jù)中心的張量處理器（TPU）運(yùn)用得愈發(fā)成熟，并在Tensor芯片中借鑒了TPU 的AI計(jì)算核心理念。從ARM、高通，到蘋(píng)果、三星，所有大科技公司在發(fā)布新產(chǎn)品時(shí)都要提那么一句：AI是智能手機(jī)未來(lái)的核心。

但實(shí)際應(yīng)用下來(lái)，移動(dòng)AI總感覺(jué)施展不開(kāi)：手機(jī)本地能用到的AI功能就那么些：基本是語(yǔ)音助手、拍照修圖、即時(shí)翻譯老三樣，應(yīng)用開(kāi)發(fā)者想搞出點(diǎn)新東西卻困難重重。這一現(xiàn)狀，NPU得承擔(dān)一部分責(zé)任，不是它不好用，而是從未真正開(kāi)放給開(kāi)發(fā)者作為平臺(tái)使用。這就讓人有些納悶了：手機(jī)里這塊叫NPU的芯片，到底能用來(lái)干什么？

先搞懂：NPU到底是什么？

就像手機(jī)里負(fù)責(zé)跑APP的CPU、玩游戲時(shí)渲染畫(huà)面的GPU，還有專(zhuān)門(mén)處理拍照錄像數(shù)據(jù)的ISP一樣，NPU也是專(zhuān)用計(jì)算單元——專(zhuān)門(mén)用來(lái)跑AI任務(wù)，追求既快又省電。如今不只是手機(jī)芯片，連英特爾和AMD的移動(dòng)處理器同樣集成了專(zhuān)用NPU，盡管與手機(jī)SoC的NPU功能側(cè)重不同。

具體來(lái)說(shuō)，NPU擅長(zhǎng)處理小體量的數(shù)據(jù)（比如4位甚至2位的精簡(jiǎn)模型）、特殊的內(nèi)存使用模式，還有一大堆數(shù)學(xué)運(yùn)算（比如融合乘加、融合乘積累加這些）。移動(dòng)NPU之所以能流行，就是因?yàn)橛行〢I任務(wù)，傳統(tǒng)處理器處理起來(lái)效率又低又費(fèi)電，它卻能更高效搞定。

當(dāng)然，早在2017年NPU初現(xiàn)時(shí)就有一種反對(duì)意見(jiàn)：跑AI任務(wù)不一定非得要NPU，很多簡(jiǎn)單的小算法，就算是性能一般的CPU也能扛；而那些支撐大語(yǔ)言模型的數(shù)據(jù)中心，用的硬件更像英偉達(dá)顯卡，跟手機(jī)里的NPU不是一回事。

但有了專(zhuān)用NPU，就能流暢跑那些CPU、GPU不擅長(zhǎng)的模型，而且通常更省電。這種分工合作的計(jì)算方式，雖然會(huì)讓芯片設(shè)計(jì)更復(fù)雜、占更多空間，但能在性能和耗電之間找到平衡，這對(duì)手機(jī)太重要了，沒(méi)人想讓AI功能把電池很快耗光吧？

AI不是本應(yīng)在顯卡上跑嗎？

關(guān)注內(nèi)存漲價(jià)的朋友都知道，AI數(shù)據(jù)中心特別需要高性能的AI和GPU加速器（尤其是英偉達(dá)的），而配套顯存和內(nèi)存都是海量的：?jiǎn)闻_(tái)AI訓(xùn)練/推理服務(wù)器需配置8張H200算力卡，其整合的顯存容量可達(dá)1.2TB，同時(shí)配備最高8TB的系統(tǒng)內(nèi)存，以滿足高負(fù)載算力需求，這就是內(nèi)存不夠用、價(jià)格飛漲的主要原因。

英偉達(dá)的CUDA架構(gòu)之所以能高效跑AI和圖形任務(wù)，核心在于其具備大規(guī)模并行計(jì)算和資源調(diào)度能力。它的張量核心能搞定各種數(shù)據(jù)格式的復(fù)雜數(shù)學(xué)運(yùn)算，包括現(xiàn)在AI模型常用的精簡(jiǎn)數(shù)據(jù)格式。

雖然現(xiàn)在手機(jī)里的GPU，比如ARM的Mali、高通的Adreno，也能處理16位甚至8位的數(shù)據(jù)，但遇到4位及以下的超精簡(jiǎn)模型時(shí)，效率就差了很多。而且手機(jī)GPU就算理論上支持這些運(yùn)算，也不是專(zhuān)門(mén)為AI設(shè)計(jì)的，AI只是它們的副業(yè)。

手機(jī)GPU首先要考慮省電，跟桌面端那些性能超強(qiáng)的顯卡不一樣。它們使用的一些技術(shù)，比如瓦片渲染（Tiled Rendering）、分片執(zhí)行（Shard Execution），不太適合長(zhǎng)時(shí)間高強(qiáng)度的計(jì)算任務(wù)。手機(jī)GPU當(dāng)然能跑AI，有些場(chǎng)景下也還行，但遇到專(zhuān)門(mén)的AI運(yùn)算，還是有更省電的選擇。

軟件開(kāi)發(fā)也很關(guān)鍵。英偉達(dá)的CUDA會(huì)把芯片的核心能力開(kāi)放給開(kāi)發(fā)者，讓他們能深度優(yōu)化AI任務(wù)的運(yùn)行。但手機(jī)平臺(tái)沒(méi)有這么底層的訪問(wèn)權(quán)限，開(kāi)發(fā)者和手機(jī)廠商只能用高通神經(jīng)處理SDK、ARM計(jì)算庫(kù)這些工具，而且大多是某家廠商專(zhuān)屬的，通用性不強(qiáng)。

這就是移動(dòng)AI開(kāi)發(fā)的大難題：桌面端開(kāi)發(fā)基本都圍繞CUDA轉(zhuǎn)（雖然AMD的ROCm也在慢慢起來(lái)），但手機(jī)里的NPU五花八門(mén)——谷歌的Tensor、驍龍的Hexagon、蘋(píng)果的神經(jīng)網(wǎng)絡(luò)引擎，每種都有自己的規(guī)矩和開(kāi)發(fā)工具，開(kāi)發(fā)者很難兼顧。

NPU未解決“平臺(tái)不統(tǒng)一”的麻煩

現(xiàn)在幾乎所有手機(jī)芯片都集成了NPU，設(shè)計(jì)它的初衷是高效處理小數(shù)據(jù)、復(fù)雜運(yùn)算和特殊內(nèi)存模式，還不用大改GPU的架構(gòu)。但獨(dú)立NPU也帶來(lái)了新問(wèn)題，尤其是第三方開(kāi)發(fā)者想做適配的時(shí)候。

雖然蘋(píng)果、驍龍、聯(lián)發(fā)科這些芯片都提供了開(kāi)發(fā)工具，但開(kāi)發(fā)者得為每個(gè)平臺(tái)單獨(dú)做適配優(yōu)化。就算是谷歌自己的Pixel手機(jī)，也沒(méi)給開(kāi)發(fā)者提供方便的通用訪問(wèn)權(quán)限：Tensor ML SDK還在測(cè)試階段，能不能正式開(kāi)放還不一定。開(kāi)發(fā)者只能通過(guò)谷歌的ML Kit用一些高層級(jí)的Gemini Nano功能，想深入用到底層硬件，根本做不到。

更糟的是，三星已經(jīng)停止了自家Neural SDK的維護(hù)和更新，谷歌之前搞的通用Android NNAPI也充滿了局限性。這就導(dǎo)致移動(dòng)AI開(kāi)發(fā)變成了一團(tuán)亂麻，各種規(guī)格、各種廢棄的工具，第三方想高效做個(gè)移動(dòng)AI應(yīng)用太難了。每家廠商自己搞的優(yōu)化方案，根本沒(méi)法推廣開(kāi)來(lái)，最后開(kāi)發(fā)者能用的，還是谷歌這些大廠掌控的云端AI或者他們自己做的精簡(jiǎn)模型。

轉(zhuǎn)機(jī)：跨平臺(tái)工具LiteRT來(lái)了

還好，谷歌2024年推出了LiteRT（其實(shí)是Tensor Flow Lite框架的升級(jí)組件），它能統(tǒng)一支持CPU、GPU和各家廠商的NPU（目前支持高通、聯(lián)發(fā)科）。LiteRT的設(shè)計(jì)初衷是在運(yùn)行時(shí)最大限度地利用硬件加速，讓軟件自行選擇最合適的方法，從而解決了NNAPI的最大缺陷——NNAPI本來(lái)想讓開(kāi)發(fā)者不用顧忌不同廠商的硬件差異，結(jié)果只統(tǒng)一了接口，實(shí)際運(yùn)行效果還是看廠商的驅(qū)動(dòng)；而LiteRT自己掌控運(yùn)行過(guò)程，就是想把這個(gè)漏洞補(bǔ)上。

有意思的是，LiteRT不僅能在Android、iOS上使用，嵌入式設(shè)備甚至桌面電腦都能用，全程在設(shè)備本地運(yùn)行AI推理，看得出來(lái)谷歌想把它做成通用的精簡(jiǎn)模型運(yùn)行工具。不過(guò)和桌面端的AI框架不一樣，LiteRT是提前設(shè)定好的，精度、精簡(jiǎn)方式這些都定死了，這樣才能在手機(jī)這種資源有限的設(shè)備上穩(wěn)定運(yùn)行。

雖然LiteRT解決了不同廠商N(yùn)PU不兼容的問(wèn)題，但結(jié)合現(xiàn)在的技術(shù)發(fā)展，我們?nèi)孕枰伎迹篘PU以后還能像現(xiàn)在這樣重要嗎？

比如ARM最新的C1系列CPU，增加了SME2擴(kuò)展指令，一些AI任務(wù)能提速4倍，而且很多開(kāi)發(fā)框架都支持，不用專(zhuān)門(mén)的工具。另外，手機(jī)GPU的架構(gòu)也可能會(huì)改，變得更適合跑AI任務(wù)，說(shuō)不定以后就用不到專(zhuān)門(mén)的NPU了。聽(tīng)說(shuō)三星也正在搞專(zhuān)門(mén)優(yōu)化AI的GPU，未來(lái)最早可能在Galaxy S28系列上用；Imagination的E系列GPU也是針對(duì)AI加速設(shè)計(jì)的，支持FP8和INT8精度，說(shuō)不定Pixel以后也會(huì)用這款芯片。

而LiteRT正好能配合這些技術(shù)進(jìn)步，開(kāi)發(fā)者不用再操心硬件怎么變。CPU對(duì)復(fù)雜指令的支持越來(lái)越好，以后跑AI任務(wù)也會(huì)越來(lái)越高效，不再是備胎；而那些對(duì)AI優(yōu)化更好的GPU，說(shuō)不定以后會(huì)取代NPU成為默認(rèn)的AI加速器，這些變化LiteRT都能應(yīng)對(duì)。這么看，LiteRT有點(diǎn)像移動(dòng)端的“CUDA”，它不是開(kāi)放硬件，而是把不同硬件的差異抹平了，讓開(kāi)發(fā)者不用再糾結(jié)。

NPU不會(huì)消失，但AI生態(tài)終于有點(diǎn)盼頭了

專(zhuān)用的移動(dòng)NPU短期內(nèi)肯定不會(huì)消失，但最開(kāi)始那種“圍著NPU轉(zhuǎn)、被廠商限制”的端側(cè)AI模式，顯然不是最終形態(tài)。對(duì)于大多數(shù)第三方應(yīng)用來(lái)說(shuō)，CPU和GPU還是會(huì)承擔(dān)大部分AI任務(wù)，尤其是它們對(duì)AI運(yùn)算的支持越來(lái)越好了。

如果LiteRT能成功，開(kāi)發(fā)者就不用再依賴(lài)某家芯片廠商的路線圖，也能開(kāi)發(fā)端側(cè)AI應(yīng)用了。盡管如此，設(shè)備端AI想擁有一個(gè)充滿活力的第三方生態(tài)，可能還有一段路要走，但我們現(xiàn)在總算朝著這個(gè)方向邁進(jìn)了一步。