這兩天，英偉達(dá)一個最新研究結(jié)論讓業(yè)界備受關(guān)注——小型語言模型（SLM）才是智能體的未來。緊接著，英偉達(dá)又拋出了自己的全新小型語言模型：Nemotron-Nano-9B-V2，該模型在部分基準(zhǔn)測試中達(dá)到了同類產(chǎn)品中的最高性能。

事實(shí)上，小型語言模型（SLM）的風(fēng)，也刮到了MCU和MPU領(lǐng)域。

小模型，就是“壓小”的大模型

小型語言模型（SLM）也許我們早有所接觸。SLM 的參數(shù)范圍從幾百萬到幾十億不等，而 LLM 則具有數(shù)千億甚至數(shù)萬億參數(shù)。

SLM是由LLM壓縮而來，壓縮模型需要在縮小模型的同時(shí)，盡可能保留模型的準(zhǔn)確性。常見方法如下：

• 知識蒸餾：利用從大型“教師”模型轉(zhuǎn)移的知識來訓(xùn)練一個較小的“學(xué)生”模型；

• 剪枝：移除神經(jīng)網(wǎng)絡(luò)架構(gòu)中冗余或不那么重要的參數(shù)；

• 量化：降低計(jì)算中使用的數(shù)值精度（例如，將浮點(diǎn)數(shù)轉(zhuǎn)換為整數(shù)）。

小型語言模型比大型模型更緊湊、更高效。因此，SLM需要較少的內(nèi)存和計(jì)算能力，非常適合資源受限的邊緣或者嵌入式設(shè)備。

許多小而強(qiáng)大的語言模型已經(jīng)出現(xiàn)，證明大小并非一切。常見的10億到40億的SLM包括Llama3.2-1B（Meta開發(fā)的10億參數(shù)變體）、Qwen2.5-1.5B（阿里巴巴的15億參數(shù)模型）、DeepSeeek-R1-1.5B（DeepSeek的15億參數(shù)模型）、SmolLM2-1.7B（HuggingFaceTB，的17億參數(shù)模型）、Phi-3.5-Mini-3.8B（微軟的38億參數(shù)模型）、Gemma3-4B（Google DeepMind的40億參數(shù)模型）。

跑SLM，靠得不光是算力

對MPU來說，跑SLM，似乎不是什么難題。但對開發(fā)人員來說，如何知道MCU支持是否支持運(yùn)行生成式AI？

這個問題沒有單一、直接的答案——不過有一個硬性要求，即MCU的神經(jīng)處理單元（NPU）必須能夠加速Transformer運(yùn)行。

除此之外，跑生成式AI，對于MCU的帶寬系統(tǒng)總線以及以及大容量、高速、緊密耦合的內(nèi)存配置有要求。

其實(shí)，現(xiàn)在很多人都去只用GOPS（十億次運(yùn)算每秒）或TOPS（萬億次運(yùn)算每秒）來比較微控制器的原始吞吐量，目前性能最佳的MCU能提供高達(dá)250GOPS的算力，而用于生成式AI的MCU將至少提供兩倍于此的性能。但原始吞吐量并非衡量實(shí)際系統(tǒng)性能的理想指標(biāo)。

因?yàn)槌晒Φ纳墒紸I應(yīng)用程序需要支持Transformer運(yùn)算，會在系統(tǒng)內(nèi)部、內(nèi)存、神經(jīng)處理單元、中央處理器以及圖像信號處理器等外圍功能之間傳輸大量數(shù)據(jù)。因此，一個具有高原始吞吐量的系統(tǒng)理論上或許能快速處理大量數(shù)據(jù)，但如果系統(tǒng)無法將數(shù)據(jù)快速傳輸給神經(jīng)處理單元，實(shí)際性能就會十分緩慢，令人失望。

當(dāng)然，對MPU來說，大帶寬、內(nèi)存、總線之間的緊密耦合也至關(guān)重要。

Aizip與Renesas合作的SLM項(xiàng)目

早在去年8月，Aizip就與Renesas攜手合作，在MPU上展示了用于邊緣系統(tǒng)應(yīng)用的超高效SLM和緊湊型AI Agents，這些小巧而高效的模型已經(jīng)集成到基于 Arm Cortex-A55的Renesas RZ/G2L和RZ/G3S主板中。

Aizip創(chuàng)建了一系列超高效的小型語言模型（SLM）和人工智能代理（AI Agents），名為 Gizmo，規(guī)模從3億到20億個參數(shù)不等。這些型號支持多種平臺，包括適用于廣泛應(yīng)用的 MPU和應(yīng)用處理器。

SLM使設(shè)備邊緣應(yīng)用程序上的AI代理能夠提供與大型語言模型（LLM）相同的功能，但在邊緣占用空間上。設(shè)備上模型具有增強(qiáng)的隱私保護(hù)、彈性作和節(jié)省成本等優(yōu)勢。雖然一些公司已經(jīng)成功地減小了手機(jī)語言模型的大小，但確保在低成本邊緣設(shè)備上為自動化應(yīng)用提供準(zhǔn)確的工具調(diào)用仍然是這些 SLM 面臨的重大挑戰(zhàn)。

據(jù)介紹，在運(yùn)行頻率為1.2 GHz的單個A55內(nèi)核的RZ/G2L上，這些SLM可以實(shí)現(xiàn)不到3秒的響應(yīng)時(shí)間。

MCU，也在加大對SLM投入

Alif Semiconductor最近發(fā)布了最新系列的MCU和融合處理器——Ensemble E4、E6和E8，便主要針對支持SLM在內(nèi)的生成式AI模型的運(yùn)行。與此同時(shí)，Alif是首家使用 Arm Ethos-U85 NPU（神經(jīng)處理單元）的芯片供應(yīng)商，該芯片支持基于Transformer的機(jī)器學(xué)習(xí)網(wǎng)絡(luò)。

根據(jù)基準(zhǔn)測試結(jié)果顯示，該系列在不到2毫秒的時(shí)間內(nèi)進(jìn)行高能效物體檢測、圖像分類時(shí)間不到8毫秒、在E4設(shè)備上執(zhí)行的SLM在生成文本以根據(jù)用戶提供的提示構(gòu)建故事時(shí)僅消耗36mW的功率。

Ensemble E4（MCU）采用雙Arm Cortex-M55內(nèi)核，Ensemble E6和E8融合處理器分別基于Arm Cortex-A32內(nèi)核和雙Cortex-M55內(nèi)核，值得注意的是E4/E6/E8均搭載雙Ethos-U55+Ethos-U85，算力非常強(qiáng)大。

Alif認(rèn)為，相比其他制造商，他們布局更早，因?yàn)榈谝淮鶨nsemble MCU系列早在2021年就發(fā)布了，從那時(shí)起我們就一直在批量出貨E1、E3、E5 和 E7設(shè)備。而在其他MCU廠商還停留在第一代AI MCU時(shí)，Alif就發(fā)布了第二代產(chǎn)品，同時(shí)是業(yè)界首款支持基于Transformer的網(wǎng)絡(luò)的MCU，是LLM和其他生成式AI模型的基礎(chǔ)。

SLM會是嵌入式的未來

SLM在大幅壓縮模型體積的同時(shí)，盡可能保留了模型的準(zhǔn)確性。這種高效、緊湊的特性，使其完美契合了資源受限的邊緣和嵌入式設(shè)備，為這些設(shè)備帶來了前所未有的智能能力。

事實(shí)上，邊緣AI的未來圖景正在徐徐展開，SLM也會是MCU和MPU廠商會布局的關(guān)鍵領(lǐng)域之一。

比如，意法半導(dǎo)體的STM32N6、英飛凌PSoC Edge最新一代MCU、TI的AM62A和TMS320F28P55x、恩智浦的i.MX RT700和i.MX 95、ADI的MAX7800X都開始重視NPU。

嵌入式AI最初主要是在Linux系統(tǒng)上運(yùn)行的相對昂貴的基于微處理器的產(chǎn)品的一項(xiàng)功能。但很快，市場意識到邊緣和端點(diǎn)設(shè)備中也有AI的空間——其中許多設(shè)備都是基于MCU。所以，在2025年下半年，先進(jìn)的MCU廠商都將提供AI功能的產(chǎn)品納入其產(chǎn)品組合中。這些廠商的NPU分為Arm Ethos IP一派和自研一派。目前來看，最新的Ethos-U85開始支持Transformer，并且在半年前展示了搭載SLM的效果，其他廠商也在不斷跟進(jìn)。在未來，相信SLM也會徹底改變MCU和MPU的格局。

參考文獻(xiàn)

[1]IBM：https://www.ibm.com/cn-zh/think/topics/small-language-models

[2]Hugging-Face：https://hugging-face.cn/blog/jjokah/small-language-model

[3]Alif：https://alifsemi.com/comparing-mcus-for-generative-ai-its-not-just-about-the-gops/

[4]Alif：https://alifsemi.com/who-wins-in-the-race-to-make-ai-mcus/

[5]Arm：https://newsroom.arm.com/blog/small-language-model-generative-ai-edge

歡迎將我們設(shè)為“星標(biāo)”，這樣才能第一時(shí)間收到推送消息。

關(guān)注EEWorld旗下訂閱號：“機(jī)器人開發(fā)圈”

回復(fù)“DS”領(lǐng)取《DeepSeek:從入門到精通》完整版

掃碼添加小助手回復(fù)“機(jī)器人”

進(jìn)群和電子工程師們面對面交流經(jīng)驗(yàn)