新智元報(bào)道

編輯：犀牛

【新智元導(dǎo)讀】當(dāng)硅谷Taalas將大模型「物理焊死」進(jìn)芯片引爆全球半導(dǎo)體圈，來自上海交大、輝羲智能與微軟亞洲研究院的研究團(tuán)隊(duì)早已走得更遠(yuǎn)——他們用ROM+SRAM異構(gòu)架構(gòu)，將端側(cè)LLM推理速度推至20,000 tokens/s，端側(cè)算力直接起飛。

近期，硅谷初創(chuàng)公司 Taalas 提出的「模型即芯片（Model-on-Chip）」方案引發(fā)了全球半導(dǎo)體業(yè)界對(duì)「硬核 AI」的深度反思。

他們繞開了所有熱門概念，直接把AI大模型，物理焊死在硅片里！

芯片運(yùn)行Llama 3.1 8B的速度達(dá)到了17,000tokens/秒。

足足比業(yè)界最頂端的英偉達(dá)GPU提升了將近10倍！

英偉達(dá)這邊也沒閑著，GTC 2026前夕，英偉達(dá)釋放明確信號(hào)：即將發(fā)布的Feynman架構(gòu)將與Groq LPU技術(shù)實(shí)現(xiàn)深度融合。

LPU架構(gòu)通過預(yù)編排的固定指令流驅(qū)動(dòng)模型，摒棄傳統(tǒng)HBM主存，轉(zhuǎn)而采用片上SRAM存儲(chǔ)權(quán)重，大幅突破了原有的訪問速度與帶寬瓶頸。

這些都預(yù)示著，在Scaling Law驅(qū)動(dòng)的大模型時(shí)代，傳統(tǒng)的通用指令集正成為鎖死算力的枷鎖。

如何從物理層面徹底擊碎困擾大語言模型（LLM）部署的「內(nèi)存墻」，已成為定義生成式 AI 下半場(chǎng)的關(guān)鍵。

現(xiàn)有端側(cè)存儲(chǔ)方案不能同時(shí)滿足LLM推理的存儲(chǔ)容量和訪存帶寬需求

事實(shí)上，針對(duì) LLM 的訪存特性，來自上海交大、輝羲智能及微軟亞洲研究院的研究團(tuán)隊(duì)早已展開了一場(chǎng)存儲(chǔ)層次結(jié)構(gòu)的創(chuàng)新研究。

通過ROMA與TOM系列研究，團(tuán)隊(duì)展現(xiàn)了與 Taalas 不謀而合的架構(gòu)洞察：通過對(duì)只讀存儲(chǔ)（ROM）的顛覆性應(yīng)用與「算法-架構(gòu)」深度協(xié)同，成功將LLM 的端側(cè)推理速度推向 20,000 tokens/s的水平，這一突破性成果在具身智能等前沿領(lǐng)域展現(xiàn)了巨大的應(yīng)用潛力。

ROMA：打破傳統(tǒng)存儲(chǔ)層次

重塑端側(cè)能效

在大模型端側(cè)部署的實(shí)戰(zhàn)中，傳統(tǒng)的內(nèi)存層次結(jié)構(gòu)正面臨前所未有的挑戰(zhàn)。

研究團(tuán)隊(duì)提出的 ROMA（Read-Only-Memory-based Accelerator） 架構(gòu)，針對(duì)端側(cè)場(chǎng)景的特殊需求，給出了一套系統(tǒng)的解法。

ROMA的計(jì)算架構(gòu)，采用ROM+SRAM的方案

1.引入只讀存儲(chǔ)（ROM）：從源頭解決訪存能效

研究團(tuán)隊(duì)發(fā)現(xiàn)，大模型推理的能效瓶頸主要源于權(quán)重?cái)?shù)據(jù)在外部?jī)?nèi)存（如 LPDDR）與計(jì)算單元之間的頻繁搬運(yùn)。

ROMA 另辟蹊徑，利用高集成密度、低功耗的只讀存儲(chǔ)（ROM）作為權(quán)重的存儲(chǔ)載體，將模型參數(shù)從源頭上固化在芯片內(nèi)部，大幅度降低了訪存功耗。

2.QLoRA 賦能靈活性：在「固化」中尋找演進(jìn)空間

完全硬連線的芯片往往難以應(yīng)對(duì)算法的快速迭代。ROMA 巧妙地引入了 QLoRA 機(jī)制，通過ROM（基座模型）+ SRAM（LoRA 適配器）的混合設(shè)計(jì)，確保了芯片在擁有「硬核」性能的同時(shí)，依然保留了強(qiáng)大的應(yīng)用靈活性。

開發(fā)者只需下發(fā)極小規(guī)模的 LoRA 插件，即可讓固化的基座模型在不同垂直任務(wù)間快速切換。

3.架構(gòu)與物理設(shè)計(jì)協(xié)同：極致的物理實(shí)現(xiàn)

為了實(shí)現(xiàn)真正的片上全模型存儲(chǔ)，團(tuán)隊(duì)進(jìn)行了深度的 架構(gòu)與物理設(shè)計(jì)協(xié)同優(yōu)化。

通過獨(dú)創(chuàng)的 B-ROM 設(shè)計(jì)，將計(jì)算單元與存儲(chǔ)陣列進(jìn)行緊耦合的物理布局，極大地縮短了信號(hào)傳輸路徑。

這種協(xié)同設(shè)計(jì)讓 ROMA 在有限的芯片面積內(nèi)，實(shí)現(xiàn)了對(duì)數(shù)億參數(shù)模型的高效容納與實(shí)時(shí)調(diào)度。

最終，ROMA的規(guī)格和指標(biāo)與Taalas非常接近：ROMA采用7nm工藝庫，芯片面積約 500 mm2，可以完整容納4bit LLaMA3.2-3B 或者 2bit LLaMA3-8B，推理性能達(dá)到20,000 tokens/s，而同樣采用ROM+SRAM的方案的Taalas是6nm工藝，面積約800mm2，可容下3-6bit llama3.1-8B，性能接近20,000 tokens/s。

TOM：深度挖掘三值化大模型

帶來的存儲(chǔ)紅利

在 ROMA 的基礎(chǔ)上，最新的TOM（Ternary-Oriented Memory）架構(gòu)進(jìn)一步將優(yōu)化的觸角延伸到了算法底層的存儲(chǔ)特征中，把ROMA擴(kuò)展到BitNet/Ternary量化這個(gè)場(chǎng)景，利用低比特權(quán)重的0值稀疏性，繼續(xù)提升了ROM的存儲(chǔ)密度。

低比特模型0值分布特征，帶來ROM存儲(chǔ)密度提升潛力

1.捕捉 BitNet 的硬件友好性：開啟「以邏輯代存儲(chǔ)」范式

研究團(tuán)隊(duì)發(fā)現(xiàn)，以 BitNet-b1.58 為代表的三值化（{-1, 0, 1}）模型展現(xiàn)出了極佳的硬件友好性 。

基于這一發(fā)現(xiàn)，TOM 摒棄了傳統(tǒng)的存儲(chǔ)陣列，通過邏輯合成技術(shù)直接利用標(biāo)準(zhǔn)邏輯門實(shí)現(xiàn)模型權(quán)重的固化存儲(chǔ) 。

在這種新范式下，硬件能夠直接識(shí)別并物理消除權(quán)重中「0」元素的存儲(chǔ)電路 。這一極致收益的實(shí)現(xiàn)，得益于三值模型中零值參數(shù)本就占據(jù)絕大多數(shù)的天然稀疏特性，加上定制的編碼方法（使用「10」而非「11」來表示 -1），從而大幅拉高了 0-bit 的整體占比，從根本上降低了物理開銷 。

2.存儲(chǔ)邏輯的深度合并與復(fù)用：極限壓縮芯片面積

為了進(jìn)一步推高面積效率，TOM 引入了精細(xì)的邏輯優(yōu)化策略：通過識(shí)別并提取不同權(quán)重存儲(chǔ)邏輯中的公共子序列，對(duì)重復(fù)的邏輯門進(jìn)行深度合并與復(fù)用。

這種從物理層對(duì)存儲(chǔ)邏輯進(jìn)行的「極限去重」，使得 TOM 相比 ROMA 實(shí)現(xiàn)了片上存儲(chǔ)密度的數(shù)倍提升與芯片面積的大幅削減。

這也再次印證了算法-硬件聯(lián)合設(shè)計(jì)在突破 AI 算力邊界時(shí)的核心重要性。

具身智能與極端場(chǎng)景

ROM 架構(gòu)的「降維打擊」

「模型即芯片」方案的興起，精準(zhǔn)捕捉到了當(dāng)前端側(cè)應(yīng)用的兩大痛點(diǎn)：

1.具身智能的「實(shí)時(shí)確定性」

在機(jī)器人、無人設(shè)備等具身智能場(chǎng)景中，毫秒級(jí)的響應(yīng)延遲往往決定了系統(tǒng)的物理安全性。

ROMA 提供的 20,000+ tokens/s 吞吐量，是為了提供一種高確定性的實(shí)時(shí)反饋。

這讓機(jī)器人能夠像擁有脊髓反射一樣，在感知到復(fù)雜的物理環(huán)境變化時(shí)，瞬時(shí)做出語義理解與避障決策。

2.極端環(huán)境下的生存優(yōu)勢(shì)：深海與火星

在深海探測(cè)器、火星漫游車等極端場(chǎng)景下，DRAM 等易失性存儲(chǔ)器不僅能耗高，且容易受到高能射線干擾產(chǎn)生軟錯(cuò)誤。

ROM 架構(gòu)具有天然的穩(wěn)定性和抗輻射性。

在能源匱乏、通信隔絕的極端環(huán)境下，搭載 ROMA/TOM 架構(gòu)的設(shè)備依然能獨(dú)立、穩(wěn)定地完成復(fù)雜的智能任務(wù)，且待機(jī)功耗極低。

這使得大模型能夠真正走出實(shí)驗(yàn)室，進(jìn)入人類探索的「無人區(qū)」。

3.智能終端的隱私「防火墻」

對(duì)于手機(jī)端本地文本處理等場(chǎng)景，用戶對(duì)模型基座的頻繁更新需求并不高，但對(duì)隱私極其敏感。

將成熟、穩(wěn)定的模型能力固化在本地隔離電路中，不僅免去了頻繁聯(lián)網(wǎng)的能耗，更在物理層面上杜絕了數(shù)據(jù)外泄的風(fēng)險(xiǎn)。

結(jié)語

開啟端側(cè)內(nèi)存層次結(jié)構(gòu)的新紀(jì)元

從 Taalas 的破圈到研究團(tuán)隊(duì)ROMA與TOM系列工作的深度探索，我們正見證 AI 硬件架構(gòu)的一個(gè)重要轉(zhuǎn)向。

這種引入ROM+SRAM異構(gòu)存儲(chǔ)層次結(jié)構(gòu)的創(chuàng)新，結(jié)合對(duì)三值邏輯存儲(chǔ)特性的極致挖掘，為端側(cè)大模型部署提供了一條全新的進(jìn)路。

ROMA與TOM系列研究的誕生，植根于“模型即芯片”的設(shè)計(jì)思維。

團(tuán)隊(duì)的這種強(qiáng)調(diào)算法與硬件深度耦合的思維來源，最早可追溯至微軟亞洲研究院（MSRA）時(shí)期。

核心作者中，王文強(qiáng)與曹士杰曾先后作為MSRA實(shí)習(xí)生在徐寧儀老師指導(dǎo)下開展研究，積淀了深厚的工業(yè)界系統(tǒng)經(jīng)驗(yàn)；張毅佳在上海交大攻讀博士期間師從徐老師，并先后在 MSRA 系統(tǒng)組與輝羲智能實(shí)習(xí)。

研究團(tuán)隊(duì)長期從事算法-芯片聯(lián)合設(shè)計(jì)的研究，在AI芯片架構(gòu)設(shè)計(jì)、大模型輕量化等方面有豐富經(jīng)驗(yàn)。

這種由資深架構(gòu)師、企業(yè)研究員與學(xué)術(shù)新生代構(gòu)成的多重紐帶，讓團(tuán)隊(duì)得以將前沿的實(shí)戰(zhàn)思維與學(xué)術(shù)界的理論創(chuàng)新高效結(jié)合，在大模型范式下實(shí)現(xiàn)了從通用計(jì)算向 LLM 原生架構(gòu)的協(xié)同突破。

團(tuán)隊(duì)介紹

關(guān)于上交大團(tuán)隊(duì)：團(tuán)隊(duì)來自上海交通大學(xué)計(jì)算機(jī)學(xué)院定制計(jì)算中心（Customized Computing Center - CCC，ccc.sjtu.edu.cn），CCC聚焦于解決數(shù)據(jù)中心、邊緣設(shè)備和傳感器的所面臨的各種計(jì)算挑戰(zhàn)。

關(guān)于輝羲智能：輝羲智能致力于成為全球領(lǐng)先的具身智能AI計(jì)算平臺(tái)供應(yīng)商，以卓越算力促進(jìn)人工智能發(fā)展。成立三年，公司已實(shí)現(xiàn)大算力端側(cè)旗艦芯片R1的成功流片與量產(chǎn)交付，率先在具身智能領(lǐng)域走通“芯片-平臺(tái)-產(chǎn)品”的全棧自主國產(chǎn)化路徑。

參考資料：

ROMA:https://arxiv.org/pdf/2503.12988

TOM:https://arxiv.org/abs/2602.20662