論文入選ISSCC 2026。

編譯 | 程茜

編輯 | Panken

芯東西2月26日消息，2月15日-19日，在被業(yè)界譽為“芯片設(shè)計國際奧林匹克會議”的國際固態(tài)電路大會（ISSCC 2026）上，清華大學(xué)、華為等大學(xué)與公司的研究人員發(fā)表論文，首次提出一款基于HYDAR框架的28nm混合存內(nèi)計算（CiR）芯片的推薦系統(tǒng)（RecSys）加速器。

這款36M RRAM CiR芯片能實現(xiàn)390K QPS的吞吐率與1574K QPS/W能效比。其構(gòu)建的多芯片系統(tǒng)可實現(xiàn)百萬級實時端到端推薦系統(tǒng)（RecSys）。

▲芯片顯微照片與系統(tǒng)概述

在實際推薦系統(tǒng)任務(wù)中，CiR通過擴(kuò)展至576M規(guī)模的多芯片系統(tǒng)，QPS提升了66倍，QPS/W提升181倍，準(zhǔn)確率與CPU相當(dāng)。

▲芯片性能與當(dāng)前頂尖設(shè)計的對比

該芯片的核心優(yōu)勢包括：采用DL-ADC實現(xiàn)非Top-K計算的早期終止；基于預(yù)測的預(yù)取調(diào)度流水線（PPSP）數(shù)據(jù)流提升不規(guī)則工作負(fù)載的吞吐量；由粗到細(xì)的檢索架構(gòu)（coarse-to-fine）在保證系統(tǒng)召回精度的同時，可擴(kuò)展至大規(guī)模應(yīng)用。

推薦系統(tǒng)中的核心運算單元是相似向量檢索（SVS），該方式通過計算查詢向量與大規(guī)模向量庫之間的距離，檢索出Top?K最鄰近向量。

SVS會占據(jù)推薦系統(tǒng)絕大部分的計算時間與功耗，主要原因是外部存儲器訪問（EMA）開銷。其中，采用混合鍵合技術(shù)的DRAM加速器成本高昂，基于NAND TCAM的加速器存在讀取延遲高、數(shù)據(jù)與距離表示精度有限等問題。

針對上述痛點，研究人員提出一種基于RRAM的數(shù)模混合存內(nèi)計算加速器HYDAR，可實現(xiàn)高吞吐量、高能效、高精度的SVS。

基于RRAM的存內(nèi)計算（Compute-in-RRAM，CiR）因能最大限度減少數(shù)據(jù)移動、存儲密度高、并行度極大，已被公認(rèn)為深度學(xué)習(xí)加速的極具前景的技術(shù)路線。但將CiR應(yīng)用于SVS仍會帶來額外挑戰(zhàn)，如能耗與延遲急劇增加、降低PE利用率與吞吐量、精度降低等。

▲面向高效推薦系統(tǒng)的、基于CiR的SVS加速器的研究動機(jī)與設(shè)計挑戰(zhàn)

HYDAR通過CiR PE（存內(nèi)計算處理單元）、混合芯片設(shè)計與多芯片系統(tǒng)架構(gòu)協(xié)同優(yōu)化，解決了上述挑戰(zhàn)：

首先是帶動態(tài)延遲ADC（DL?ADC）的CiR PE，其通過多位模擬CiR PE集成DL?ADC，用于基于直方圖的相似向量檢索，可提前將距離與檢索閾值比較，并跳過非Top?K向量，從而降低延遲與功耗。

其次是基于預(yù)測的搶占式調(diào)度流水線（PPSP），通過這種混合芯片機(jī)制，預(yù)測每個PE的運行時間、中斷不平衡任務(wù)、插入短任務(wù)來平衡負(fù)載，以適應(yīng)動態(tài)SVS工作流，提升利用率與吞吐量。

最后是兩步由粗到精的檢索架構(gòu)，其軟硬件協(xié)同設(shè)計框架，先在CiR PE上進(jìn)行粗粒度檢索以保證高吞吐量，再在數(shù)字SVS引擎上進(jìn)行精粒度檢索，在保證召回精度的同時最大化吞吐量。

在此基礎(chǔ)上，基于HYDAR框架，研究人員采用28nm工藝流片實現(xiàn)了一款CiR原型芯片，包含36M RRAM單元，分為16個并行PE，每個PE包含一個288×4096陣列

▲HYDAR整體架構(gòu)與核心特性及基于CiR的端到端檢索系統(tǒng)

具體來看基于模擬存內(nèi)計算單元（CiR PE）的直方圖相似向量檢索（SVS）實現(xiàn)，以及支持計算提前終止的DL?ADC設(shè)計。

其通過查詢向量與基礎(chǔ)向量之間的距離分布直方圖來確定Top?K檢索的截斷閾值（CK）。在歐氏距離框架下，距離超過CK的基礎(chǔ)向量由雙模DL?ADC過濾，該ADC可動態(tài)監(jiān)測比較結(jié)果，實現(xiàn)非Top?K向量的計算提前終止。

歐氏距離計算可在288×4096的CiR陣列上完成，其中每個2T2R單元表示一個4位維度，每一列代表一個256維基礎(chǔ)向量及32維偏置。

本設(shè)計中，CiR PE在計算過程中將直方圖存入本地直方圖存儲器，隨后同步至跨PE直方圖單元（CHU），合并分布式結(jié)果以生成CK。該論文設(shè)計了三條定制指令來執(zhí)行該流程。

在DL?ADC方面，基于逐次逼近寄存器（SAR）的結(jié)構(gòu)支持提前終止模式（ET），將預(yù)生成的CK作為輸入，與每個周期生成的SAR碼一同送入按位比較器。

在迭代調(diào)整IDAC以逼近ADC輸入電流的過程中，任何一位不匹配都表明計算結(jié)果與CK存在差異，觸發(fā)提前終止，停止計算并輸出2位向量掩碼（vMask）。

最后，通過將DL?ADC設(shè)置為ET模式，距離計算與過濾可同時執(zhí)行。

▲基于動態(tài)延遲ADC（DL?ADC）的直方圖式SVS的CiR實現(xiàn)

該ET機(jī)制在數(shù)據(jù)庫規(guī)模擴(kuò)大時效果顯著，平均減少60%的計算時間和71%的功耗，宏單元面積開銷增加7%。

其次是面向SVS負(fù)載提出的基于預(yù)測的搶占式調(diào)度流水線（PPSP）。

查詢在不同PE間并行計算，而每個PE參與計算的基礎(chǔ)向量數(shù)量通常不同，這會造成計算周期差異與PE間同步開銷，進(jìn)而引發(fā)調(diào)度停頓與流水線氣泡。

PPSP采用連續(xù)搶占式調(diào)度與動態(tài)任務(wù)調(diào)度器（DTS）解決了這一問題。

DTS會對各PE上查詢執(zhí)行的完成時間戳進(jìn)行監(jiān)測與預(yù)測。該論文提出的搶占式調(diào)度機(jī)制允許新任務(wù)搶占那些即將完成的正在運行任務(wù)，這可以消除流水線氣泡、讓任務(wù)更早完成、PE更快釋放，以服務(wù)后續(xù)查詢。

在接收到指令時，任務(wù)會占用一個DTS槽位，并將其PE/段掩碼存入任務(wù)表，然后作為子任務(wù)路由到目標(biāo)PE的兩個待處理緩沖區(qū)之一。

DTS同時監(jiān)控每個任務(wù)的預(yù)測關(guān)鍵結(jié)束時間（PCET），其定義為所有子任務(wù)PET的最大值。其中的仲裁器檢查PE與正在運行任務(wù)的重疊情況，如果新任務(wù)的PET可以降低且不影響正在運行任務(wù)的PCET，則切換待處理緩沖區(qū)以搶占式調(diào)度新任務(wù)，從而提升吞吐量、降低延遲。

此外，在查詢調(diào)度期間，DTS會在后端內(nèi)存分配器中為每個查詢預(yù)分配地址空間，使得PE可以直接將結(jié)果寫入輸出緩沖區(qū)，無需PE間同步，從而實現(xiàn)PE快速釋放以處理新查詢。

▲面向動態(tài)SVS負(fù)載的、所提出的基于預(yù)測的搶占式調(diào)度流水線（PPSP）

通過以上優(yōu)化，PPSP將PE利用率提升至91%，平均查詢延遲降低30%，QPS吞吐量提升1.82倍。

最后是面向SVS、基于CiR的兩步檢索架構(gòu)。

為提升系統(tǒng)精度，該架構(gòu)集成了數(shù)字精檢索引擎，在高吞吐粗檢索結(jié)果中精確篩選向量。這使得即使在模擬CiR存在噪聲與低精度處理的情況下，仍能保持高召回精度。

該架構(gòu)還通過多CiR芯片并行擴(kuò)展了向量庫容量，并支持更廣泛的并行粗檢索，同時采用Thresh?IVF流程與系統(tǒng)流水線，進(jìn)一步提升吞吐量。

CiR PE分為三類：質(zhì)心PE（CPE）存儲聚類中心坐標(biāo)，采樣PE（SPE）存儲從每個聚類中采樣的少量向量，用于表征分布并生成CK；全量庫PE（FPE）存儲所有基礎(chǔ)向量，并全程運行在高能效的DL?ADC提前終止（ET）模式下，在整個流程中占據(jù)92.7%的向量存儲。

CiR專用的Thresh?IVF工作流程包括查詢首先送入CPE，通過IT運算計算查詢與聚類中心的距離，識別最近的聚類；系統(tǒng)將查詢路由到所選聚類的SPE，通過IH在多芯片間生成直方圖，進(jìn)而生成CK；CK被路由到步驟1所確定聚類的所有FPE，通過IC完成粗檢索ID生成。

這種系統(tǒng)級基于閾值的粗檢索，最小化了每個芯片輸出的過濾結(jié)果數(shù)量，避免了在各芯片上執(zhí)行相同Top?K計算帶來的冗余ID過濾。最后，少量候選ID被送入數(shù)字引擎，以FP16格式進(jìn)行精檢索，使系統(tǒng)級存儲帶寬需求降低97.44%。

▲兩步由粗到精檢索系統(tǒng)架構(gòu)與工作流程

該設(shè)計實現(xiàn)了系統(tǒng)級四級流水線并行；同時芯片內(nèi)不同PE也可并行處理不同任務(wù)。相較于傳統(tǒng)基于CPU的IVF方案，這種多芯片層級流水線可將延遲降低90.17%。

推薦系統(tǒng)在連接用戶與海量內(nèi)容和服務(wù)方面發(fā)揮著至關(guān)重要的作用，已廣泛部署于電商和流媒體平臺，但作為其核心運算單元相似向量檢索占據(jù)了推薦系統(tǒng)絕大部分的計算時間和功耗。

其中采用混合鍵合技術(shù)的DRAM加速器提升了帶寬以緩解EMA問題，但其成本高昂，且仍受限于DRAM與邏輯單元之間的數(shù)據(jù)傳輸瓶頸；基于NAND TCAM的加速器將計算集成到存儲陣列中以減少EMA，但存在讀取延遲高、數(shù)據(jù)和距離表示精度有限的問題。

基于此，這篇最新研究提出了一款高效的SVS加速器，能在保證高吞吐量檢索的同時，不犧牲召回精度，進(jìn)一步降低推薦系統(tǒng)的功耗。