隨著生成式AI邁入萬億參數(shù)時代，大語言模型（LLM）的推理與部署面臨著前所未有的“顯存墻”挑戰(zhàn)。如何在超節(jié)點(diǎn)（SuperNode）復(fù)雜的異構(gòu)存儲架構(gòu)下，實(shí)現(xiàn)海量張量的高效管理和調(diào)度，已成為大模型落地的勝負(fù)手。

近日，上海交通大學(xué)可擴(kuò)展計算研究所蔣力、劉方鑫老師團(tuán)隊(duì)聯(lián)合華為MindSpore團(tuán)隊(duì)，正式發(fā)布技術(shù)報告：《HyperOffload: Graph-Driven Hierarchical Memory Management for Large Language Models on SuperNode Architectures》(arXiv: 2602.00748)。

• 技術(shù)報告(arXiv):
• https://arxiv.org/abs/2602.00748
• 開源社區(qū)(AtomGit):
• https://atomgit.com/mindspore/hyper-parallel

該方案通過創(chuàng)新的“圖驅(qū)動”顯示存儲層級管理，顯著提升了超節(jié)點(diǎn)內(nèi)異構(gòu)資源的協(xié)同效率。目前，HyperOffload核心技術(shù)已作為Hyper-Parallel庫的關(guān)鍵特性，正式集成于華為官方AI框架MindSpore 2.8版本。Hyper-Paralle它成了多樣化的并行策略與異構(gòu)存儲管理方案，助力開發(fā)者在超節(jié)點(diǎn)架構(gòu)下實(shí)現(xiàn)萬億參數(shù)模型的“一鍵式”加速部署。

賦能超節(jié)點(diǎn)：從“存不下”到“存得優(yōu)”

傳統(tǒng)的內(nèi)存優(yōu)化方案往往聚焦于單卡或簡單的多卡環(huán)境，而HyperOffload專為擁有HBM、DDR及Flash等多級存儲的超節(jié)點(diǎn)（SuperNode）深度定制。其核心在于通過Hierarchical Memory Manager (HMM)模塊，將物理隔離的存儲介質(zhì)轉(zhuǎn)化為邏輯上的“資源池化”視圖。

• 全要素存儲協(xié)同與資源池化：HyperOffload突破了以往只針對權(quán)重（Weights）卸載的局限，實(shí)現(xiàn)了對推理全流程中KV Cache、中間激活值（Activations）及優(yōu)化器狀態(tài)的深度分層管理。論文提出的統(tǒng)一邏輯視圖，能根據(jù)硬件拓?fù)渥詣痈袘?yīng)HBM和DDR的帶寬差異，將海量張量跨介質(zhì)無縫縫合，實(shí)現(xiàn)了“邏輯顯存”對物理顯存瓶頸的降維打擊。
• 
  
• 極致容量拓容： 結(jié)合選擇性參數(shù)卸載（Selective Offload）與自適應(yīng)激活值交換（Adaptive Swapping）技術(shù)，該方案能讓超大規(guī)模模型在有限顯存的硬件集群上平滑運(yùn)行，確保訓(xùn)推業(yè)務(wù)“不斷檔”。

選擇性參數(shù)卸載：引入了多維代價模型（Cost Model），系統(tǒng)會根據(jù)張量的訪問頻率、重計算代價及通信帶寬損耗進(jìn)行智能評分。通過識別非關(guān)鍵路徑上的“冷張量”，確保高頻調(diào)用的核心算子始終駐留高速HBM，而海量背景數(shù)據(jù)則有序分布在DDR中。

自適應(yīng)激活值交換：針對LLM推理中動態(tài)膨脹的KV Cache，系統(tǒng)通過動態(tài)水位線監(jiān)控機(jī)制自動觸發(fā)交換協(xié)議。即便面對超長上下文的極端顯存壓力，也能通過細(xì)粒度的張量換入換出確保業(yè)務(wù)“不斷檔”，極大提升了單節(jié)點(diǎn)能承載的模型規(guī)模。

圖驅(qū)動規(guī)劃：“被動調(diào)度”到“全局規(guī)劃”

不同于傳統(tǒng)的運(yùn)行時被動觸發(fā)，HyperOffload引入了創(chuàng)新的編譯驅(qū)動圖化管理策略。它利用MindSpore的靜態(tài)圖編譯技術(shù)，將資源管理從“滯后的響應(yīng)”進(jìn)化為“確定的預(yù)演”，具體優(yōu)化如下：

1.靜態(tài)圖語義增強(qiáng)：構(gòu)建“上帝視角”

在編譯階段，HyperOffload引擎會對MindIR靜態(tài)圖進(jìn)行深度語義掃描，開展全局張量生命周期分析。系統(tǒng)會在計算流水線中精準(zhǔn)定位內(nèi)存峰值點(diǎn)，并提前在圖中顯式植入SwapIn與SwapOut原語。這意味著在推理啟動前，整場“數(shù)據(jù)物資調(diào)度”的路線圖已完全確定，消除了運(yùn)行時頻繁申請/釋放內(nèi)存帶來的碎片化和系統(tǒng)開銷。

2.算力與帶寬的深度重疊：實(shí)現(xiàn)“無感通信”

利用昇騰（Ascend）硬件的異步并行能力，HyperOffload實(shí)現(xiàn)了近乎完美的無感通信掩蓋：

·全局預(yù)判：系統(tǒng)根據(jù)計算圖的進(jìn)度，精準(zhǔn)預(yù)判下一階段的張量需求，提前下達(dá)搬運(yùn)指令。

·提前預(yù)?。?/strong>依托“糧草先行”邏輯，當(dāng)NPU的計算核心（Cube/Vector）正在處理當(dāng)前層任務(wù)時，下一層的權(quán)重或KV Cache已異步從DDR換入顯存。

·通信遮掩：這種深度重疊將昂貴的數(shù)據(jù)遷移開銷完全掩蓋在計算任務(wù)的執(zhí)行周期內(nèi)。實(shí)驗(yàn)表明，該策略極大提升了超節(jié)點(diǎn)的整體算力利用率，使系統(tǒng)在不增加硬件成本的前提下，實(shí)現(xiàn)了吞吐量的階躍式提升。

產(chǎn)學(xué)研深度合作：加速AI工業(yè)化進(jìn)程

HyperOffload的發(fā)布，標(biāo)志著上海交通大學(xué)科研團(tuán)隊(duì)與華為MindSpore團(tuán)隊(duì)在AI基礎(chǔ)設(shè)施領(lǐng)域的合作邁向新階段。目前，該方案已在多個大規(guī)模商用項(xiàng)目中落地，為萬億參數(shù)模型的輕量化部署提供了成熟的工業(yè)級參考。

未來，雙方將繼續(xù)深耕超節(jié)點(diǎn)架構(gòu)下的性能優(yōu)化，構(gòu)建更具彈性的端到端推理框架，為生成式AI的規(guī)?；瘧?yīng)用夯實(shí)底座。