隨著生成式AI邁入萬億參數(shù)時代，大語言模型（LLM）的推理與部署面臨著前所未有的“顯存墻”挑戰(zhàn)。如何在超節(jié)點（SuperNode）復雜的異構存儲架構下，實現(xiàn)海量張量的高效管理和調(diào)度，已成為大模型落地的勝負手。

近日，上海交通大學可擴展計算研究所蔣力、劉方鑫老師團隊聯(lián)合華為MindSpore團隊，正式發(fā)布技術報告：《HyperOffload: Graph-Driven Hierarchical Memory Management for Large Language Models on SuperNode Architectures》(arXiv: 2602.00748)。

• 技術報告(arXiv):
• https://arxiv.org/abs/2602.00748
• 開源社區(qū)(AtomGit):
• https://atomgit.com/mindspore/hyper-parallel

該方案通過創(chuàng)新的“圖驅動”顯示存儲層級管理，顯著提升了超節(jié)點內(nèi)異構資源的協(xié)同效率。目前，HyperOffload核心技術已作為Hyper-Parallel庫的關鍵特性，正式集成于華為官方AI框架MindSpore 2.8版本。Hyper-Paralle它成了多樣化的并行策略與異構存儲管理方案，助力開發(fā)者在超節(jié)點架構下實現(xiàn)萬億參數(shù)模型的“一鍵式”加速部署。

賦能超節(jié)點：從“存不下”到“存得優(yōu)”

傳統(tǒng)的內(nèi)存優(yōu)化方案往往聚焦于單卡或簡單的多卡環(huán)境，而HyperOffload專為擁有HBM、DDR及Flash等多級存儲的超節(jié)點（SuperNode）深度定制。其核心在于通過Hierarchical Memory Manager (HMM)模塊，將物理隔離的存儲介質轉化為邏輯上的“資源池化”視圖。

• 全要素存儲協(xié)同與資源池化：HyperOffload突破了以往只針對權重（Weights）卸載的局限，實現(xiàn)了對推理全流程中KV Cache、中間激活值（Activations）及優(yōu)化器狀態(tài)的深度分層管理。論文提出的統(tǒng)一邏輯視圖，能根據(jù)硬件拓撲自動感應HBM和DDR的帶寬差異，將海量張量跨介質無縫縫合，實現(xiàn)了“邏輯顯存”對物理顯存瓶頸的降維打擊。
• 
  
• 極致容量拓容： 結合選擇性參數(shù)卸載（Selective Offload）與自適應激活值交換（Adaptive Swapping）技術，該方案能讓超大規(guī)模模型在有限顯存的硬件集群上平滑運行，確保訓推業(yè)務“不斷檔”。

選擇性參數(shù)卸載：引入了多維代價模型（Cost Model），系統(tǒng)會根據(jù)張量的訪問頻率、重計算代價及通信帶寬損耗進行智能評分。通過識別非關鍵路徑上的“冷張量”，確保高頻調(diào)用的核心算子始終駐留高速HBM，而海量背景數(shù)據(jù)則有序分布在DDR中。

自適應激活值交換：針對LLM推理中動態(tài)膨脹的KV Cache，系統(tǒng)通過動態(tài)水位線監(jiān)控機制自動觸發(fā)交換協(xié)議。即便面對超長上下文的極端顯存壓力，也能通過細粒度的張量換入換出確保業(yè)務“不斷檔”，極大提升了單節(jié)點能承載的模型規(guī)模。

圖驅動規(guī)劃：“被動調(diào)度”到“全局規(guī)劃”

不同于傳統(tǒng)的運行時被動觸發(fā)，HyperOffload引入了創(chuàng)新的編譯驅動圖化管理策略。它利用MindSpore的靜態(tài)圖編譯技術，將資源管理從“滯后的響應”進化為“確定的預演”，具體優(yōu)化如下：

1.靜態(tài)圖語義增強：構建“上帝視角”

在編譯階段，HyperOffload引擎會對MindIR靜態(tài)圖進行深度語義掃描，開展全局張量生命周期分析。系統(tǒng)會在計算流水線中精準定位內(nèi)存峰值點，并提前在圖中顯式植入SwapIn與SwapOut原語。這意味著在推理啟動前，整場“數(shù)據(jù)物資調(diào)度”的路線圖已完全確定，消除了運行時頻繁申請/釋放內(nèi)存帶來的碎片化和系統(tǒng)開銷。

2.算力與帶寬的深度重疊：實現(xiàn)“無感通信”

利用昇騰（Ascend）硬件的異步并行能力，HyperOffload實現(xiàn)了近乎完美的無感通信掩蓋：

·全局預判：系統(tǒng)根據(jù)計算圖的進度，精準預判下一階段的張量需求，提前下達搬運指令。

·提前預取：依托“糧草先行”邏輯，當NPU的計算核心（Cube/Vector）正在處理當前層任務時，下一層的權重或KV Cache已異步從DDR換入顯存。

·通信遮掩：這種深度重疊將昂貴的數(shù)據(jù)遷移開銷完全掩蓋在計算任務的執(zhí)行周期內(nèi)。實驗表明，該策略極大提升了超節(jié)點的整體算力利用率，使系統(tǒng)在不增加硬件成本的前提下，實現(xiàn)了吞吐量的階躍式提升。

產(chǎn)學研深度合作：加速AI工業(yè)化進程

HyperOffload的發(fā)布，標志著上海交通大學科研團隊與華為MindSpore團隊在AI基礎設施領域的合作邁向新階段。目前，該方案已在多個大規(guī)模商用項目中落地，為萬億參數(shù)模型的輕量化部署提供了成熟的工業(yè)級參考。

未來，雙方將繼續(xù)深耕超節(jié)點架構下的性能優(yōu)化，構建更具彈性的端到端推理框架，為生成式AI的規(guī)?；瘧煤粚嵉鬃?。