近日，記憶張量聯(lián)合商湯大裝置宣布，在國產(chǎn)GPGPU上率先跑通業(yè)內(nèi)首個(gè)以“記憶—計(jì)算—調(diào)度”一體化為核心的PD分離商用推理集群。在真實(shí)C端負(fù)載下實(shí)現(xiàn)了單卡并發(fā)效率提升20%、吞吐提升75%，綜合推理性價(jià)比達(dá)到同代NVIDIA A100的150%。這一成果標(biāo)志著國產(chǎn)算力體系在大模型商業(yè)化路徑上首次具備“體系級(jí)”競爭力，為高性能模型的大規(guī)模落地打開了全新的降本增效空間。

結(jié)構(gòu)共振

讓 PD 分離從優(yōu)化技巧走向推理范式

記憶張量旗下核心產(chǎn)品MemOS作為業(yè)內(nèi)唯一一家以記憶為中心，覆蓋從底層推理、到記憶模型，再到應(yīng)用工程進(jìn)行系統(tǒng)設(shè)計(jì)的記憶基礎(chǔ)設(shè)施，將大模型的認(rèn)知結(jié)構(gòu)劃分為三類記憶，并形成了一條跨時(shí)間尺度的調(diào)度鏈路，可以進(jìn)行精細(xì)的決策：哪些計(jì)算應(yīng)該前移到Prefill，哪些必須留在Decode，以及任務(wù)的保留、降級(jí)或淘汰等。

顯然，MemOS更適合和PD分離進(jìn)行結(jié)合——它擁有一整套可以“決定如何用這條通道”的調(diào)度邏輯，從而把PD分離原本有限的收益空間盡可能壓榨到極致。

在本次聯(lián)合方案中，商湯大裝置提供了讓MemOS 三層記憶結(jié)構(gòu)擁有物理載體的頂層系統(tǒng)級(jí)基礎(chǔ)設(shè)施。依托商湯大裝置IaaS的高效算力池、智能算力調(diào)度等為模型推理提供穩(wěn)定的基礎(chǔ)設(shè)施支撐；并借助Ignite框架提供多后端推理適配、KV Cache管理優(yōu)化、關(guān)鍵算子加速、跨節(jié)點(diǎn)通信調(diào)優(yōu)等性能增強(qiáng)，形成體系化的推理優(yōu)化鏈路；同時(shí)，商湯萬象MaaS平臺(tái)的統(tǒng)一調(diào)度策略確保Prefill與Decode服務(wù)在高并發(fā)場景下始終穩(wěn)定運(yùn)行。

在商湯大裝置的某國產(chǎn)GPGPU集群上，MemOS的記憶結(jié)構(gòu)被映射成了非常清晰的物理分工：

● P域（Prefill Domain）變成真正的“記憶工廠”，集中承載影子上下文的預(yù)測(cè)與KV Cache的批量預(yù)生成，在P域以高并行、高利用率的方式運(yùn)行；

● D域（Decode Domain）則被打造為純粹的“實(shí)時(shí)交互前臺(tái)”，專注處理真實(shí)用戶請(qǐng)求的解碼過程，在保持超低TTFT的前提下，承擔(dān)起R1這一類大模型在C端場景的連續(xù)輸出與穩(wěn)定響應(yīng)；

● 跨節(jié)點(diǎn)KV Cache則通過高帶寬互聯(lián)與零拷路徑實(shí)現(xiàn)“即產(chǎn)即用”，MemOS的激活記憶機(jī)制與商湯大裝置在某國產(chǎn)GPGPU上打磨出的通信能力形成天然互補(bǔ)，使Prefill產(chǎn)生的KV Cache不再成為傳輸瓶頸，而是以極低開銷進(jìn)入D域的解碼流程中。

這次合作是一次體系級(jí)的結(jié)構(gòu)共振：PD分離為MemOS打開了一條真正意義上的高速算力通道，而MemOS則為PD分離提供了精細(xì)到記憶單元級(jí)別的調(diào)度邏輯和業(yè)務(wù)上下文，基于此，PD分離第一次從一個(gè)工程團(tuán)隊(duì)內(nèi)部的“性能小技巧”，變成一套可以被完整描述、完整度量、并在生產(chǎn)環(huán)境中長期運(yùn)行的新推理范式。

綜合推理性價(jià)比

達(dá)到同代NVIDIA A100的150%左右

在嚴(yán)格的生產(chǎn)級(jí)評(píng)測(cè)口徑下——包括2k輸入、1k輸出、TTFT＜2s 的SLA約束、72小時(shí)以上穩(wěn)態(tài)運(yùn)行、統(tǒng)一的限流與負(fù)載生成策略——記憶張量與商湯大裝置聯(lián)合打造的國產(chǎn)GPGPU集群交出了這樣一張答卷：

● 集群整體吞吐量提升超過75%，從Naive部署下的107.85 tokens/s提升到189.23 tokens/s，Prefill與Decode真正做到了算/存解耦；

● 單卡并發(fā)能力提升約20%，從25.00并發(fā)/卡提升至29.42并發(fā)/卡，高峰期排隊(duì)與溢出的風(fēng)險(xiǎn)明顯降低；

● 并且，得益于 Prefill 全量前移和 D 域職責(zé)的單一化，TTFT全程穩(wěn)定小于2秒；KV Cache在熱門場景中的命中率提升70%+，這使得需要高頻、多輪交互的C端應(yīng)用，具備了極高的預(yù)計(jì)算復(fù)用率，推理成本被進(jìn)一步攤薄。

在統(tǒng)一財(cái)務(wù)與技術(shù)口徑下，綜合推理性價(jià)比達(dá)到同代NVIDIA A100的150%左右，在嚴(yán)格SLA與相同負(fù)載結(jié)構(gòu)下，某國產(chǎn)GPGPU在這一套“記憶原生×PD分離×業(yè)務(wù)調(diào)度”的框架中，第一次實(shí)現(xiàn)了對(duì)A100的體系級(jí)正面超越。

打造記憶原生時(shí)代的

國產(chǎn)AI基礎(chǔ)設(shè)施新范式

未來，記憶張量與商湯將在這一范式之上繼續(xù)深化合作：

● 一方面，圍繞更大規(guī)模的國產(chǎn)GPGPU集群，構(gòu)建真正意義上的記憶驅(qū)動(dòng)流水線推理底座，讓“影子上下文—激活記憶—PD分離—多級(jí)緩存—AIOps”成為一套可觀測(cè)、可回滾、可演進(jìn)的基礎(chǔ)設(shè)施能力；

● 另一方面，在Prefill行為預(yù)測(cè)自治化、多級(jí)激活記憶管理、跨任務(wù)長時(shí)記憶一致性、面向Agent的軌跡記憶等方向上持續(xù)打磨，讓這套范式更能承載未來的伴隨式AI、具身智能體以及更復(fù)雜的長周期任務(wù)編排。

從更長遠(yuǎn)的視角看，這次聯(lián)合實(shí)踐帶來的最大改變是：國產(chǎn)算力體系第一次擁有了另一條面向未來智能形態(tài)的可能“結(jié)構(gòu)性路線”：從參數(shù)計(jì)算走向記憶計(jì)算，從靜態(tài)推理走向動(dòng)態(tài)流水線，從模型中心走向記憶中心。未來，國產(chǎn)GPGPU不再只是“跟上來”的參與者，而完全有機(jī)會(huì)成為下一代推理范式的定義者之一。