吞吐量超過12000tokens/秒，滿血版DeepSeek！

這是目前為止，我看到過的國(guó)內(nèi)廠商8卡DeepSeek一體機(jī)，創(chuàng)造的最高紀(jì)錄。

自從年初DeepSeek爆火，各大智算廠商就在不斷地挑戰(zhàn)：如何用一體機(jī)跑出滿血版的最佳效果？

于是乎，半年來滿血一體機(jī)的吞吐量紀(jì)錄不斷被刷新，從最初的2000多，到5000、6000、8000，再到10000多……

如今，這數(shù)據(jù)被干到了夸張的12000+！

大家對(duì)這個(gè)事這么上頭，究竟是為啥？一體機(jī)真有這么大需求嗎？

其實(shí)，這件事的核心在于，算力需求的基本盤，變了。

之前，百模大戰(zhàn)，主要需求是大模型預(yù)訓(xùn)練，強(qiáng)調(diào)算力的高M(jìn)FU、高可用。

現(xiàn)在，大模型應(yīng)用落地，需求開始多樣化，訓(xùn)練、訓(xùn)推、推理，不僅強(qiáng)調(diào)高M(jìn)FU、高可用，還要高吞吐、低延遲。

而且，隨著各種大模型項(xiàng)目在千行百業(yè)落地，實(shí)際部署、優(yōu)化涉及到五花八門的情況。

沒點(diǎn)真功夫，很難滿足需求。

所以，表面上智算廠商們狂炫一體機(jī)，鉚足勁拉吞吐，實(shí)際上，是把它作為自己練功的“木人樁”。

有了這個(gè)業(yè)界都買賬的“活靶子“，通過持續(xù)工程優(yōu)化，把實(shí)戰(zhàn)能力練到極致，就可以去適配更復(fù)雜的行業(yè)落地場(chǎng)景。

就拿創(chuàng)造”12000+Tokens“吞吐紀(jì)錄的聯(lián)想來說，在這背后，聯(lián)想練就的大模型落地能力，早已遠(yuǎn)遠(yuǎn)超過了一體機(jī)范疇。

最近，在「2025聯(lián)想創(chuàng)新科技大會(huì)」上，在披露這項(xiàng)紀(jì)錄的同時(shí)，聯(lián)想也揭秘了背后的黑科技——聯(lián)想萬(wàn)全異構(gòu)智算平臺(tái)3.0。

這不是我第一次關(guān)注到「萬(wàn)全異構(gòu)智算平臺(tái)」，想了解其基礎(chǔ)能力的朋友，可以以翻看這篇，五大基礎(chǔ)能力介紹↓

比智算更猛的，是異構(gòu)智算！

這一次，我來劃劃新重點(diǎn)：“萬(wàn)全3.0”帶來的四大全新技術(shù)——

1、AI推理加速算法集

這套“加速秘笈"，包括了針對(duì)MLA、混合精度量化、分布式并行等策略的一系列二次優(yōu)化，提升推理吞吐量、降低時(shí)延。

在這套算法集的加持之下，大模型推理性能可以提升5-10倍，與業(yè)界最優(yōu)社區(qū)方案相比，保持20%+優(yōu)勢(shì)。

所以就有了這樣的炸裂成績(jī)：?jiǎn)螜C(jī)8卡服務(wù)器，支持190路用戶同時(shí)使用滿血版DeepSeek。

2、AI編譯優(yōu)化器

這個(gè)優(yōu)化，貫穿了AI開發(fā)框架、計(jì)算路徑、算子、驅(qū)動(dòng)層以及各種異構(gòu)加速卡。

采用算子融合、算子替代、路徑優(yōu)化手段，大幅簡(jiǎn)化計(jì)算過程。

就這樣，通過構(gòu)建計(jì)算圖過程中的優(yōu)化，一頓操作猛如虎，訓(xùn)推開銷各降15%！

3、AI訓(xùn)推慢節(jié)點(diǎn)故障預(yù)測(cè)與自愈系統(tǒng)

搞過訓(xùn)練和推理的老司機(jī)都知道，節(jié)點(diǎn)故障是”家常便飯“，而且不可避免。

尤其在GPU異構(gòu)、集群場(chǎng)景復(fù)雜的情況下，故障率會(huì)更高，一旦停擺，訓(xùn)練進(jìn)度受影響，推理體驗(yàn)打折扣。

不用慌，現(xiàn)在可以“提前治未病”，還有“速效救芯丸”，讓AI集群自己預(yù)測(cè)故障、發(fā)現(xiàn)故障、診斷和修復(fù)故障。

聯(lián)想通過多年訓(xùn)推實(shí)踐積累起來的訓(xùn)推故障特征庫(kù)，用AI模型來完成預(yù)測(cè)和診斷，自動(dòng)化排除故障點(diǎn)，并通過多機(jī)緩存極速讀取和恢復(fù)訓(xùn)推環(huán)境。

最終，在實(shí)戰(zhàn)場(chǎng)景，故障自愈時(shí)間可以做到百卡故障秒級(jí)恢復(fù)、千卡分鐘級(jí)恢復(fù)、萬(wàn)卡十分鐘級(jí)以內(nèi)恢復(fù)，大大提升訓(xùn)練效率和推理體驗(yàn)。

4、專家并行通信算法

DeepSeek爆火，讓MoE這種專家混合模型流行度飆升，最新發(fā)布的Qwen3也提供了相應(yīng)的MoE模型（235B）。

與傳統(tǒng)稠密模型比，MoE模型通過激活少量專家來降低推理算力開銷，但模型的并行通信復(fù)雜度和通信量也隨之大大增加了。

雖然DeepSeek官方給出了一套專家并行的優(yōu)化指南，讓計(jì)算和通信疊加，提升效率。

但這套方案受限于特定N卡和特定集群架構(gòu)，并不完全適用于千差萬(wàn)別的行業(yè)場(chǎng)景。

“萬(wàn)全異構(gòu)智算平臺(tái)”的專家并行通信算法，是一種架構(gòu)自適應(yīng)的細(xì)粒度計(jì)算、通信協(xié)同優(yōu)化技術(shù)。

目標(biāo)就是希望適配不同GPU/加速卡、網(wǎng)絡(luò)環(huán)境、集群規(guī)模等等。

而且，聯(lián)想也把這種通信優(yōu)化，作為一種服務(wù)來交付，為不同的行業(yè)場(chǎng)景提供定制化調(diào)優(yōu)。

無(wú)論是DeepSeek還是Qwen3，無(wú)論是N卡還是A卡、國(guó)產(chǎn)卡，無(wú)論RDMA網(wǎng)還是IB網(wǎng)，無(wú)論小集群還是巨無(wú)霸，都能跑到極致。

你沒想到吧，高吞吐的滿血一體機(jī)，只是熱身秀肌肉，這背后的「聯(lián)想萬(wàn)全異構(gòu)智算平臺(tái)」，才是聯(lián)想苦練的真功夫。

當(dāng)然，為了滿足“后訓(xùn)練時(shí)代”的新需求，聯(lián)想在「Tech World 2025」上還放出了一系列大招。

比如，在算力層面，聯(lián)想針對(duì)數(shù)據(jù)處理、AI訓(xùn)練、AI推理對(duì)算力需求的差異，分別推出了不同的服務(wù)器家族，主打一個(gè)“拳拳到肉、切中要害”。

在存儲(chǔ)力層面，重磅發(fā)布聯(lián)想凌拓全新存儲(chǔ)產(chǎn)品家族，以及具備本地自研、自有知識(shí)產(chǎn)權(quán)、自主可控三大特征的聯(lián)想存儲(chǔ)新品牌——聯(lián)想問天。

在運(yùn)載力層面，發(fā)布高密度400G交換機(jī)聯(lián)想問天NE8770-64QC，專為AI訓(xùn)推場(chǎng)景深度優(yōu)化。

至此，存算網(wǎng)的“buff”全部疊齊，萬(wàn)全異構(gòu)智算3.0的“內(nèi)功”煉成。

“大模型2.0時(shí)代”的聯(lián)想，戰(zhàn)力徹底拉滿！