2026 年 1 月 8 日，DeepSpeed 官方正式發(fā)布 v0.18.4 版本。本次更新主要聚焦于 性能優(yōu)化、穩(wěn)定性修復(fù)、兼容性增強(qiáng)，并帶來了對(duì) Python 3.11 / 3.12、PyTorch 2.8 / 2.9 與 AMD ROCm 的全面支持。該版本共包含 23 次提交，涉及 14 位貢獻(xiàn)者，修改文件數(shù) 41 個(gè)，是一次重要的維護(hù)與優(yōu)化版本。下面我們?cè)敿?xì)解讀 v0.18.4 的更新內(nèi)容。

一、核心更新與改進(jìn) ? 1. 版本管理與測(cè)試體系優(yōu)化

• ? 更新版本號(hào)并同步測(cè)試框架。

• ? 在編譯測(cè)試中禁用 deterministic 選項(xiàng)，以提升測(cè)試靈活性與速度。

• ? 在持續(xù)集成（CI）層面新增 AWS 測(cè)試工作流，使測(cè)試環(huán)境更加多樣化和穩(wěn)定。

• ? 啟用對(duì) Python 3.11 與 3.12 的自動(dòng)化測(cè)試支持，進(jìn)一步拓寬兼容邊界。

• ? 修復(fù) SuperOffloadOptimizer_Stage3 崩潰問題（由缺失 param_names 參數(shù)引起）。

• ? 改進(jìn) Engine 模塊，僅在 scale_wrt_gas 為 True 時(shí)才對(duì)梯度進(jìn)行縮放，從而提升計(jì)算效率。

• ? 修復(fù) Nebula Checkpoint Engine 的 commit() API 不匹配問題，完善接口一致性。

• ? 修復(fù) DecoupledCheckpointEngine 潛在死鎖問題，并增強(qiáng)整體可靠性。

• ? 優(yōu)化 DeepSpeed Async I/O 機(jī)制，通過釋放 Python GIL 解決罕見的異步等待卡死問題。

• ? 修復(fù) OnebitLamb 在空參數(shù)情況下出現(xiàn)的 NaN 傳播問題，提升分布式優(yōu)化器穩(wěn)定性。

• ? 修復(fù) BF16_Optimizer 在 DummyOptim 模式下的 IndexError 異常，保障兼容性。

• ? 改進(jìn) DeepCompile 模塊，以確保與 PyTorch 2.8 / 2.9 的高度兼容。

• ? 替換 torch.sqrt 為 math.sqrt ，解決因不同實(shí)現(xiàn)導(dǎo)致的學(xué)習(xí)率縮放誤差問題。

• ? 更正 MOE 檢查點(diǎn)中的分布式尺寸定義，將 dp_world_size 替換為 seq_dp_world_size 。

• ? 修復(fù) UlyssesSPAttentionHF 與 PEFT 模型在注冊(cè)時(shí)的兼容性錯(cuò)誤。

• ? 針對(duì)部分依賴 Triton 的測(cè)試用例進(jìn)行修復(fù)，確保多平臺(tái)一致性。

本次版本顯著提升了 AMD GPU（ROCm 平臺(tái)）的支持能力，對(duì)相關(guān)后端進(jìn)行了進(jìn)一步優(yōu)化。部分 AMP 測(cè)試用例被跳過，以確保在 AMD 環(huán)境下的執(zhí)行穩(wěn)定性。

? 2. BF16 支持檢查優(yōu)化

新增 BF16 支持的 fallback 檢測(cè)邏輯，可在硬件不支持時(shí)自動(dòng)回退至安全路徑，提升兼容性與健壯性。

三、代碼質(zhì)量與小幅修正

• ? 修復(fù)若干拼寫錯(cuò)誤，提升代碼可讀性。

• ? 在反向傳播 Hook 中跳過 None 值，修復(fù)潛在異常。

• ? 移除 OpenMPIRunner 中過早的 MPI 環(huán)境變量檢測(cè)邏輯，增強(qiáng)啟動(dòng)靈活性。

• ? 移除了舊版 AMP 相關(guān)測(cè)試用例，保持代碼庫(kù)簡(jiǎn)潔。

• ? 補(bǔ)充并發(fā)布 Core API 更新日志，完善官方文檔體系。

代碼地址：github.com/deepspeedai/DeepSpeed

DeepSpeed v0.18.4 是一次高質(zhì)量的維護(hù)性更新，覆蓋了 兼容性、穩(wěn)定性、測(cè)試體系、性能優(yōu)化 等多個(gè)方面，對(duì) AMD 生態(tài)及高版本 Python / PyTorch 的支持尤為顯著。對(duì)于研發(fā)者而言，本次版本在大規(guī)模分布式訓(xùn)練的可靠性上帶來了切實(shí)提升。

版本要點(diǎn)回顧：

• ? ? 全面支持 Python 3.11 / 3.12 與 PyTorch 2.8 / 2.9

• ? ? 增強(qiáng) AMD ROCm 兼容與性能

• ? ? 提升 DeepSpeed Async I/O、Checkpoint 引擎穩(wěn)定性

• ? ? 優(yōu)化梯度縮放與學(xué)習(xí)率計(jì)算邏輯

• ? ? 改進(jìn) BF16、MOE、Ulysses 等子模塊

• ? ? 新增 AWS 測(cè)試工作流，強(qiáng)化 CI 能力

結(jié)語：
隨著 v0.18.4 的發(fā)布，DeepSpeed 在多平臺(tái)深度訓(xùn)練生態(tài)中進(jìn)一步鞏固領(lǐng)先地位，為開發(fā)者提供了更高效、更可靠的訓(xùn)練引擎支持。未來版本將繼續(xù)深化異構(gòu)計(jì)算與自定義算子的優(yōu)化，讓大規(guī)模模型訓(xùn)練更快、更穩(wěn)。