網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文申請(qǐng)入駐

DeepSpeed v0.18.3 發(fā)布：優(yōu)化性能與穩(wěn)定性，增強(qiáng)兼容性與調(diào)試體驗(yàn)

2025-12-16 00:13:14　來源: moonfdd

北京舉報(bào)

分享至

DeepSpeed 正式發(fā)布了v0.18.3版本，本次更新重點(diǎn)圍繞性能優(yōu)化、調(diào)試工具增強(qiáng)、兼容性改進(jìn)以及優(yōu)化器與硬件支持拓展展開。該版本包含多個(gè)細(xì)節(jié)更新，進(jìn)一步提升了分布式訓(xùn)練的穩(wěn)定性與可擴(kuò)展性。以下為本次版本的主要更新內(nèi)容。

一、系統(tǒng)與構(gòu)建改進(jìn)

?更新 version.txt 文件，確保版本管理一致性。
?更新模態(tài)持續(xù)集成邏輯（modal CI），修復(fù)并改進(jìn)相關(guān)流程。
?解釋并完善 leaf 模塊說明，便于用戶理解模塊功能。
?禁用部分 nv-lightning 配置項(xiàng)，優(yōu)化持續(xù)集成測(cè)試過程。
?使用 PyTorch 工具檢測(cè) ninja 構(gòu)建工具，提高編譯檢測(cè)的可靠性。
?信任 Intel 服務(wù)器以進(jìn)行 XPU 測(cè)試，增強(qiáng)跨硬件平臺(tái)的測(cè)試安全性。
?PyTorch 兼容的 backward API，進(jìn)一步提升與 PyTorch 的接口一致性。
?啟用 compiled autograd 進(jìn)行反向傳播，提升反向計(jì)算性能。

二、優(yōu)化器與學(xué)習(xí)率改進(jìn)

?Muon 優(yōu)化器支持獨(dú)立學(xué)習(xí)率參數(shù)：允許分別設(shè)置 “muon_lr” 和 “adam_lr”，以便更靈活地控制優(yōu)化器的學(xué)習(xí)率。
?Muon 優(yōu)化器動(dòng)量緩存在 GPU 上，減少主機(jī)與設(shè)備之間的數(shù)據(jù)傳輸，提高訓(xùn)練效率。
?低精度主參數(shù)/梯度/優(yōu)化器狀態(tài)支持，增強(qiáng)在 FP8、FP16 與 BF16 等低精度訓(xùn)練場(chǎng)景下的性能與穩(wěn)定性。

三、內(nèi)存與性能優(yōu)化

?see_mem_usage 工具改進(jìn)：確保無論何種情況下都能正確輸出內(nèi)存使用信息。
?使調(diào)試工具更加健壯，在異常和邊界情況下保證運(yùn)行穩(wěn)定。
?Zero Stage 1-2 優(yōu)化：在未配置時(shí)不再固定內(nèi)存，從而減少不必要的內(nèi)存占用。
?修復(fù)在加載模型或 Zero 檢查點(diǎn)時(shí) ds_secondary_tensor 可能出現(xiàn)的數(shù)據(jù)污染問題，提高模型加載與恢復(fù)的正確性。
?在交換張量為空時(shí)跳過 aio wait 操作，進(jìn)一步提升性能與資源利用效率。

四、測(cè)試與數(shù)值穩(wěn)定性改進(jìn)

?改進(jìn) ROCm FP8 單元測(cè)試：對(duì) FP16 和 BF16 情況放寬容差，以適應(yīng)更多硬件環(huán)境。
?放寬低精度計(jì)算的限制，增強(qiáng)在 AMD GPU 等環(huán)境下的穩(wěn)定性。

五、功能拓展與社區(qū)支持

?新增 Qwen2.5 模型至 AutoTP 模型列表，支持更多自動(dòng)并行模型配置。
?更新安全文檔（SECURITY.md）指向 GitHub 官方報(bào)告渠道，統(tǒng)一安全報(bào)告流程。
?新增關(guān)于 Ray 與 DeepSpeed 聯(lián)合技術(shù)交流會(huì)的資訊，促進(jìn)社區(qū)合作與技術(shù)傳播。

六、監(jiān)控與性能分析

?新增 Wall Clock Timers API，為用戶提供更精確的時(shí)間統(tǒng)計(jì)和性能分析接口，方便評(píng)估訓(xùn)練過程中的時(shí)間分布與瓶頸。

總結(jié)：
DeepSpeed v0.18.3 版本在保持高性能的同時(shí)，進(jìn)一步提升了系統(tǒng)的穩(wěn)定性、靈活性和兼容性。此次更新特別加強(qiáng)了優(yōu)化器配置能力、內(nèi)存管理與調(diào)試工具的可靠性，對(duì)于使用分布式訓(xùn)練的研究團(tuán)隊(duì)和開發(fā)者而言，將提供更高效、更可控的深度學(xué)習(xí)訓(xùn)練體驗(yàn)。

我們相信人工智能為普通人提供了一種“增強(qiáng)工具”，并致力于分享全方位的AI知識(shí)。在這里，您可以找到最新的AI科普文章、工具評(píng)測(cè)、提升效率的秘籍以及行業(yè)洞察。歡迎關(guān)注“福大大架構(gòu)師每日一題”，發(fā)消息可獲得面試資料，讓AI助力您的未來發(fā)展。

特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.