在第三屆 NVIDIA DPU 中國黑客松競賽中，我們見證了開發(fā)者與 NVIDIA 網(wǎng)絡(luò)技術(shù)的深度碰撞。在 23 支參賽隊伍中，有 5 支隊伍脫穎而出，展現(xiàn)了在 AI 網(wǎng)絡(luò)、存儲和安全等領(lǐng)域的創(chuàng)新突破。

由劉瀚騁、劉崇鵬、劉陽組成的 SeekExpert 團(tuán)隊在本屆黑客松中展現(xiàn)了卓越的技術(shù)實力，憑借其創(chuàng)新項目“利用 NVIDIA DOCA GPUNetIO 技術(shù)，加速 Expert-Kit 推理框架中的專家權(quán)重分發(fā)和通信傳輸部分，從而提升 MoE 模型推理的速度和效率”取得了第二名。該項目利用 NVIDIA DOCA GPUNetIO 技術(shù)，針對 Expert-Centric 架構(gòu)的 Expert-Kit MoE 推理框架中的專家權(quán)重分發(fā)和通信傳輸關(guān)鍵環(huán)節(jié)進(jìn)行了優(yōu)化。

從網(wǎng)絡(luò)瓶頸到 DPU 異構(gòu)加速的實踐突破

隨著數(shù)據(jù)中心計算向異構(gòu)模式深度演進(jìn)，網(wǎng)絡(luò)通信的控制和數(shù)據(jù)調(diào)度變得日益復(fù)雜，DPU 作為中間銜接的橋梁必將大有可為。在過去開發(fā)和使用 Expert-Kit 推理框架的過程中，SeekExpert 團(tuán)隊發(fā)現(xiàn)將傳統(tǒng)開發(fā)模式運用到該框架存在較大的性能瓶頸。具體來說，框架采用 Expert-Centric 架構(gòu)，該架構(gòu)專注于快速專家調(diào)度和專家異構(gòu)計算，但實際運行時網(wǎng)絡(luò)性能成為了關(guān)鍵的制約因素——具體表現(xiàn)為專家權(quán)重分發(fā)及中間結(jié)果傳輸過程中的數(shù)據(jù)拷貝開銷會導(dǎo)致推理延遲增加，同時網(wǎng)絡(luò)數(shù)據(jù)路徑處理占用大量 CPU 資源，與專家計算形成資源競爭，直接影響系統(tǒng)整體吞吐量。

基于這個痛點，SeekExpert 團(tuán)隊意識到 NVIDIA BlueField DPU 恰好能破解這一難題，通過 DPU 專門處理網(wǎng)絡(luò)傳輸任務(wù)的技術(shù)特性，既能實現(xiàn)權(quán)重分發(fā)的加速，又能釋放 CPU 資源，從而使 CPU 專注專家計算的核心功能，這就是參賽項目的由來。

雙管齊下：攻克技術(shù)選型與協(xié)同開發(fā)難題

在開發(fā)過程中，團(tuán)隊面臨的兩大底層技術(shù)挑戰(zhàn)，一個是來自于技術(shù)選型的難題，另一個是與 CUDA 協(xié)同開發(fā)的復(fù)雜性。首先，團(tuán)隊需要全面理解 GPUNetIO、DMA、RDMA 等不同網(wǎng)絡(luò)加速方案的適用場景，并判斷哪個最符合團(tuán)隊專家權(quán)重分發(fā)的需求，其次需要實現(xiàn) DOCA 與 CUDA 的深度集成，這涉及到 GPU 內(nèi)存管理、數(shù)據(jù)流同步等底層細(xì)節(jié)，調(diào)試復(fù)雜度極高。

為攻克這些難題，團(tuán)隊采取了雙管齊下的策略：一方面充分利用 NVIDIA 的技術(shù)資源，通過DOCA 官方文檔中完善的 API 說明和示例代碼來獲取關(guān)鍵技術(shù)指引；另一方面，當(dāng)遇到技術(shù)瓶頸時，團(tuán)隊成員會從各自的技術(shù)視角開展討論，分析問題根源并提出針對性解決方案。

為 DPU 在大模型推理加速領(lǐng)域鋪路

該項目創(chuàng)新性地將 NVIDIA DOCA GPUNetIO 技術(shù)與 MoE 模型推理加速相結(jié)合，通過 Expert-Kit 推理框架實現(xiàn)異構(gòu)硬件資源的協(xié)同優(yōu)化，讓 DPU 專門處理網(wǎng)絡(luò)密集型的專家權(quán)重分發(fā)和通信任務(wù)，使 CPU 得以專注于專家計算，從而在云計算、數(shù)據(jù)中心的 AI 推理平臺中有效緩解集群時間維度（動態(tài)負(fù)載）與空間維度（不同設(shè)備協(xié)同）的資源利用率難題，為 DPU 在大模型推理加速領(lǐng)域提供了優(yōu)化方向。

DOCA 開發(fā)者快問快答

Q

您是從哪里了解到 NVIDIA DPU 黑客松競賽的？參賽的目標(biāo)是什么？

A

我們是通過老師的介紹了解到這次 NVIDIA DPU 中國黑客松競賽的。由于我們之前在研究異構(gòu)設(shè)備共享內(nèi)存時就接觸過 DOCA 軟件框架，當(dāng)我們的 Expert-Kit 推理框架遇到網(wǎng)絡(luò)傳輸優(yōu)化瓶頸時，自然聯(lián)想到了 DPU 可能存在的機(jī)會。

Q

賽前舉辦的 DPU 線上技術(shù)訓(xùn)練營對您的備賽起到哪些幫助？

A

訓(xùn)練營對 DPU 在各個領(lǐng)域的解決方案進(jìn)行了引領(lǐng)性講解，涵蓋了安全、網(wǎng)絡(luò)卸載等多個方向，讓我們對 DOCA 開發(fā)有了更為全面的認(rèn)識。

Q

參與 NVIDIA DPU 黑客松競賽有哪些收獲？

A

除了技術(shù)能力的提升，我們還結(jié)識了很多其他參賽隊伍的隊員，了解了他們在相關(guān)研究方向上的探索，這拓寬了我們的技術(shù)視野。同時，通過比賽我們也深入了解了 NVIDIA 在各行各業(yè)的技術(shù)探索和應(yīng)用，對整個 AI 和硬件加速生態(tài)有了更全面的認(rèn)識。

Q

本次競賽有沒有難忘或有趣的經(jīng)歷？

A

最印象深刻的是最后前往 NVIDIA 北京辦公室參觀，整個參觀讓我們深刻感受到了 NVIDIA 的快速發(fā)展軌跡，以及 NVIDIA 在各行各業(yè)所做出的技術(shù)貢獻(xiàn)。

Q

您是從什么渠道了解到 NVIDIA DOCA 的？什么契機(jī)使你成為 DOCA 開發(fā)者？

A

我們最初是在研究異構(gòu)設(shè)備的共享內(nèi)存接觸到的 NVIDIA DOCA。DPU 作為 CPU、GPU 和網(wǎng)絡(luò)之間的數(shù)據(jù)通信所需的核心部件，能夠讓整個數(shù)據(jù)和控制拓?fù)渥兊煤啙嵟c清晰，也能夠很好地承擔(dān)起異構(gòu)計算中的協(xié)調(diào)和加速角色。

Q

最初從事 DOCA 開發(fā)時，有具體明確的目標(biāo)嗎？

A

目標(biāo)是通過讓 DPU 承擔(dān)網(wǎng)絡(luò)處理、數(shù)據(jù)移動等任務(wù)，使得 CPU 能夠?qū)Ｗ⒂谟嬎忝芗凸ぷ?，同時 DPU 通過高速互聯(lián) GPU 協(xié)同工作。

Q

過往有其他成功的 DOCA 開發(fā)經(jīng)歷嗎？

A

在異構(gòu)設(shè)備分布式共享內(nèi)存項目開發(fā)中，我們利用 DPU 實現(xiàn)了跨地址空間的高效數(shù)據(jù)傳遞，這些相關(guān)經(jīng)驗幫助我們后續(xù)在 Expert-Kit 推理框架中應(yīng)用 DOCA 技術(shù)奠定了基礎(chǔ)。

Q

您對 DOCA 的評價如何呢？DOCA 中國開發(fā)者社區(qū)對你有哪些幫助？

A

DOCA 提供了一個編程框架，相關(guān)文檔也很齊全，對 AI 生態(tài)，包括 CUDA 等也有很好的包容性。

開發(fā)者寄語

“大語言模型的推理需求推動數(shù)據(jù)中心向異構(gòu)計算演進(jìn)，CPU、GPU、XPU 等不同類型設(shè)備需要協(xié)同工作才能發(fā)揮最大效能。DPU 和 DOCA 技術(shù)正是連接這些異構(gòu)設(shè)備的關(guān)鍵，通過智能卸載和資源調(diào)度，能提升數(shù)據(jù)中心的整體利用率。期待更多開發(fā)者加入 DOCA 社區(qū)，共同探索 DPU 在異構(gòu)計算方面的可能性?！?/p>

——SeekExpert 團(tuán)隊