在 AI 基礎(chǔ)架構(gòu)中，數(shù)據(jù)為計(jì)算引擎提供關(guān)鍵燃料。隨著代理式 AI 系統(tǒng)的持續(xù)演進(jìn)，多個(gè)模型與服務(wù)相互協(xié)作，需要獲取外部上下文并實(shí)時(shí)做出決策，企業(yè)面臨如何高效、智能且可靠地處理大規(guī)模數(shù)據(jù)流的挑戰(zhàn)。無論是從持久化存儲(chǔ)中加載模型、檢索知識(shí)以支持查詢，還是協(xié)調(diào)智能體對(duì)工具的調(diào)用，數(shù)據(jù)的高效流轉(zhuǎn)始終是決定 AI 系統(tǒng)性能的核心因素。

GPU 與 GPU 之間的東西向通信長(zhǎng)期以來一直是優(yōu)化的重點(diǎn)。然而，負(fù)責(zé)模型加載、存儲(chǔ) I/O 和推理請(qǐng)求的南北向網(wǎng)絡(luò)同樣關(guān)鍵，其性能瓶頸會(huì)直接影響 AI 系統(tǒng)的響應(yīng)速度。

NVIDIA 企業(yè)參考架構(gòu)（Enterprise RA）可指導(dǎo)企業(yè)高效部署 AI 工廠及南北向網(wǎng)絡(luò)，為構(gòu)建可擴(kuò)展、安全且高性能的 AI 基礎(chǔ)設(shè)施提供系統(tǒng)性的設(shè)計(jì)方法。企業(yè)參考架構(gòu)凝練了 NVIDIA 豐富的實(shí)踐經(jīng)驗(yàn)，涵蓋服務(wù)器與網(wǎng)絡(luò)配置、軟件堆棧到運(yùn)維最佳實(shí)踐等各個(gè)方面，為部署復(fù)雜的 AI 基礎(chǔ)設(shè)施提供了清晰且經(jīng)過驗(yàn)證的實(shí)施路徑。

在企業(yè)參考架構(gòu)的眾多組件中，NVIDIA Spectrum-X 以太網(wǎng)在加速南北向數(shù)據(jù)流方面發(fā)揮著重要作用，尤其是搭載 NVIDIA BlueField-3 DPU 助力數(shù)據(jù)密集型 AI 應(yīng)用場(chǎng)景。

傳統(tǒng)以太網(wǎng)存儲(chǔ)網(wǎng)絡(luò)并非專為滿足 AI 和 HPC 工作負(fù)載在可擴(kuò)展、數(shù)據(jù)流和敏感性方面的需求而設(shè)計(jì)，常因延遲和網(wǎng)絡(luò)擁塞影響整體性能。每次 AI 模型在訓(xùn)練過程中進(jìn)行檢查點(diǎn)操作時(shí)，都會(huì)將大量數(shù)據(jù)流通過南北向網(wǎng)絡(luò)傳輸至持久化存儲(chǔ)。對(duì)于當(dāng)前擁有數(shù)十億參數(shù)的模型而言，這些檢查點(diǎn)文件可能達(dá)到數(shù) TB 級(jí)別，確保在系統(tǒng)發(fā)生故障時(shí)訓(xùn)練進(jìn)度不會(huì)丟失。

了解 NVIDIA 認(rèn)證存儲(chǔ)計(jì)劃如何與企業(yè)參考架構(gòu)協(xié)同，進(jìn)一步優(yōu)化存儲(chǔ)性能：HTTPS://blogs.nvidia.cn/blog/nvidia-certified-enterprise-storage/

推理工作負(fù)載同樣高度依賴高效的南北向網(wǎng)絡(luò)。在 AI 智能體檢索數(shù)據(jù)時(shí)，無論是從檢索增強(qiáng)生成（RAG）系統(tǒng)的向量數(shù)據(jù)庫中獲取嵌入，還是從外部工具或數(shù)據(jù)庫中調(diào)取與客戶查詢相關(guān)的信息，這些過程都需要快速、低延遲的南北向連接。隨著企業(yè)逐步從靜態(tài)的單次推理演進(jìn)為動(dòng)態(tài)的多輪次、多智能體協(xié)同推理，南北向網(wǎng)絡(luò)的需求也隨之呈指數(shù)級(jí)增長(zhǎng)。這種增長(zhǎng)源于智能體在持續(xù)與用戶、外部數(shù)據(jù)源及云服務(wù)交互的過程中，不斷執(zhí)行數(shù)據(jù)的提取、處理與更新操作。

通過采用 NVIDIA Spectrum-X 以太網(wǎng)加速企業(yè)參考架構(gòu)中的數(shù)據(jù)傳輸，這些網(wǎng)絡(luò)可轉(zhuǎn)化為無損的 AI 數(shù)據(jù)存儲(chǔ)與傳輸平臺(tái)，專為滿足現(xiàn)代 AI 工作負(fù)載的性能需求而設(shè)計(jì)。該企業(yè)級(jí)架構(gòu)支持打造面向可預(yù)測(cè)性、高吞吐量和低延遲數(shù)據(jù)訪問優(yōu)化的 AI 工廠，從而充分釋放現(xiàn)代 AI 工作流的潛力。

融合網(wǎng)絡(luò)：企業(yè) AI 工作負(fù)載簡(jiǎn)化的基礎(chǔ)

企業(yè) AI 工廠通常為解決特定應(yīng)用場(chǎng)景而構(gòu)建，其網(wǎng)絡(luò)規(guī)模一般從 4 到 16 個(gè)服務(wù)器節(jié)點(diǎn)起步。在此場(chǎng)景下，融合架構(gòu)將東西向流量（如計(jì)算任務(wù)）與南北向流量（如存儲(chǔ)訪問和外部服務(wù)通信）整合至統(tǒng)一的交換網(wǎng)絡(luò)中，有助于簡(jiǎn)化運(yùn)維。該架構(gòu)通過減少布線需求和硬件擴(kuò)展可以有效降低系統(tǒng)復(fù)雜性，同時(shí)在訓(xùn)練、推理和檢索等各類工作負(fù)載中保持高吞吐性能。但融合的東西向與南北向網(wǎng)絡(luò)需要具備充足帶寬和良好服務(wù)質(zhì)量（QoS）能力，以可靠地支持這兩類流量的并發(fā)運(yùn)行。

Spectrum-X 以太網(wǎng)是企業(yè)參考架構(gòu)的核心，發(fā)揮著關(guān)鍵作用。該架構(gòu)最初針對(duì) GPU 與 GPU 之間以及節(jié)點(diǎn)與節(jié)點(diǎn)之間的東西向通信進(jìn)行了優(yōu)化，同時(shí)借助動(dòng)態(tài)路由和遙測(cè)技術(shù)，有效避免網(wǎng)絡(luò)擁塞，提升吞吐量，并降低 AI 運(yùn)行時(shí)及檢索密集型工作負(fù)載中的延遲。因而它也為南北向的網(wǎng)絡(luò)和存儲(chǔ)數(shù)據(jù)路徑提供了顯著的帶寬與性能優(yōu)勢(shì)。

Spectrum-X 的以太網(wǎng)功能同樣至關(guān)重要，例如虛擬路由和轉(zhuǎn)發(fā)（VRF）實(shí)現(xiàn)的服務(wù)隔離以及 QoS 對(duì)流量的優(yōu)先級(jí)管理。虛擬路由和轉(zhuǎn)發(fā)能夠在無需依賴物理網(wǎng)絡(luò)劃分的情況下，從邏輯上將東西向通信與南北向流量（如用戶接入或存儲(chǔ)訪問）進(jìn)行分隔。QoS 則通過在以太網(wǎng)幀或 IP 數(shù)據(jù)包頭添加標(biāo)簽，確保特定類型的流量（如存儲(chǔ)流量相對(duì)于基于 HTTPS 的用戶流量）獲得相應(yīng)的優(yōu)先級(jí)處理。當(dāng)多個(gè) AI 智能體或工作負(fù)載在共享基礎(chǔ)設(shè)施上并發(fā)運(yùn)行時(shí)，這些機(jī)制結(jié)合一些高級(jí)功能例如噪聲隔離等，實(shí)現(xiàn)進(jìn)一步的功能強(qiáng)化，從而保障系統(tǒng)性能的穩(wěn)定性與一致性。

需要注意的是，盡管融合架構(gòu)非常適合中小規(guī)模的企業(yè)級(jí) AI 工廠，但它并非適用于所有場(chǎng)景的通用方案。在大規(guī)模多租戶環(huán)境中，例如由 NVIDIA 云合作伙伴（NCP）運(yùn)營(yíng)的環(huán)境，采用具有物理連接網(wǎng)絡(luò)的分離式架構(gòu)可能是更優(yōu)選擇，這既能提供更高的有效帶寬，又能實(shí)現(xiàn)租戶之間及不同流量類型之間的嚴(yán)格隔離。

融合網(wǎng)絡(luò)是一項(xiàng)經(jīng)過周密考量的設(shè)計(jì)選擇，契合企業(yè)級(jí) AI 基礎(chǔ)設(shè)施在專用場(chǎng)景下的應(yīng)用需求，同時(shí)兼顧性能與可管理性。企業(yè)參考架構(gòu)通過提供一系列指導(dǎo)方案，能夠覆蓋從小型基礎(chǔ)集群到擴(kuò)展至 1000 個(gè) GPU 的中型部署，有效簡(jiǎn)化了為特定用例確定理想網(wǎng)絡(luò)架構(gòu)的復(fù)雜過程。

了解 NVIDIA 以太網(wǎng) SuperNIC 與

BlueField-3 DPU 的功能與應(yīng)用

了解 AI 工廠中的網(wǎng)絡(luò)編排時(shí)，有必要區(qū)分 NVIDIA 以太網(wǎng) SuperNIC 與 DPU 的不同角色。NVIDIA SuperNIC 專為處理 GPU 間東西向通信流量而設(shè)計(jì)，面向超大規(guī)模 AI 環(huán)境時(shí)，可為每個(gè) GPU 提供高達(dá) 800 Gb/s 的帶寬，確保在分布式訓(xùn)練和推理過程中實(shí)現(xiàn)高效、快速的數(shù)據(jù)連接。

而 BlueField-3 DPU 則負(fù)責(zé)處理南北向流量。它能夠?qū)⒋鎯?chǔ)管理、遙測(cè)和網(wǎng)絡(luò)安全等任務(wù)從主機(jī) CPU 卸載、加速并實(shí)現(xiàn)隔離，從而為核心 AI 處理釋放寶貴的計(jì)算資源。實(shí)際上，它充當(dāng)了專用的云基礎(chǔ)設(shè)施處理器，確保數(shù)據(jù)在 AI 工廠與外部生態(tài)系統(tǒng)（包括網(wǎng)絡(luò)存儲(chǔ)）之間高效流動(dòng)。

SuperNIC 與 BlueField-3 DPU 共同構(gòu)建了強(qiáng)大的 AI 網(wǎng)絡(luò)協(xié)同體系。SuperNIC 為 AI 工廠內(nèi)部的計(jì)算提供動(dòng)力與路徑支持，而 BlueField-3 DPU 則確保外部數(shù)據(jù)能夠順利、大規(guī)模地接入。這種組合拳使企業(yè)能夠全面優(yōu)化 AI 基礎(chǔ)設(shè)施各層級(jí)的性能表現(xiàn)。

對(duì)企業(yè)的影響：向量數(shù)據(jù)庫與實(shí)時(shí)檢索

代理式 AI 和 RAG 系統(tǒng)的日益普及是南北向網(wǎng)絡(luò)應(yīng)用的一個(gè)典型示例。以 NVIDIA RAG 2.0 Blueprint 為代表的架構(gòu)，通過整合外部知識(shí)（如文檔、圖像、日志和視頻），擴(kuò)展了大語言模型（LLM）的能力。該架構(gòu)利用 NVIDIA NeMo Retriever 和 NVIDIA NIM 微服務(wù)，將這些內(nèi)容通過向量數(shù)據(jù)庫進(jìn)行嵌入、索引和檢索，從而提供更加準(zhǔn)確且符合上下文的響應(yīng)。

當(dāng)用戶提交查詢時(shí)，LLM 會(huì)生成相應(yīng)的向量嵌入，并利用該嵌入在向量數(shù)據(jù)庫（如外部存儲(chǔ)中的 Milvus）中快速檢索相關(guān)性較高的上下文信息。這一過程依賴于高效、低延遲的南北向數(shù)據(jù)流動(dòng)。系統(tǒng)越早完成外部知識(shí)的檢索與整合，其響應(yīng)速度就越快，結(jié)果也越準(zhǔn)確。Spectrum-X 以太網(wǎng)絡(luò)優(yōu)化了這一數(shù)據(jù)路徑，在模型實(shí)時(shí)獲取嵌入信息方面，確保了最小的延遲和最大的吞吐量。

圖 1. 在 RAG 增強(qiáng)型 LLM 用戶查詢中， NVIDIA Spectrum-X 以太網(wǎng)中的數(shù)據(jù)流步驟示意

下面來分析一下南北向用戶的計(jì)算與存儲(chǔ)流程：

• 用戶查詢?nèi)肟冢ㄓ脩舻交ヂ?lián)網(wǎng)到 leaf）：用戶提示或任務(wù)通過入口網(wǎng)關(guān)流入 AI 工廠，到達(dá) leaf 交換機(jī)，然后進(jìn)入集群。企業(yè)參考架構(gòu)通過 Spectrum-X 以太網(wǎng)優(yōu)化了這一路徑，縮短了依賴外部數(shù)據(jù)的應(yīng)用程序的首 token 時(shí)延（Time to First Token，TTFT），并避免了手動(dòng)網(wǎng)絡(luò)配置調(diào)整。
• 請(qǐng)求路由到 GPU 服務(wù)器（通過 DPU 優(yōu)化 leaf 到 GPU路由）：請(qǐng)求通過 leaf 交換機(jī)定向到 GPU 節(jié)點(diǎn)，BlueField-3 DPU 在此處理數(shù)據(jù)包解析、卸載網(wǎng)絡(luò)棧，并將請(qǐng)求路由到正確的推理引擎（例如 NVIDIA NIM）。該請(qǐng)求流經(jīng) leaf-spine Spectrum-X 以太網(wǎng)交換機(jī)，通過動(dòng)態(tài)路由，避免擁塞。Spectrum-X 以太網(wǎng)使用交換機(jī)實(shí)時(shí)狀態(tài)或隊(duì)列占用來動(dòng)態(tài)地保持流量高效流動(dòng)，類似于地圖應(yīng)用在交通堵塞時(shí)為用戶重新安排路線。
• 外部上下文獲?。ǚ?wù)器到 leaf 到 spine 再到 leaf 到存儲(chǔ)）：對(duì)于上下文查詢（例如向量數(shù)據(jù)庫），請(qǐng)求通過 RoCE（RDMA over Converged Ethernet）流經(jīng) leaf-spine 網(wǎng)絡(luò)到達(dá)基于 NVMe 的存儲(chǔ)系統(tǒng)。Spectrum-X 以太網(wǎng)的無縫互操作性和為 AI 優(yōu)化的性能，助力 DDN、VAST Data 和 WEKA 等合作伙伴平臺(tái)上的數(shù)據(jù)訪問，可將存儲(chǔ)性能提升高達(dá) 1.6 倍。
• 數(shù)據(jù)返回到 GPU（存儲(chǔ)到 leaf 到 spine 再到 leaf 到 server）：相關(guān)向量和嵌入式內(nèi)容通過 RoCE 在同一融合網(wǎng)絡(luò)上返回。Spectrum-X 以太網(wǎng)可實(shí)現(xiàn)此路徑的擁塞感知，并通過 DPU 處理數(shù)據(jù)包重排序來保持 GPU 的高效供給。在這里，QoS 標(biāo)記可以確保優(yōu)先處理延遲敏感型存儲(chǔ)數(shù)據(jù)，尤其是當(dāng)多個(gè) AI 智能體通過南北向流量查詢多個(gè)工具時(shí)。
• LLM 推理和最終響應(yīng)（GPU 到 leaf 到用戶）：利用內(nèi)存中的原始提示和相關(guān)外部上下文，GPU 完成推理。最終響應(yīng)會(huì)向上路由，并退出基礎(chǔ)設(shè)施返回至用戶應(yīng)用?；?VRF 的網(wǎng)絡(luò)隔離可確保存儲(chǔ)、推理和用戶流量在邏輯上保持獨(dú)立，從而確保大規(guī)模運(yùn)行時(shí)的性能穩(wěn)定。

在多個(gè) AI 智能體同時(shí)運(yùn)行（如協(xié)作處理復(fù)雜任務(wù)或響應(yīng)多用戶查詢）的環(huán)境中，高效的南北向網(wǎng)絡(luò)能夠有效避免瓶頸，保障系統(tǒng)的流暢性與響應(yīng)速度。通過優(yōu)化數(shù)據(jù)檢索流程，企業(yè)可顯著提升決策效率并改善用戶體驗(yàn)。無論應(yīng)用于客戶聊天機(jī)器人、金融咨詢工具，還是內(nèi)部知識(shí)管理平臺(tái)，基于高效南北向網(wǎng)絡(luò)的 AI 代理與 RAG 架構(gòu)均能切實(shí)創(chuàng)造可觀的業(yè)務(wù)價(jià)值。

AI 工作負(fù)載已不再局限于隔離環(huán)境中的大型訓(xùn)練集群，而是越來越多地融入日常企業(yè)運(yùn)營(yíng)，需要與數(shù)據(jù)湖、外部服務(wù)以及面向用戶的應(yīng)用實(shí)現(xiàn)無縫交互。在此新范式下，南北向網(wǎng)絡(luò)正重新崛起，成為 AI 工廠的關(guān)鍵支撐。憑借 NVIDIA Spectrum-X 以太網(wǎng)、NVIDIA BlueField 以及基于 NVIDIA 企業(yè)參考架構(gòu)的精細(xì)架構(gòu)設(shè)計(jì)，企業(yè)能夠打造具備高彈性、高性能且可隨 AI 工作負(fù)載持續(xù)擴(kuò)展的 AI 工廠。

了解更多詳情：

• NVIDIA 認(rèn)證系統(tǒng)
• https://www.nvidia.cn/data-center/products/certified-systems/
• NVIDIA 企業(yè)參考架構(gòu)
• https://resources.nvidia.com/c/collection-9563de54?x=sTI8RF
• NVIDIA 認(rèn)證存儲(chǔ)計(jì)劃
• https://blogs.nvidia.cn/blog/nvidia-certified-enterprise-storage/?ncid=so-nvsh-870531