（一）廣域網(wǎng)，橫跨海陸

為了AI還真是，

搞網(wǎng)絡(luò)的錢不少花，

大動(dòng)作，大投入，

數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)，重做；

數(shù)據(jù)中心外部網(wǎng)絡(luò)，也重做；

確切表達(dá)，不是完全推翻，但也是大變革。

數(shù)據(jù)中心里的網(wǎng)絡(luò)，

譚老師我寫了好幾篇了，

高低得看看，跨數(shù)據(jù)中心的網(wǎng)絡(luò)，也就是廣域網(wǎng)，

這網(wǎng)規(guī)模大，非常大，巨大，

這么大，還想做好，豈不很難？

重做，要有很大決心，挑戰(zhàn)一堆。

但有AI在，誰(shuí)也阻擋不了頭部大廠的決心。

有網(wǎng)絡(luò)技術(shù)大佬曾和我說(shuō)，

大網(wǎng)的難度比起小網(wǎng)，至少高兩個(gè)數(shù)量級(jí)。

這種大網(wǎng)，動(dòng)不動(dòng)就跨海；

Meta的廣域網(wǎng)海底電纜怎么搞的呢？

2025年11月，

《解鎖AI潛力，跨越5萬(wàn)公里全球》；

5萬(wàn)公里，比地球周長(zhǎng)還長(zhǎng)。

每根光纜里塞16對(duì)光纖；

這是老系統(tǒng)的兩倍容量；

還要“疏通高層關(guān)系”，

跨越50個(gè)司法管轄區(qū)，

花近6年時(shí)間，動(dòng)用35艘海上船只，

累計(jì)運(yùn)營(yíng)時(shí)長(zhǎng)相當(dāng)于32年。

以前的海底光纜，大多是運(yùn)營(yíng)商專屬，

要么一家獨(dú)攬，要么幾家瓜分，

小服務(wù)商想拿到帶寬，不僅貴，還得看人臉色。

這么大的工程，為啥是美國(guó)Meta公司出頭？

這背后，是科技巨頭對(duì)全球廣域網(wǎng)話語(yǔ)權(quán)的爭(zhēng)奪；

就不展開了，C位是廣域網(wǎng)，

科技巨頭的投入和野心，都濃縮在漫畫里了。

跨海之后就上岸，城市之間建廣域網(wǎng)，

那該怎么干呢？

（二）先問客戶，需要一張什么樣的廣域網(wǎng)？

面對(duì)尊敬的金主（網(wǎng)絡(luò)用戶），

穩(wěn)定性要高、性能要好、成本要低，

請(qǐng)努力保持微笑。

（此處有3000字的怨氣沒發(fā)出來(lái)）

穩(wěn)定性，首屈一指重要，

或者說(shuō)，穩(wěn)定性是n個(gè)零前面的一，

歷史中絕不缺少穩(wěn)定性的教訓(xùn)，

不過，人類從歷史中學(xué)到的唯一的教訓(xùn)，

就是沒有從歷史中吸取任何教訓(xùn)；

而且，廣域網(wǎng)的故障，

從來(lái)沒有“小教訓(xùn)”；

風(fēng)波歷盡，在保障穩(wěn)定的前提下，

就要比拼性能了。

性能有幾個(gè)最重要的核心指標(biāo)：

帶寬、網(wǎng)絡(luò)延時(shí)、丟包率；

而今，需求五花八門，

“高性能”早已不再是單一維度的指標(biāo)。

有些要低延遲，像視頻會(huì)議；

有些追求極致低延遲，

如，股票高頻交易；

有些更看重帶寬穩(wěn)定與零丟包，

如，AI訓(xùn)練的數(shù)據(jù)同步；

正因如此，好網(wǎng)絡(luò)不在于一味給帶寬給資源，

而在于“對(duì)癥下藥”，

根據(jù)每類（應(yīng)用）需求，

恰如其分地提供服務(wù)質(zhì)量，精細(xì)控制。

這種理念背后還有一個(gè)現(xiàn)實(shí)考量：

高性能，有成本，

如果為所有流量都配超低延遲，

零丟包和超高帶寬，

不僅資源浪費(fèi)嚴(yán)重，

整體系統(tǒng)成本也將難以承受。

事實(shí)上，許多應(yīng)用對(duì)網(wǎng)絡(luò)瑕疵很有容忍度。

例如，普通網(wǎng)頁(yè)瀏覽，

過程中偶爾丟失幾個(gè)數(shù)據(jù)包，

瀏覽器會(huì)自動(dòng)重傳，用戶幾乎毫無(wú)感知；

而同樣的丟包，

若發(fā)生在AI模型訓(xùn)練的數(shù)據(jù)同步階段，

則可能導(dǎo)致訓(xùn)練速度驟降，甚至任務(wù)失敗。

于是，“差異化服務(wù)”這一能力走上舞臺(tái)中央，

因此，理想的網(wǎng)絡(luò)架構(gòu)應(yīng)當(dāng)——

能識(shí)別不同業(yè)務(wù)類型，

并為其分配匹配的服務(wù)等級(jí)（SLA）。

啥業(yè)務(wù)配啥待遇，

不搞一刀切；

這種“因地制宜”的策略，

既保障了核心業(yè)務(wù)的性能需求，

又避免了不必要的開銷。

歸根結(jié)底，最好的性能并非“絕對(duì)最強(qiáng)”，

而是“剛剛好”。

這正是，網(wǎng)絡(luò)的核心價(jià)值所在。

成本是商業(yè)邏輯的基礎(chǔ)，無(wú)須多言；

再加一點(diǎn)，

離開規(guī)模談穩(wěn)定，性能和成本，

是耍流氓。

什么意思呢？一個(gè)AI實(shí)驗(yàn)室里，

5臺(tái)服務(wù)器40張GPU卡，

穩(wěn)定和性能都可以十分卓越，

但，這種卓越無(wú)法復(fù)制于，

4000張GPU卡的大規(guī)模集群。

站在頭部大云廠商角度，

要以低成本提供高穩(wěn)定，

高性價(jià)比的網(wǎng)絡(luò)服務(wù)，

成本包括Capx（資本性支出），

和Opex（運(yùn)營(yíng)性支出），

其中Opex是大頭，

也就是說(shuō)，大規(guī)模網(wǎng)絡(luò)的運(yùn)維效率是重中之重，

怎么樣提升？又做到何種程度？

我只能說(shuō)，這種“理想”，

AWS做到了，谷歌，Meta也做到了，

阿里云做到了，

這類代表性網(wǎng)絡(luò)架構(gòu)，也已成熟，

比如，阿里云HPN。

這些是數(shù)據(jù)中心網(wǎng)絡(luò)的情況，

而對(duì)于廣域網(wǎng)而言，

則是另一番天地。

廣域網(wǎng)歷史包袱很重，

以前的廣域網(wǎng)（技術(shù)架構(gòu)），

過于復(fù)雜，已然事實(shí)，

想翻轉(zhuǎn)此局面，

中小廠商肯定沒有實(shí)力，

大廠商誰(shuí)會(huì)出手？

在何時(shí)出手，而又如何出手？

復(fù)雜加復(fù)雜，直接遭遇不可能三角，走不通了。

（三）聊下廣域網(wǎng)設(shè)計(jì)原則

如何達(dá)成“夢(mèng)中情網(wǎng)”？

簡(jiǎn)化的確是一條思路，

關(guān)鍵在于，怎么簡(jiǎn)化？

得找個(gè)真正的專家聊聊；

好在，有機(jī)會(huì)和，

阿里云廣域網(wǎng)架構(gòu)與研發(fā)總監(jiān)蘇遠(yuǎn)超聊了，

他是這么說(shuō)的：

“多年以前，當(dāng)我還在思科做架構(gòu)的時(shí)候，

我們就開始思考，

傳統(tǒng)網(wǎng)絡(luò)架構(gòu)需要增加新功能，

恐怕勉為其難，力不從心；

比如，控制面特別繁重、擴(kuò)展困難、

運(yùn)維繁瑣、容易出錯(cuò)……

但是重構(gòu)這事，在思科公司落不了地，

它不只是網(wǎng)絡(luò)本身的變革。

有很多依賴項(xiàng)，

需要網(wǎng)絡(luò)和運(yùn)營(yíng)支撐系統(tǒng)一體化才能做成?！?/strong>

這可能是阿里廣域網(wǎng)（eCore）曾經(jīng)的“野望”，

而今，eCore正在運(yùn)行，用“現(xiàn)實(shí)”代替“想法”。

幾個(gè)小時(shí)，我們討論得很充分，

還是那句老話，技術(shù)的突破，常在工程前沿陣地。

我順手總結(jié)了超哥的核心觀點(diǎn)：

一舉解決從前傳統(tǒng)廣域網(wǎng)三十年的難題，

第一，最根本的一點(diǎn)就是“簡(jiǎn)化”。

過去，網(wǎng)絡(luò)協(xié)議繁雜，功能堆疊，

導(dǎo)致路由器設(shè)備十分龐大，

從上到下簡(jiǎn)化，將原有的N個(gè)協(xié)議，

精簡(jiǎn)至兩個(gè)（ISIS和BGP），

大大縮小了難題的空間，

難度指數(shù)級(jí)地下降。

第二是高可靠架構(gòu)設(shè)計(jì)，

架構(gòu)高冗余，故障域減少；

AI對(duì)網(wǎng)絡(luò)穩(wěn)定性的要求苛刻，

“故障爆炸半徑最小化”。

第三是運(yùn)維卓越，

第四是面向服務(wù)，此篇按下不表。

這些原則需要在具體設(shè)計(jì)中平衡。

不難觀察：頂級(jí)廠商創(chuàng)新方向，

他們力圖簡(jiǎn)化，

且追求獲得更好的服務(wù)。

我總結(jié)一下：簡(jiǎn)化的工作很多，

不僅簡(jiǎn)化控制平面，

還重構(gòu)網(wǎng)絡(luò)分層、協(xié)議運(yùn)行域劃分等，

把全網(wǎng)的大域分解成，

小的平面和更緊湊的運(yùn)行區(qū)域；

這樣一來(lái)，協(xié)議狀態(tài)無(wú)需全域同步，

從根本上縮小故障域，

從而提升穩(wěn)定性。

“穩(wěn)定性”一詞，總是頻繁提到，

甚至有時(shí)候把一些表面上的改進(jìn)，

也歸為“為了穩(wěn)定性”。對(duì)穩(wěn)定性的考驗(yàn)，

一天24小時(shí)，要真實(shí)數(shù)據(jù)加以說(shuō)明。

蘇遠(yuǎn)超告訴我：

“今年城域網(wǎng)故障就減少了80%以上?！?/p>

（四）“為何你們能做單棧單片”？

單棧的“?！笔菂f(xié)議棧，

單片的“片”是芯片；

很明晰哪，單棧是軟件，單片是硬件，

挑戰(zhàn)性問題拋給阿里：

為何你們能做，而不是別人？

這就得從歷史的相似性中找一些啟發(fā)：

以前思科公司，

為了讓一個(gè)路由器達(dá)到很大的帶寬，

把一個(gè)路由器拓展到，

多框連在一起（Multi-Chassis Router），

可惜，這個(gè)做法很有局限性，

雖然解決了一個(gè)問題，

但是引入了更棘手的問題。

也就是：解決了規(guī)模和性能，

但是引入了，

高運(yùn)維成本和難運(yùn)維的問題；

這熟悉的配方，熟悉的套路，

這套“枷鎖”和當(dāng)下熱門的AI超節(jié)點(diǎn)，

是不是十分類似？

我不下結(jié)論，交給讀者自己判斷。

打開這個(gè)“枷鎖”的鑰匙，

我認(rèn)為是“單棧單片”，

這是一種設(shè)計(jì)理念。

先把協(xié)議簡(jiǎn)化，簡(jiǎn)化軟件，

再簡(jiǎn)化硬件，雙管齊下。

為什么以前不這么干？

因?yàn)橐郧败浖陀布紱]準(zhǔn)備好。

比如，路由器承載很多功能，

且要求大帶寬。

芯片很難同時(shí)做到，

因?yàn)楣δ茇S富和帶寬是相互妥協(xié)的關(guān)系。

要么放棄豐富功能，要么放棄大帶寬，

糾結(jié)很多年，總需要一個(gè)新出路。

這時(shí)候就不得不提，

源于思科公司的Segment Routing技術(shù)。

或者說(shuō)，思科團(tuán)隊(duì)也追求簡(jiǎn)化思想，

需要和一個(gè)持有相同技術(shù)理念的軟件團(tuán)隊(duì)，

雙向奔赴。

于是，思科和阿里的合作，水到渠成。

協(xié)議簡(jiǎn)化之后，

路由器設(shè)備也可以采用大帶寬芯片來(lái)實(shí)現(xiàn)功能。

然而，對(duì)于路由器設(shè)備來(lái)說(shuō)，

僅僅依靠大帶寬是不夠的，

它還需要大緩存來(lái)支持長(zhǎng)距離傳輸。

針對(duì)這一需求，

思科的Silicon One

P200芯片應(yīng)運(yùn)而生。

單棧單片架構(gòu)，

既具備大帶寬，又具備大緩存，

是經(jīng)過特定優(yōu)化的芯片。

于是，一通操作猛如虎，

帶寬直達(dá)51.2T。

架構(gòu)和協(xié)議簡(jiǎn)化了，

高效且專門優(yōu)化的，

大帶寬芯片（51.2T）也有了，

此時(shí)，控制面和數(shù)據(jù)面的條件都已具備，

單芯片的路由器已然成為可能。

設(shè)備簡(jiǎn)化到什么程度呢？

披薩盒式（Pizza-box）白盒路由器，

最終，做到了：

原本，復(fù)雜設(shè)備（大框路由器），

需要多個(gè)芯片拼接在一起；

現(xiàn)在每臺(tái)設(shè)備只配備一個(gè)芯片，

避免了多芯片協(xié)作的復(fù)雜性。

結(jié)果，雖然設(shè)備數(shù)量增多，

但每臺(tái)設(shè)備變得簡(jiǎn)單，

整體架構(gòu)高效和靈活。

簡(jiǎn)單來(lái)說(shuō)，

這是協(xié)議棧的簡(jiǎn)化和大帶寬芯片，

相輔相成的結(jié)果，

也就是“單棧單片”。

（五）架構(gòu)設(shè)計(jì)圖長(zhǎng)啥樣？

簡(jiǎn)化，聽上去真不錯(cuò)，

但要落地，并非易事，

如何簡(jiǎn)化呢？最好先來(lái)看全局圖；

蘇遠(yuǎn)超給我看了一張《高層次設(shè)計(jì)圖》，

將廣域網(wǎng)分解成多個(gè)層次，

每個(gè)層次負(fù)責(zé)處理特定的功能或問題，

從而簡(jiǎn)化了整個(gè)網(wǎng)絡(luò)的管理和操作，

層次化設(shè)計(jì)確實(shí)可以看作，

是一種“分而治之”的策略。

圖上阿里云廣域網(wǎng)絡(luò)（名叫eCore），

分為邊緣（Edge）和核心（Core）兩部分。

核心層里有EC（核心路由器），

就像城市間的飛機(jī)，

數(shù)據(jù)經(jīng)過EC，好比坐上了飛機(jī)；

有飛機(jī)自動(dòng)導(dǎo)航系統(tǒng)，

路由器之間使用ISIS協(xié)議，

在不同的城市之間，

比如，京滬牛馬專線，傳輸數(shù)據(jù)；

而在邊緣層是（也就是EAR和ESR），

分別好比汽車和電瓶車，

負(fù)責(zé)處理從overlay網(wǎng)絡(luò)（虛擬網(wǎng)絡(luò)），

到underlay網(wǎng)絡(luò)（底層網(wǎng)絡(luò)）的轉(zhuǎn)發(fā)。核心層里，

核心路由器主要任務(wù)是路由計(jì)算，

比如，最短路徑選擇，

讓流量按最優(yōu)路徑傳輸。

我們按照進(jìn)出的順序擼一遍，

當(dāng)要傳輸內(nèi)容從數(shù)據(jù)中心出去時(shí)，

怎么走呢？

首先，會(huì)經(jīng)過邊緣路由器，

這些路由器擅長(zhǎng)處理數(shù)據(jù)的封裝，解封裝。

接著，數(shù)據(jù)流會(huì)進(jìn)入核心層路由器，

在這些核心路由器上，計(jì)算最優(yōu)路徑，

簡(jiǎn)而言之，核心層和邊緣層的劃分，

體現(xiàn)在路由器負(fù)責(zé)工作的不同。

怎么進(jìn)出數(shù)據(jù)中心？

得好好理解核心層和邊緣層，

再捋一下《數(shù)據(jù)中心一日游》攻略：

1.PKT（原始發(fā)送的內(nèi)容）先到ESR：

數(shù)據(jù)包從源頭出發(fā)后，

首先到達(dá)ESR（Edge Service Router）層。

在此階段，原始數(shù)據(jù)包（PKT），

會(huì)被封裝（overlay網(wǎng)絡(luò)），

形成一個(gè)新的封裝層，

使得數(shù)據(jù)包可以通過虛擬網(wǎng)絡(luò)進(jìn)行傳輸。

2.ESR封裝后，進(jìn)入EAR：

給數(shù)據(jù)包封裝（underlay網(wǎng)絡(luò)），

通過EAR（Edge Access Router），

進(jìn)入underlay網(wǎng)絡(luò)。

盡管數(shù)據(jù)包仍然帶有overlay封裝，

EAR會(huì)給數(shù)據(jù)包加上封裝（underlay網(wǎng)絡(luò)），

使其能夠在物理網(wǎng)絡(luò)中轉(zhuǎn)發(fā)。

EAR負(fù)責(zé)將帶有封裝的數(shù)據(jù)包

（overlay和underlay），

傳輸?shù)较掠尉W(wǎng)絡(luò)。

3.數(shù)據(jù)包走出EC設(shè)備，

會(huì)在EAR剝掉封裝（underlay網(wǎng)絡(luò)），

再在ESR階段把封裝剝掉（overlay網(wǎng)絡(luò)），

走出EAR和ESR之后，

進(jìn)入數(shù)據(jù)中心前，會(huì)恢復(fù)為原始數(shù)據(jù)包（PKT）。

（六）為何服務(wù)得更細(xì)膩

理解這點(diǎn)，需要理解源路由技術(shù)，

英文名，Segment Routing，SR；

有了SR，用上SRV6協(xié)議，

才能有提供精細(xì)服務(wù)的可能。

當(dāng)然落地還需要芯片，

思科公司Silicon One芯片。

不過，得單拎出來(lái)講；

這篇到此，下篇見。