今天我們來(lái)聊點(diǎn)特別的，量大、神秘的大廠網(wǎng)絡(luò)。

網(wǎng)絡(luò)這東西，是個(gè)理論為底、實(shí)踐為本的經(jīng)驗(yàn)知識(shí)體系，如果不是天天摸它、盤(pán)它、挊?biāo)?，很快就忘掉?/p>

為什么大廠網(wǎng)絡(luò)比園區(qū)網(wǎng)神秘，就是因?yàn)樗?guī)模夠大，并不是每個(gè)甲方都需要，接觸的網(wǎng)工自然就少。

從今天開(kāi)始，我打算在特大號(hào)起個(gè)專欄，陸陸續(xù)續(xù)寫(xiě)些小文，把大廠網(wǎng)絡(luò)的特點(diǎn)介紹一下，讓這個(gè)領(lǐng)域“卷”起來(lái)。

01、大廠網(wǎng)絡(luò)分類

規(guī)模大才能稱得上大廠，網(wǎng)絡(luò)至少20萬(wàn)個(gè)接入端口，也就是10萬(wàn)臺(tái)服務(wù)器，是個(gè)門(mén)檻，再往上還有20萬(wàn)、50萬(wàn)、100萬(wàn)臺(tái)服務(wù)器這幾個(gè)檔位。

量變引起質(zhì)變，所以對(duì)網(wǎng)絡(luò)的分類自然和以辦公為主體的園區(qū)網(wǎng)絡(luò)有了本質(zhì)變化↓

一、DCN，數(shù)據(jù)中心網(wǎng)絡(luò)，專門(mén)伺候一個(gè)數(shù)據(jù)中心園區(qū)內(nèi)的服務(wù)器高速互聯(lián)用的，這幾年因?yàn)锳I的發(fā)展，概念上也有了分化。

①front-end或者TCP或者機(jī)頭網(wǎng)絡(luò)：

每家大廠都會(huì)有自己的命名體系，當(dāng)看到不同廠的文檔時(shí)，需要讀者進(jìn)行理解上對(duì)齊。

這就是傳統(tǒng)的DCN，服務(wù)器的業(yè)務(wù)網(wǎng)絡(luò)，承載Overlay的Underlay，同時(shí)跑也存儲(chǔ)這類大流量，也支持不那么高性能的RDMA。

②back-end或者RDMA或者HPN或者scale-out網(wǎng)絡(luò)或者IB網(wǎng)絡(luò)或者RoCE網(wǎng)絡(luò)：

也有叫計(jì)算平面、參數(shù)平面的，名稱非常多，AI時(shí)代的產(chǎn)物，專門(mén)用于GPU或者加速卡之間的高性能RDMA通信。

③scale-up網(wǎng)絡(luò)或者超節(jié)點(diǎn)網(wǎng)絡(luò)：

顧名思義，超節(jié)點(diǎn)才需要的內(nèi)存總線網(wǎng)絡(luò)，通常由GPU或者加速卡廠商綁定，大廠也會(huì)自研這部分網(wǎng)絡(luò)。

這部分網(wǎng)絡(luò)通常要跨界計(jì)算體系結(jié)構(gòu)，純網(wǎng)工已經(jīng)完全不夠用了。

④互聯(lián)器件：

和股市反映的現(xiàn)實(shí)一樣，光模塊等互聯(lián)器件在DCN中無(wú)比重要，通常會(huì)有專門(mén)的小分隊(duì)來(lái)跟蹤互聯(lián)器件的技術(shù)路線。

二、DCI，數(shù)據(jù)中心互聯(lián)，也就是把不同的數(shù)據(jù)中心連起來(lái)，并且通過(guò)自建的OTN給夠帶寬，也根據(jù)OTN的類型分為以下幾種。

①城域DCI，裸纖資源較充沛，通常會(huì)自建OTN來(lái)滿足想擴(kuò)就擴(kuò)的帶寬需求

②骨干DCI，跨省的裸纖就不那么好找了，會(huì)根據(jù)實(shí)際帶寬需求的TCO成本來(lái)考慮是租用運(yùn)營(yíng)商線路還是自建OTN。

OTN，物理層的技術(shù)體系，通常也是一個(gè)單獨(dú)的架構(gòu)，量大了就會(huì)采取更為自主可控的技術(shù)路線。

三、公網(wǎng)或者外網(wǎng)，有的廠會(huì)獨(dú)立架構(gòu)，也有的廠因?yàn)槎嗟赜虺隹谛枰霉歉蒁CI提供調(diào)度也會(huì)放到DCI里。

大廠不會(huì)給所有服務(wù)器提供直接的公網(wǎng)接入，所有公網(wǎng)都通過(guò)專用的網(wǎng)關(guān)或者代理網(wǎng)元提供，這類網(wǎng)元都是基于服務(wù)器集群或者專用可編程硬件集群，構(gòu)造了一個(gè)性能無(wú)限、更為自主可控的公網(wǎng)訪問(wèn)控制體系。

①國(guó)內(nèi)公網(wǎng)：

國(guó)內(nèi)公網(wǎng)就3大，靜態(tài)和BGP互聯(lián)可選，覆蓋分布較為簡(jiǎn)單，運(yùn)營(yíng)模式較內(nèi)網(wǎng)復(fù)雜N倍。

②國(guó)際公網(wǎng)：

運(yùn)營(yíng)商覆蓋分布零散，自由的BGP互聯(lián)，有穿透和非穿透互聯(lián)，也有專線互聯(lián)和IX互聯(lián)。

每種互聯(lián)選項(xiàng)都有不同的覆蓋質(zhì)量和服務(wù)等級(jí)，如果是國(guó)產(chǎn)網(wǎng)工要上手這部分，背景知識(shí)就得花好幾個(gè)月，應(yīng)該是國(guó)內(nèi)公司的N倍復(fù)雜度。

四、邊緣網(wǎng)絡(luò)，有的廠也會(huì)加入到DCI里頭，主要是隨著CDN、邊緣計(jì)算等業(yè)務(wù)的興起，需要一個(gè)專門(mén)的網(wǎng)絡(luò)分類來(lái)滿足這部分需求。

①邊緣內(nèi)部網(wǎng)絡(luò)，類似迷你的DCN + 迷你的公網(wǎng)。

②邊緣回源網(wǎng)絡(luò)，屬于DCI的毛細(xì)分支，有的廠為了有更好的回源質(zhì)量用了專線，有的廠則直接復(fù)用邊緣龐大的公網(wǎng)出口。

五、虛擬網(wǎng)絡(luò)，也有叫容器網(wǎng)絡(luò)或者云網(wǎng)絡(luò)的，熟知的Overlay。

①VS網(wǎng)元，部署在服務(wù)器上，實(shí)現(xiàn)計(jì)算資源的Overlay的接入。

②網(wǎng)關(guān)網(wǎng)元，分布式的各類網(wǎng)元，提供虛擬組網(wǎng)路由、NAT、4/7層代理、限速、訪問(wèn)控制、專線接入、VPN等功能。

這些網(wǎng)元通過(guò)Underlay實(shí)現(xiàn)互聯(lián)，Overlay掛載相同的VPC實(shí)例，這個(gè)VPC就變成一個(gè)邏輯功能不亞于物理網(wǎng)絡(luò)的虛擬網(wǎng)絡(luò)了。

六、帶外網(wǎng)絡(luò)，這部分是最接近園區(qū)網(wǎng)絡(luò)的分支，通常會(huì)和辦公網(wǎng)絡(luò)打通，會(huì)獨(dú)立一套組網(wǎng)資源，避免與生產(chǎn)網(wǎng)絡(luò)形成相互依賴。

七、研發(fā)體系，這不是具體的網(wǎng)絡(luò)類型，但對(duì)大廠卻很重要，這部分代表了自主可控，所有網(wǎng)工智慧結(jié)晶與優(yōu)秀代碼的結(jié)合產(chǎn)物，陣型劃分每個(gè)廠都有自己的偏愛(ài)，大家理解上對(duì)齊就好了。

資產(chǎn)管理，固態(tài)數(shù)據(jù)；配置管理，靜態(tài)數(shù)據(jù)；監(jiān)控管理，動(dòng)態(tài)數(shù)據(jù)。

告警管理，處理不同數(shù)據(jù)的專家策略，代替人眼快速感知網(wǎng)絡(luò)的健康狀態(tài)。

自動(dòng)化，代替網(wǎng)工執(zhí)行成熟的SOP。

SDN，可能也不用這個(gè)詞，定位已經(jīng)不是取代路由協(xié)議了，而是作為一個(gè)高級(jí)工具，簡(jiǎn)單來(lái)說(shuō)就是能夠代替專家看懂全局網(wǎng)絡(luò)，并且能夠基于全局網(wǎng)絡(luò)做一些流量調(diào)度以提供更高級(jí)的網(wǎng)絡(luò)運(yùn)營(yíng)能力。

高性能網(wǎng)絡(luò)，專長(zhǎng)在擁塞控制算法、RDMA協(xié)議棧的網(wǎng)絡(luò)開(kāi)發(fā)專家，與熟練的網(wǎng)絡(luò)工程人員密切配合，在HPN網(wǎng)絡(luò)上跑出讓大模型滿意的性能。

自研體系能力，只要量夠大，萬(wàn)物皆可自研或者自定義，不論是咱們的軍工體系還是大廠抄作業(yè)的對(duì)象——Google都有力地證明了這一點(diǎn)。

通常是從自研交換機(jī)OS開(kāi)始的，統(tǒng)一各種管控面拔高可靠性和效率指標(biāo)的上限，這也是園區(qū)網(wǎng)絡(luò)的網(wǎng)工很體會(huì)到的點(diǎn)，如果量夠大，評(píng)估收益夠可觀，自研光模塊、自研OTN、甚至聯(lián)合研發(fā)硬件、芯片都不在話下。

02、如何評(píng)價(jià)大廠網(wǎng)絡(luò)的水平

建得好不好，通常不由自己說(shuō)了算，也不由同行說(shuō)了算，而是看公司業(yè)務(wù)發(fā)展有沒(méi)受影響。

公司業(yè)務(wù)發(fā)展沒(méi)受制約，說(shuō)明不錯(cuò)，再橫向?qū)Ρ纫幌峦械耐S數(shù)據(jù)，那基本上就知道段位了。

大廠網(wǎng)絡(luò)的獨(dú)特性本質(zhì)是來(lái)說(shuō)是評(píng)價(jià)體系造就出了技術(shù)框架↓

一、可靠：

衡量網(wǎng)絡(luò)的首選要素，故障多不多、出了故障修復(fù)得快不快，就這2個(gè)樸素的指標(biāo)。

為了滿足這2個(gè)指標(biāo)不影響業(yè)務(wù)發(fā)展，多少網(wǎng)工掉了多少頭發(fā)去填坑補(bǔ)漏，優(yōu)秀的網(wǎng)工都是趟過(guò)最多坑的那一群人。

二、經(jīng)濟(jì)：

在滿足業(yè)務(wù)基礎(chǔ)要求的前提下，在指定范圍內(nèi)的單位TCO成本，有的場(chǎng)景是接入端口，有的場(chǎng)景則是帶寬。

作為一個(gè)類似小區(qū)水電工的純成本角色，畢竟量這么大，這也是老板們最愛(ài)的指標(biāo)。

環(huán)比、同行比、拆細(xì)了維度再比，很多園區(qū)網(wǎng)絡(luò)不理解地方都是因?yàn)闆](méi)受這樣的成本模型考核。

三、效率：

主要考慮的是能不能交付、交付夠不夠快。

可能大家認(rèn)為這就是堆人的活，但如果考慮到芯片斷供、某個(gè)供應(yīng)商服務(wù)能力很差嚴(yán)重影響業(yè)務(wù)這些黑天鵝，并且要把這些可能的問(wèn)題從事前規(guī)避而非事后教訓(xùn)，這也是園區(qū)網(wǎng)絡(luò)很難體會(huì)的一個(gè)點(diǎn)。

四、經(jīng)營(yíng)：

比如用兼顧以上3個(gè)維度要求的技術(shù)方案去滿足業(yè)務(wù)需求、QoS服務(wù)的可不可以靠差價(jià)賺點(diǎn)微薄利潤(rùn)、在業(yè)務(wù)還沒(méi)有明確的要求的時(shí)候要不要推廣200G接入端口……

一個(gè)好的經(jīng)營(yíng)，需要綜合調(diào)研、精算、方案論證和立項(xiàng)等策劃工作，也需要設(shè)計(jì)、項(xiàng)目管理、執(zhí)行、運(yùn)營(yíng)等長(zhǎng)期落地工程，還需要長(zhǎng)期跟蹤這個(gè)產(chǎn)業(yè)五花八門(mén)的技術(shù)動(dòng)態(tài)以達(dá)到借鑒作用，甚至有沒(méi)有必要冒一定的風(fēng)險(xiǎn)在業(yè)界吃一口螃蟹。

能做好經(jīng)營(yíng)的網(wǎng)絡(luò)團(tuán)隊(duì)，那都是大廠中的頂流，說(shuō)明團(tuán)隊(duì)陣型合理、技術(shù)儲(chǔ)備充分、同時(shí)有明確的技術(shù)戰(zhàn)略路線作為指引、并且可以把相應(yīng)的戰(zhàn)略目標(biāo)落實(shí)實(shí)現(xiàn)等等……

經(jīng)營(yíng)，可以說(shuō)是大廠網(wǎng)絡(luò)和園區(qū)網(wǎng)絡(luò)最為全面的區(qū)別。

好了，第一期就介紹這些基礎(chǔ)概念吧，后面再挑些具體的點(diǎn)來(lái)管中窺豹。

也歡迎大家在評(píng)論區(qū)留言或者加我微信，共同交流探討。