點(diǎn)擊下方“JavaEdge”，選擇“設(shè)為星標(biāo)”

第一時(shí)間關(guān)注技術(shù)干貨！

免責(zé)聲明~ 任何文章不要過(guò)度深思！ 萬(wàn)事萬(wàn)物都經(jīng)不起審視，因?yàn)槭郎蠜](méi)有同樣的成長(zhǎng)環(huán)境，也沒(méi)有同樣的認(rèn)知水平，更「沒(méi)有適用于所有人的解決方案」； 不要急著評(píng)判文章列出的觀點(diǎn)，只需代入其中，適度審視一番自己即可，能「跳脫出來(lái)從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實(shí)踐中尋找適合自己的大道」

1 導(dǎo)言

在 Netflix，我們每月管理著上千個(gè)全球內(nèi)容發(fā)布項(xiàng)目，每年的投資額高達(dá)數(shù)十億美元。確保每部影片在我們平臺(tái)上的成功和可發(fā)現(xiàn)性是我們的首要任務(wù)，因?yàn)槲覀兊哪繕?biāo)是將每個(gè)故事與合適的受眾聯(lián)系起來(lái)，讓我們的會(huì)員滿意。為了實(shí)現(xiàn)這一目標(biāo)，我們致力于建立強(qiáng)大的系統(tǒng)，提供全面的可觀察性，使我們能夠?qū)ξ覀兎?wù)中的每個(gè)標(biāo)題負(fù)全責(zé)。

2 可觀測(cè)性的挑戰(zhàn)

作為工程師，我們習(xí)慣于跟蹤錯(cuò)誤率、延遲和 CPU 利用率等系統(tǒng)指標(biāo)，但對(duì)標(biāo)題的成功至關(guān)重要的指標(biāo)呢？

下面是兩個(gè)不同的 Netflix 主頁(yè)示例：

主頁(yè)樣本 A

樣本主頁(yè) B

對(duì)于一個(gè)基本的推薦系統(tǒng)來(lái)說(shuō)，這兩個(gè)示例頁(yè)面可能看起來(lái)是等同的，只要瀏覽者觀看頂部標(biāo)題即可。然而，這兩個(gè)頁(yè)面卻截然不同。每個(gè)標(biāo)題都代表了無(wú)數(shù)小時(shí)的努力和創(chuàng)造，我們的系統(tǒng)需要尊重這種獨(dú)特性。我們?nèi)绾螐浐线@種差距？我們?nèi)绾尾拍茉O(shè)計(jì)出認(rèn)識(shí)到這些細(xì)微差別的系統(tǒng)，讓每個(gè)職稱都能發(fā)光發(fā)熱，為會(huì)員帶來(lái)歡樂(lè)？

個(gè)性化系統(tǒng)的運(yùn)行需求

在 Netflix Originals 的早期，我們的發(fā)布團(tuán)隊(duì)會(huì)在午夜時(shí)分聚集在一起，手動(dòng)驗(yàn)證影片是否出現(xiàn)在所有正確的位置。雖然這種親力親為的方法對(duì)少數(shù)作品有效，但很快就發(fā)現(xiàn)它無(wú)法擴(kuò)大規(guī)模。隨著 Netflix 在全球范圍內(nèi)的擴(kuò)張和片頭發(fā)布量的激增，維持這種手動(dòng)流程所帶來(lái)的運(yùn)營(yíng)挑戰(zhàn)已成為不爭(zhēng)的事實(shí)。

在為全球流媒體服務(wù)運(yùn)營(yíng)個(gè)性化系統(tǒng)的過(guò)程中，需要處理大量有關(guān)特定時(shí)間和地點(diǎn)為何會(huì)出現(xiàn)或不會(huì)出現(xiàn)某些標(biāo)題的詢問(wèn)。舉例如下

• 為什么標(biāo)題 X 沒(méi)有顯示在某個(gè)會(huì)員的 "即將推出 "行中？

• 為什么巴西的搜索頁(yè)面缺少標(biāo)題 Y？

• 標(biāo)題 Z 是否按預(yù)期在所有產(chǎn)品體驗(yàn)中正確顯示？

隨著 Netflix 規(guī)模的擴(kuò)大，我們面臨著越來(lái)越大的挑戰(zhàn)，即如何為有關(guān)標(biāo)題性能和可發(fā)現(xiàn)性的日益復(fù)雜的查詢提供準(zhǔn)確、及時(shí)的答案。這導(dǎo)致了一套分散在各個(gè)團(tuán)隊(duì)的零散腳本、運(yùn)行手冊(cè)和臨時(shí)解決方案--這種方法既無(wú)法持續(xù)，也不高效。

要確保每個(gè)標(biāo)題都完美無(wú)瑕地發(fā)布，賭注就更大了。元數(shù)據(jù)和資產(chǎn)必須正確配置，數(shù)據(jù)必須無(wú)縫流動(dòng)，微服務(wù)必須無(wú)差錯(cuò)地處理標(biāo)題，算法必須按預(yù)期運(yùn)行。這些操作需求的復(fù)雜性凸顯了對(duì)可擴(kuò)展解決方案的迫切需求。

自動(dòng)化操作

隨著時(shí)間的推移，我們逐漸發(fā)現(xiàn)，我們需要實(shí)現(xiàn)業(yè)務(wù)自動(dòng)化，以便隨著業(yè)務(wù)的擴(kuò)展而擴(kuò)展。當(dāng)我們進(jìn)一步思考這個(gè)問(wèn)題和可能的解決方案時(shí)，出現(xiàn)了兩個(gè)明確的選擇。

選項(xiàng) 1：日志處理

日志處理為監(jiān)控和分析標(biāo)題啟動(dòng)提供了直接的解決方案。通過(guò)記錄所有標(biāo)題的顯示過(guò)程，我們可以處理這些日志以識(shí)別異常情況并深入了解系統(tǒng)性能。這種方法有以下幾個(gè)優(yōu)點(diǎn)：

1. 對(duì)現(xiàn)有系統(tǒng)造成的負(fù)擔(dān)?。喝罩咎幚韺?duì)現(xiàn)有基礎(chǔ)設(shè)施的改動(dòng)極小。通過(guò)利用常規(guī)操作中已經(jīng)生成的日志，我們可以在不對(duì)系統(tǒng)進(jìn)行重大修改的情況下擴(kuò)展可觀測(cè)性。這樣，我們就可以專注于數(shù)據(jù)分析和問(wèn)題解決，而不是管理復(fù)雜的系統(tǒng)變更。

2. 使用真相來(lái)源：日志提供了系統(tǒng)事件的全面記錄，是可靠的 "真相來(lái)源"。通過(guò)日志，我們可以驗(yàn)證標(biāo)題是否按預(yù)期呈現(xiàn)，并調(diào)查任何差異。這種能力對(duì)于確保我們的推薦系統(tǒng)和用戶界面正常運(yùn)行、支持成功發(fā)布標(biāo)題至關(guān)重要。

然而，采用這種方法也會(huì)帶來(lái)一些挑戰(zhàn)：

1. 提前發(fā)現(xiàn)問(wèn)題：日志記錄主要是針對(duì)啟動(dòng)后的情況，因?yàn)橹挥性谙驎?huì)員展示標(biāo)題后才會(huì)生成日志。為了主動(dòng)發(fā)現(xiàn)問(wèn)題，我們需要提前模擬流量并預(yù)測(cè)系統(tǒng)行為。一旦產(chǎn)生人工流量，丟棄響應(yīng)對(duì)象并完全依賴日志就會(huì)變得效率低下。

2. 適當(dāng)?shù)臏?zhǔn)確性：全面記錄要求服務(wù)記錄包含和排除的標(biāo)題，以及排除的原因。這可能導(dǎo)致記錄的數(shù)據(jù)呈指數(shù)增長(zhǎng)。使用概率記錄方法可能會(huì)影響準(zhǔn)確性，使人難以確定記錄中缺少的標(biāo)題是由于排除還是偶然。

3. 服務(wù)水平協(xié)議和成本考慮：我們現(xiàn)有的在線日志系統(tǒng)不支持標(biāo)題粒度級(jí)別的日志記錄。雖然可以重新設(shè)計(jì)這些系統(tǒng)，以適應(yīng)這一額外的軸，但會(huì)增加成本。此外，這些調(diào)查具有時(shí)間敏感性，因此不能使用冷存儲(chǔ)，因?yàn)槔浯鎯?chǔ)無(wú)法滿足嚴(yán)格的 SLA 要求。

為了優(yōu)先考慮標(biāo)題發(fā)布的可觀察性，我們可以采用集中式方法。通過(guò)在所有系統(tǒng)中引入可觀察性端點(diǎn)，我們可以將實(shí)時(shí)數(shù)據(jù)流引入標(biāo)題發(fā)布可觀察性專用微服務(wù)。這種方法可將可觀察性直接嵌入到管理標(biāo)題發(fā)布和個(gè)性化的服務(wù)結(jié)構(gòu)中，確保無(wú)縫監(jiān)控和洞察。主要優(yōu)勢(shì)和策略包括

1. 實(shí)時(shí)監(jiān)控：Observability 端點(diǎn)可對(duì)系統(tǒng)性能和標(biāo)題位置進(jìn)行實(shí)時(shí)監(jiān)控，使我們能夠在問(wèn)題出現(xiàn)時(shí)及時(shí)發(fā)現(xiàn)并解決。

2. 主動(dòng)問(wèn)題檢測(cè)：通過(guò)模擬未來(lái)的流量（我們稱之為 "時(shí)間旅行"）并提前捕捉系統(tǒng)響應(yīng)，我們可以在潛在問(wèn)題影響會(huì)員或業(yè)務(wù)之前先發(fā)制人地發(fā)現(xiàn)它們。

3. 增強(qiáng)準(zhǔn)確性：可觀察性端點(diǎn)提供有關(guān)標(biāo)題包含和排除的精確數(shù)據(jù)，使我們能夠?qū)ο到y(tǒng)行為和標(biāo)題可見(jiàn)性做出準(zhǔn)確的斷言。它還為我們提供了修復(fù)已發(fā)現(xiàn)問(wèn)題所需的高級(jí)調(diào)試信息。

4. 可擴(kuò)展性和成本效益：雖然初始實(shí)施需要一定的投資，但這種方法最終為管理 Netflix 規(guī)模的標(biāo)題發(fā)布提供了一種可擴(kuò)展且具有成本效益的解決方案。

選擇這一方案也會(huì)帶來(lái)一些折衷：

1. 初期投資巨大：一些系統(tǒng)需要?jiǎng)?chuàng)建新的端點(diǎn)并重構(gòu)代碼庫(kù)，以采用這種新的方法來(lái)確定啟動(dòng)的優(yōu)先級(jí)。

2. 同步風(fēng)險(xiǎn)：這些新端點(diǎn)可能無(wú)法準(zhǔn)確反映生產(chǎn)行為，因此需要有意識(shí)地確保所有端點(diǎn)保持同步。

通過(guò)采用全面的可觀察性策略（包括實(shí)時(shí)監(jiān)控、主動(dòng)問(wèn)題檢測(cè)和真實(shí)源調(diào)節(jié)），我們大大增強(qiáng)了確保在 Netflix 上成功發(fā)布和發(fā)現(xiàn)影片的能力，豐富了會(huì)員的全球觀看體驗(yàn)。在本系列的下一部分，我們將深入探討我們是如何實(shí)現(xiàn)這一目標(biāo)的，并分享關(guān)鍵技術(shù)見(jiàn)解和細(xì)節(jié)。

關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

★ 作者簡(jiǎn)介：魔都架構(gòu)師，多家大廠后端一線研發(fā)經(jīng)驗(yàn)，在分布式系統(tǒng)設(shè)計(jì)、數(shù)據(jù)平臺(tái)架構(gòu)和AI應(yīng)用開(kāi)發(fā)等領(lǐng)域都有豐富實(shí)踐經(jīng)驗(yàn)。 各大技術(shù)社區(qū)頭部專家博主。具有豐富的引領(lǐng)團(tuán)隊(duì)經(jīng)驗(yàn)，深厚業(yè)務(wù)架構(gòu)和解決方案的積累。 負(fù)責(zé)： 中央/分銷預(yù)訂系統(tǒng)性能優(yōu)化 活動(dòng)&券等營(yíng)銷中臺(tái)建設(shè) 交易平臺(tái)及數(shù)據(jù)中臺(tái)等架構(gòu)和開(kāi)發(fā)設(shè)計(jì) 車聯(lián)網(wǎng)核心平臺(tái)-物聯(lián)網(wǎng)連接平臺(tái)、大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)及優(yōu)化 LLM Agent應(yīng)用開(kāi)發(fā) 區(qū)塊鏈應(yīng)用開(kāi)發(fā) 大數(shù)據(jù)開(kāi)發(fā)挖掘經(jīng)驗(yàn) 推薦系統(tǒng)項(xiàng)目 目前主攻市級(jí)軟件項(xiàng)目設(shè)計(jì)、構(gòu)建服務(wù)全社會(huì)的應(yīng)用系統(tǒng)。 ”

參考：

• 編程嚴(yán)選網(wǎng)

編程嚴(yán)選網(wǎng)：http://www.javaedge.cn/ 專注分享軟件開(kāi)發(fā)全生態(tài)相關(guān)技術(shù)文章、視頻教程資源、熱點(diǎn)資訊等，全站資源免費(fèi)學(xué)習(xí)，快來(lái)看看吧~ 【編程嚴(yán)選】星球

歡迎長(zhǎng)按圖片加好友，我會(huì)第一時(shí)間和你分享軟件行業(yè)趨勢(shì)，面試資源，學(xué)習(xí)方法等等。

添加好友備注【技術(shù)群交流】拉你進(jìn)技術(shù)交流群

關(guān)注公眾號(hào)后，在后臺(tái)私信：

• 更多教程資源應(yīng)有盡有，歡迎關(guān)注并加技術(shù)交流群，慢慢獲取

• 為避免大量資源被收藏白嫖而浪費(fèi)各自精力，以上資源領(lǐng)取分別需要收取1元門(mén)檻費(fèi)！