點擊下方“JavaEdge”，選擇“設為星標”

第一時間關注技術干貨！

免責聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因為世上沒有同樣的成長環(huán)境，也沒有同樣的認知水平，更「沒有適用于所有人的解決方案」； 不要急著評判文章列出的觀點，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實踐中尋找適合自己的大道」

背景

在 Netflix，我們使用亞馬遜網(wǎng)絡服務（AWS）來滿足我們的云基礎設施需求，如計算、存儲和網(wǎng)絡，以構建和運行我們喜愛的流媒體平臺。我們的生態(tài)系統(tǒng)使工程團隊能夠利用開源和專有解決方案的組合，大規(guī)模運行應用程序和服務。反過來，我們的自助服務平臺允許團隊更高效地創(chuàng)建和部署工作負載，有時甚至是自定義工作負載。這種多樣化的技術環(huán)境會從各種基礎設施實體中產(chǎn)生大量豐富的數(shù)據(jù)，數(shù)據(jù)工程師和分析師會從中協(xié)作，在一個持續(xù)的反饋循環(huán)中為工程組織提供可操作的見解，從而最終提升業(yè)務。

我們實現(xiàn)這一目標的一個重要方法是將高度精選的數(shù)據(jù)源民主化，這些數(shù)據(jù)將 Netflix 各項服務和團隊的使用情況和成本模式陽光化。數(shù)據(jù)與洞察組織與我們的工程團隊密切合作，共享關鍵的效率指標，使內(nèi)部利益相關者能夠做出明智的業(yè)務決策。

數(shù)據(jù)是關鍵

這就是我們的團隊 Platform DSE（數(shù)據(jù)科學工程）的作用所在，它使我們的工程合作伙伴能夠了解他們正在使用哪些資源，他們使用這些資源的效率和效果如何，以及與資源使用相關的成本。我們希望我們的下游消費者能夠使用我們的數(shù)據(jù)集做出具有成本意識的決策。

為了以可擴展的方式滿足這些眾多的分析需求，我們開發(fā)了一種由兩部分組成的解決方案：

1. Foundational Platform Data (FPD)基礎平臺數(shù)據(jù)：該組件為所有平臺數(shù)據(jù)提供一個集中的數(shù)據(jù)層，具有一致的數(shù)據(jù)模型和標準化的數(shù)據(jù)處理方法。

2. Cloud Efficiency Analytics (CEA)云效率分析：該組件建立在 FPD 的基礎上，提供一個分析數(shù)據(jù)層，在各種業(yè)務用例中提供時間序列效率指標。

我們與不同的平臺數(shù)據(jù)提供商合作，獲取他們各自平臺的庫存、所有權和使用數(shù)據(jù)。下面舉例說明這一框架如何應用于 Spark 平臺。FPD 與生產(chǎn)商簽訂數(shù)據(jù)合同，以確保數(shù)據(jù)質(zhì)量和可靠性；這些合同使團隊能夠利用通用數(shù)據(jù)模型獲得所有權。標準化的數(shù)據(jù)模型和處理促進了可擴展性和一致性。

一旦基礎數(shù)據(jù)準備就緒，CEA 就會消耗庫存、所有權和使用數(shù)據(jù)，并應用適當?shù)臉I(yè)務邏輯來生成不同粒度的成本和所有權歸屬。CEA 的數(shù)據(jù)模型方法是分門別類和透明化；我們希望下游消費者了解為什么他們會看到資源顯示在他們的名字/機構下，以及這些成本是如何計算的。這種方法的另一個好處是，當引入新的業(yè)務邏輯或業(yè)務邏輯發(fā)生變化時，能夠快速進行透視。

出于成本核算的目的，我們將資產(chǎn)分配給單個所有者，或在資產(chǎn)為多租戶時分配成本。不過，我們也為不同的消費者提供不同匯總的使用情況和成本。

數(shù)據(jù)原則

作為效率指標的真實來源，我們團隊的任務是提供準確、可靠和可訪問的數(shù)據(jù)，提供全面的文檔資料，以便在復雜的效率空間中游刃有余，并提供定義明確的服務水平協(xié)議（SLA），以便在延遲、中斷或變更期間與下游消費者達成期望。

雖然所有權和成本看似簡單，但由于業(yè)務基礎設施和平臺特定功能的廣度和范圍，數(shù)據(jù)集的復雜性相當高。服務可能有多個所有者，每個平臺的成本啟發(fā)法都是獨一無二的，而且基礎設施數(shù)據(jù)的規(guī)模也很大。當我們努力將基礎設施的覆蓋范圍擴大到所有垂直業(yè)務領域時，我們面臨著一系列獨特的挑戰(zhàn)：

適合大多數(shù)人的幾種尺寸

盡管在將上游平臺數(shù)據(jù)轉(zhuǎn)化為 FPD 和 CEA 的過程中簽訂了數(shù)據(jù)合同并采用了標準化數(shù)據(jù)模型，但通常仍存在一定程度的特定平臺獨有的定制化問題。作為真相的集中來源，我們始終感到處理負擔的緊張。在決策制定過程中，我們需要與數(shù)據(jù)生產(chǎn)者和消費者進行持續(xù)的透明對話，經(jīng)常進行優(yōu)先級檢查，并與業(yè)務需求保持一致，因為我們是這一領域的明智領導者。

數(shù)據(jù)保證

為了保證數(shù)據(jù)的正確性和可信度，我們必須對管道中每一層的健康指標進行審核和可見性，以便快速調(diào)查問題并找出異常的根本原因。由于上游延遲和數(shù)據(jù)轉(zhuǎn)換所需的時間，在確保數(shù)據(jù)正確性的同時保持數(shù)據(jù)的完整性變得非常具有挑戰(zhàn)性。我們不斷改進我們的審核工作，并結合反饋意見來完善和滿足我們的 SLA。

抽象層

我們重視人而不是流程，工程團隊為企業(yè)其他部門構建定制的 SaaS 解決方案的情況并不少見。雖然這有利于創(chuàng)新并提高了開發(fā)速度，但在理解和解釋使用模式以及以對企業(yè)和最終消費者有意義的方式進行成本歸因時，可能會產(chǎn)生一些難題。有了來自 FPD 的明確庫存、所有權和使用數(shù)據(jù)，以及分析層中的精確歸因，我們就能為下游用戶提供衡量指標，無論他們是利用內(nèi)部平臺還是直接在 AWS 資源上進行構建。

未來展望

展望未來，我們的目標是繼續(xù)為 FPD 和 CEA 搭建平臺，力爭在來年實現(xiàn)幾乎全面的成本洞察覆蓋。從長遠來看，我們計劃將 FPD 擴展到安全和可用性等其他業(yè)務領域。我們的目標是通過預測分析和 ML 來優(yōu)化使用和檢測成本中的異常情況，從而轉(zhuǎn)向主動方法。

最終，我們的目標是讓我們的工程組織在構建和維護讓我們享受 Netflix 流媒體服務的各種服務時，能夠做出注重效率的決策。

關注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

★ 作者簡介：魔都架構師，多家大廠后端一線研發(fā)經(jīng)驗，在分布式系統(tǒng)設計、數(shù)據(jù)平臺架構和AI應用開發(fā)等領域都有豐富實踐經(jīng)驗。 各大技術社區(qū)頭部專家博主。具有豐富的引領團隊經(jīng)驗，深厚業(yè)務架構和解決方案的積累。 負責： 中央/分銷預訂系統(tǒng)性能優(yōu)化 活動&券等營銷中臺建設 交易平臺及數(shù)據(jù)中臺等架構和開發(fā)設計 車聯(lián)網(wǎng)核心平臺-物聯(lián)網(wǎng)連接平臺、大數(shù)據(jù)平臺架構設計及優(yōu)化 LLM Agent應用開發(fā) 區(qū)塊鏈應用開發(fā) 大數(shù)據(jù)開發(fā)挖掘經(jīng)驗 推薦系統(tǒng)項目 目前主攻市級軟件項目設計、構建服務全社會的應用系統(tǒng)。 ”

參考：

• 編程嚴選網(wǎng)

編程嚴選網(wǎng)：http://www.javaedge.cn/ 專注分享軟件開發(fā)全生態(tài)相關技術文章、視頻教程資源、熱點資訊等，全站資源免費學習，快來看看吧~ 【編程嚴選】星球

歡迎長按圖片加好友，我會第一時間和你分享軟件行業(yè)趨勢，面試資源，學習方法等等。

添加好友備注【技術群交流】拉你進技術交流群

關注公眾號后，在后臺私信：

• 更多教程資源應有盡有，歡迎關注并加技術交流群，慢慢獲取

• 為避免大量資源被收藏白嫖而浪費各自精力，以上資源領取分別需要收取1元門檻費！