這兩天， Flink Forward Asia 2024大會在上海召開，吸引了業(yè)內(nèi)上千人參與。

阿里云智能開源大數(shù)據(jù)平臺負(fù)責(zé)人、Apache Flink中文社區(qū)發(fā)起人、Apache Paimon PMC成員王峰，在Flink Forward Asia 2024大會歷數(shù)Apache Flink十年發(fā)展里程碑

作為實時計算領(lǐng)域最負(fù)盛名的技術(shù)盛宴，大會現(xiàn)場座無虛席

沒有人會想到，這個項目的吸引力、影響力如此之大。畢竟，從源頭談起，這是2009的一個實驗室項目，來源于德國柏林工業(yè)大學(xué)的沃克爾·馬克爾（Volker Markl）教授領(lǐng)導(dǎo)開發(fā)的Stratosphere的大數(shù)據(jù)分析系統(tǒng)項目。

讓人想不到的是，發(fā)軔于西部由Stratosphere演化而來的Flink，會在東部的中國得以發(fā)揚光大，被廣泛應(yīng)用于各類實時計算場景，比如購物網(wǎng)站的實時推薦系統(tǒng)、物流行業(yè)的實時物流信息，乃至金融業(yè)的實時風(fēng)控系統(tǒng)等。包括阿里巴巴、字節(jié)、騰訊、小米以及AWS、ebay等國內(nèi)外互聯(lián)網(wǎng)大廠都成為Flink的擁躉。

說Flink項目“10年磨一劍”也好、10年“開花結(jié)果”也好，這與阿里有著非常緊密的聯(lián)系：阿里不僅是國內(nèi)最早將Flink（Blink）用于實時在線業(yè)務(wù)的企業(yè)，同時也是Flink開源社區(qū)最重要的貢獻(xiàn)者之一，主導(dǎo)推動了Flink社區(qū)的發(fā)展。

本文將深度解讀Flink扎根于國內(nèi)互聯(lián)網(wǎng)“開花結(jié)果”的幕后故事。同時結(jié)合趨勢，給出下一個十年的預(yù)測。

從默默無聞到功成名就，阿里云成Flink背后最大貢獻(xiàn)者?

故事回到10年前。

沃克爾教授領(lǐng)導(dǎo)的Stratosphere項目，早期準(zhǔn)備做Batch計算。但當(dāng)時很多計算項目都使用批處理方式，包括后來大名鼎鼎的Apache Spark。于是Stratosphere轉(zhuǎn)向流處理開發(fā)，并于2014年4月被捐贈給Apache基金會，改名為 Apache Flink，同年12月，成為Apache頂級項目。

2014年前后是國內(nèi)互聯(lián)網(wǎng)狂飆突進(jìn)的時代。作為互聯(lián)網(wǎng)購物頂流，淘寶網(wǎng)主導(dǎo)的雙11購物節(jié)參與者以億為單位。面對如此巨大且不斷增長的流量，阿里在業(yè)務(wù)上面臨著一個巨大的挑戰(zhàn)——業(yè)務(wù)實時化需求。而當(dāng)時較為成熟的Spark和阿里自研的ODPS都偏離線批處理，阿里技術(shù)團(tuán)隊迫切需要一個新的技術(shù)處理淘寶流量。Flink就這樣進(jìn)入了阿里技術(shù)團(tuán)隊的視野，無論是技術(shù)架構(gòu)還是理論模型，F(xiàn)link都得到了阿里技術(shù)團(tuán)隊的高度認(rèn)同。

2015年的Flink仍是一個非常早期的版本，不可能直接在淘寶這么大規(guī)模的應(yīng)用場景下落地。于是阿里技術(shù)團(tuán)隊根據(jù)實際業(yè)務(wù)需求，對Flink進(jìn)行了大刀闊斧的改進(jìn)，最終在2016年上線并成功經(jīng)受住了雙11流量的考驗，首次在實際應(yīng)用場景下驗證了新一代流計算模型的可行性。

2017、2018和2019年連續(xù)三年，在不斷加大的流量沖擊下，F(xiàn)link展示了其在實時計算領(lǐng)域的優(yōu)越性。Flink也逐漸開始支持包括淘寶、天貓、支付寶、高德、飛豬、優(yōu)酷等重要業(yè)務(wù)部門，甚至還通過阿里云向中小企業(yè)提供一站式實時計算服務(wù)。這就是阿里的Blink。

2016年淘寶雙11戰(zhàn)報（源自互聯(lián)網(wǎng)）

由于連續(xù)幾年經(jīng)過雙11“大考”，F(xiàn)link（Blink）吸引了包括京東、美團(tuán)、滴滴等國內(nèi)一線互聯(lián)網(wǎng)大廠的關(guān)注，紛紛探索Flink實時計算新場景。經(jīng)過一線大廠的分享擴(kuò)散，F(xiàn)link逐漸輻射至物流、交通、新能源汽車以及金融等諸多行業(yè)。

Flink（Blink）在淘寶乃至各條業(yè)務(wù)線的成功，引起了行癲等一眾阿里高層的重視。為了更好地推動Flink的發(fā)展，阿里在2019年以9000萬歐元的價格收購了Flink創(chuàng)始公司Data Artisans。并且，阿里還將經(jīng)過實戰(zhàn)驗證的Flink（Blink）分支（約150萬行增量代碼）合并到Flink社區(qū)，后又陸續(xù)貢獻(xiàn)了Fink CDC、Paimon等相關(guān)生態(tài)項目。還先后投入了超過50名工程師以支持Flink的開發(fā)，這之中的很多工程師都成為Flink社區(qū)的核心成員，為Flink項目的各個核心模塊的順利開發(fā)發(fā)揮了極其重要的作用。

Flink開源社區(qū)官網(wǎng)列舉的Flink用戶（部分）

時至今日，F(xiàn)link已經(jīng)成為全球企業(yè)關(guān)注的開源項目，包括AWS、ebay與Bouygues等國際知名企業(yè)都已成為Flink的用戶。但這些成就都是Flink在上一個十年取得的，隨著數(shù)智技術(shù)的不斷發(fā)展，F(xiàn)link也需要隨著業(yè)務(wù)需求的變化而不斷改進(jìn)。

在具有總結(jié)性的時間節(jié)點上，F(xiàn)link社區(qū)在Flink Forward Berlin 2024大會中發(fā)布了具有存算分離、流批一體、融合AI等新特性的Flink 2.0的預(yù)覽版本，為不斷發(fā)展的企業(yè)實時計算場景提供更好支撐。

Flink 2.0：讓企業(yè)實時計算更靈活

過去10年中，F(xiàn)link一直隨著業(yè)務(wù)的需求不斷迭代、增加新的功能，但從本質(zhì)架構(gòu)上并沒有太大改變。

面向未來10年，F(xiàn)link需要一個全新架構(gòu)以推動下一步云原生演進(jìn)，2.0版本孕育而生。

本次大會首次公布Flink 2.0版本的技術(shù)特點與細(xì)節(jié)

全新Flink 2.0三大功能特點：

1

存算分離：讓企業(yè)部署更方便

Flink 2.0之前版本并沒有真正實現(xiàn)存算分離，因為流處理是有狀態(tài)的，計算節(jié)點通常會將這些狀態(tài)存儲在本地。那么在存算不分離的狀態(tài)下，這就會顯著增加運維復(fù)雜度，因為有數(shù)據(jù)就涉及到數(shù)據(jù)保護(hù)、容災(zāi)、故障恢復(fù)等一系列較為復(fù)雜的問題，但Flink 1.0版本架構(gòu)很難實現(xiàn)真正的存算分離。

在Flink 2.0正式版中，社區(qū)完全摒棄了1.0中使用本地輕量級數(shù)據(jù)庫RocksDB，而采用C++設(shè)計實現(xiàn)了全新的專門面向流處理場景的狀態(tài)存儲引擎內(nèi)核——ForStDB，這是一個完全基于對象存儲和HFS的存算分離架構(gòu)，將計算引擎與存儲內(nèi)核徹底解耦分離，而可以使用按需統(tǒng)一分配的計算資源池與存儲資源池。這意味著不僅大幅簡化了企業(yè)資源配置、運維、管理等方面的復(fù)雜度，更重要是讓整個系統(tǒng)的可運維性、可觀測性、彈性、容災(zāi)性得到一個質(zhì)的提升。

2

流批一體：讓企業(yè)使用更簡單

流處理和批處理是兩種截然不同的計算方式，分別對應(yīng)不同的業(yè)務(wù)需求。大多數(shù)企業(yè)通常都部署兩個獨立的系統(tǒng)去進(jìn)行流、批處理，典型如用Flink進(jìn)行流處理、用Spark進(jìn)行批處理。這會導(dǎo)致兩個問題，其一是兩套系統(tǒng)獨立部署帶來的資源浪費、架構(gòu)復(fù)雜以及管理困難等問題；并且，這還意味著在流、批處理鏈路中大量相同的數(shù)據(jù)加工邏輯需要重復(fù)開發(fā)和維護(hù)，而引擎差異產(chǎn)生的數(shù)據(jù)口徑不同，又會導(dǎo)致那些需要將歷史數(shù)據(jù)與實時數(shù)據(jù)相關(guān)聯(lián)場景中的數(shù)據(jù)對應(yīng)不上等問題。

社區(qū)在過去幾年一直探索如何在Flink中實現(xiàn)真正的流批一體，創(chuàng)新性地引入了流批一體SQL語法——Materialized Table。Flink 2.0中的Materialized Table將幫助企業(yè)構(gòu)建真正流批一體的實時計算場景。當(dāng)業(yè)務(wù)數(shù)據(jù)處理需求過來，只要管理員描述好數(shù)據(jù)處理邏輯，剩下的交給Flink即可，管理員無需關(guān)注底層運行的到底是流處理還是批處理，F(xiàn)link可以根據(jù)數(shù)據(jù)邏輯與最佳實踐相結(jié)合，自動選擇最優(yōu)的處理方式。從業(yè)務(wù)角度來看，流批一體能夠有效降低業(yè)務(wù)開發(fā)成本，同時降低系統(tǒng)運營成本。

3

融入AI：讓企業(yè)業(yè)務(wù)更靈活

無處不在的AI給企業(yè)業(yè)務(wù)帶來了更多可能性，但企業(yè)應(yīng)用AI過程中也產(chǎn)生了很多需要解決的問題。Flink當(dāng)然不會去做大模型本身，但在大模型實際應(yīng)用過程中，F(xiàn)link的加入能夠最終用戶有更好的AI體驗。

舉例來說，為了實現(xiàn)更好的用戶體驗，一定是需要一個向量庫、知識庫或知識引擎的，這個庫的更新對改善AI體驗有著重要的作用。在這方面，F(xiàn)link希望通過對AI大模型的調(diào)用、向量庫的構(gòu)建，包括與模型預(yù)處理的數(shù)據(jù)處理部分實現(xiàn)與AI的打通。這或許將是Flink 2.0的發(fā)展新方向。

大會上宣布開源專為Flink設(shè)計的

下一代流存儲Fluss項目

大會現(xiàn)場，阿里云還宣布開源下一代流存儲 Fluss （Flink Unified Streaming Storage）項目，這是圍繞湖倉架構(gòu)打造的Flink專屬實時流存儲底座，可大幅提升 Flink 實時流計算的能力。即日起，全球開發(fā)者可在Github上下載使用。

Flink要有一個良好的發(fā)展，必然離不開生態(tài)系統(tǒng)。盡管Flink在全球都備受青睞，很多互聯(lián)網(wǎng)大廠都加入其中，但如何讓更多行業(yè)的企業(yè)參與其中，尤其是讓更廣大的中小企業(yè)都從中受益，這是Flink社區(qū)必須要考慮的問題。

阿里開足馬力推動Flink生態(tài)：從方案到產(chǎn)品、從本土到國際

實際上，當(dāng)前已經(jīng)有很多不同行業(yè)的企業(yè)都看到了Flink的價值，比如阿里云推出的Flink商業(yè)版就被上海證券交易所（上交所）采用以支撐新交易監(jiān)管系統(tǒng)，據(jù)公開數(shù)據(jù)，這一系統(tǒng)的交易數(shù)據(jù)實時處理擴(kuò)展達(dá)50萬筆/秒以上，總體消息處理能力可達(dá)每秒千萬級別。除此之外，在阿里云官網(wǎng)，包括錢大媽、江鈴汽車、易倉科技、用友暢捷通、微淼、飛鶴等不同行業(yè)的企業(yè)都成為Flink商業(yè)版的用戶。

類似于開源社區(qū)的通用做法，目前在阿里云也維護(hù)著兩個Flink分支，其一是開源版本，以整個社區(qū)的用戶需求為根據(jù)進(jìn)行技術(shù)演進(jìn)；另一個則是商業(yè)化的閉源版本，利用阿里自研組件替代部分純開源實現(xiàn)，并針對性能、算子等核心能力進(jìn)行優(yōu)化，為企業(yè)提供覆蓋運維、管理、監(jiān)控以及調(diào)優(yōu)等多方面需求的一站式整體解決方案。

開源解決方案的商品化是社區(qū)良性發(fā)展的重要支撐。對于很多企業(yè)，尤其是中小企業(yè)而言，開源并非不好，但受限于技術(shù)、人才等多種因素，很難將開源解決方案真正用好。但社區(qū)通過提供一套完整的端到端的產(chǎn)品與服務(wù)，能讓更多企業(yè)參與到開源生態(tài)之中，最終讓開源社區(qū)的發(fā)展成為一個良性的商業(yè)閉環(huán)。

從互聯(lián)網(wǎng)走向全行業(yè)是Flink社區(qū)持續(xù)發(fā)展的一個維度，從本土走向國際則是另一個維度。

本質(zhì)來說， Flink屬于開源項目，必然會走向全球。如果要走向全球，必然會適應(yīng)不同國家和地區(qū)的需求，而不是僅僅局限于中國本土的需求。

其實阿里所有開源項目從一開始就遵循 “立足本土 放眼全球”的戰(zhàn)略思維。以Flink為例，從產(chǎn)品內(nèi)核來說，阿里與社區(qū)參與者不斷迭代功能，共同努力向前走。在產(chǎn)品落地層面，阿里在Flink社區(qū)的投入以及運作項目的經(jīng)驗，獲得了同行們的積極參與，贏得了全球同行的認(rèn)同。

Flink有著全球一致的內(nèi)核，但在不同國家和地區(qū)的版本、功能上略有差異，完全是一個國際化的產(chǎn)品（不會讓人感覺這是中國的產(chǎn)品）。在運營過程中，阿里也依托當(dāng)?shù)氐膱F(tuán)隊展開。比如歐洲依托于德國本土的Ververica（原Data Artisans）展開運營，招募技術(shù)人員和用戶推廣；東南亞則和當(dāng)?shù)氐暮献骰锇橐黄鹜茝V。

實際上，作為Flink社區(qū)一年一度的盛宴，F(xiàn)link Forword已經(jīng)走進(jìn)了東南亞地區(qū)，比如今年將在印尼雅加達(dá)舉行Flink大會，很多企業(yè)都踴躍報名參會，除了雅加達(dá)本土知名的公司外，甚至還有遠(yuǎn)在美國的公司也會派代表參加，比如AWS、Uber、Confluence等全球知名企業(yè)。

結(jié) 語

開源已經(jīng)成為推動全球技術(shù)創(chuàng)新發(fā)展的重要動力。

在過去二十年中，中國互聯(lián)網(wǎng)經(jīng)歷了“井噴式”的發(fā)展，越來越多國內(nèi)成長起來的企業(yè)站在了全球領(lǐng)先行列。在開源技術(shù)方面，很多國內(nèi)科技企業(yè)也從原來的跟隨者逐漸成長為貢獻(xiàn)者、創(chuàng)新者和主導(dǎo)者，包括Flink、Spark、RISC-V、OCP等國際知名的開源項目之中都有他們的身影。這其中態(tài)度最堅定的當(dāng)屬阿里，數(shù)據(jù)顯示，過去十余年，阿里云共開源2000余個項目，和生態(tài)伙伴一起向開源社區(qū)貢獻(xiàn)超100億行代碼，阿里巴巴還曾連續(xù)十年蟬聯(lián)中國企業(yè)開源影響力第一，穩(wěn)居參與開源人數(shù)最多的中國科技公司。

現(xiàn)在，強勢崛起的Flink已成為開源界的一顆璀璨明珠，而阿里的成功經(jīng)驗也給國內(nèi)企業(yè)參與、推動開源社區(qū)發(fā)展樹立了一個新的典范。

下一個10年，F(xiàn)link會不會創(chuàng)造更多的奇跡？這個問題交給社區(qū)、交給技術(shù)、還要交給阿里來回答。