關(guān)注飛總聊IT，了解IT行業(yè)的方方面面。

今年是2025年，我這個(gè)公眾號(hào)，寫大數(shù)據(jù)起家的，已經(jīng)很久沒寫大數(shù)據(jù)了。

我覺得目前的環(huán)境，傳統(tǒng)意義上的大數(shù)據(jù)，說已經(jīng)死了，一點(diǎn)都不為過。

因此，在大數(shù)據(jù)上混日子的人，比如我，現(xiàn)在也就沒什么光明前途了，除非換賽道。

為什么說大數(shù)據(jù)死了呢？以下是一家之言。

第一，大數(shù)據(jù)不是大部分企業(yè)的剛需。

大數(shù)據(jù)行業(yè)剛開始的時(shí)候，先行者比如谷歌，有一個(gè)大餅，說我們以后數(shù)據(jù)會(huì)不斷的隨著業(yè)務(wù)規(guī)模和分析使用年限的增加而增長(zhǎng)。

但現(xiàn)實(shí)而言，現(xiàn)在的企業(yè)里面，只要不涉及視頻什么的，純文本意義上的大數(shù)據(jù)，絕大部分企業(yè)，都沒那么大的增長(zhǎng)。而且，人們很少去看很久很久以前的數(shù)據(jù)集。

比如說廣告行業(yè)，有誰去挖掘10年以前的數(shù)據(jù)來更新現(xiàn)在的模型呢？

所以，大部分企業(yè)，其實(shí)從來都不需要大數(shù)據(jù)。很多企業(yè)的數(shù)據(jù)規(guī)模，也不大。

第二，大數(shù)據(jù)生態(tài)圈丟了很多領(lǐng)地。

大數(shù)據(jù)剛誕生的時(shí)候，我們可以認(rèn)為是私有云的時(shí)代，存儲(chǔ)是大數(shù)據(jù)里面很重要的一部分，GFS是谷歌三駕馬車之一。

但是現(xiàn)在呢？MapReduce勉強(qiáng)算大數(shù)據(jù)陣營(yíng)，雖然它被更先進(jìn)的技術(shù)取代了。GFS這個(gè)存儲(chǔ)層，今天早就被公有云更廉價(jià)更好用的對(duì)象存儲(chǔ)替代了。對(duì)象存儲(chǔ)就和大數(shù)據(jù)沒半毛錢關(guān)系了。

至于BigTable作為三駕馬車之一，現(xiàn)在看，最多屬于NoSQL，和大數(shù)據(jù)沒半毛錢關(guān)系。所以以前大家說的谷歌三架馬車奠定大數(shù)據(jù)基礎(chǔ)，今天回頭看，只有半架馬車了--MapReduce了。

同樣的，在虛擬機(jī)時(shí)代，YARN作為資源調(diào)度管理器，一開始就是在大數(shù)據(jù)背景下誕生的。但是今天呢？K8S本身和在K8S上的各種資源管理調(diào)度框架，和大數(shù)據(jù)有半毛錢關(guān)系嗎？

所以大數(shù)據(jù)發(fā)展到今天，說白了，剩下的領(lǐng)地?zé)o非就是lakehouse里面的ETL（Spark)和query（Trino）。其他的，都算不上純粹的大數(shù)據(jù)。

就連以前寄予厚望的Flink，伴隨Spark對(duì)streaming的native support，也沒剩下多少了。

第三，這10多年硬件的發(fā)展，也改變了生態(tài)。

2008年的單機(jī)，和2025年的單機(jī)，性能完全不一樣�，F(xiàn)在，100多GB的內(nèi)存，1TB的SSD，不是夢(mèng)。網(wǎng)絡(luò)的發(fā)展，也同理。

這就意味著原來可能上千臺(tái)機(jī)器，需要寫磁盤的操作，今天只需要上百臺(tái)機(jī)器，幾十臺(tái)機(jī)器就可以了。

大數(shù)據(jù)引擎的很多東西，當(dāng)年看起來各種優(yōu)化都有道理，越優(yōu)化越好，現(xiàn)在就不一樣了。以前的Impala用c++寫，按理來說是個(gè)很不錯(cuò)的架構(gòu)，怎么就敗給了Java寫的Trino呢？

在Trino還是Presto的時(shí)候，一分為二，那個(gè)依然叫著Presto的Meta分支，要用c++取代Java的實(shí)現(xiàn)，實(shí)際上來說，重要嗎？似乎在目前單機(jī)性能足夠強(qiáng)，單機(jī)內(nèi)存足夠大，JVM的garbage collection越來越牛逼的今天，也越來越不重要了。

所以傳統(tǒng)意義上的大數(shù)據(jù)，為什么死得差不多了。無非，客戶數(shù)據(jù)的規(guī)模和預(yù)測(cè)的畫餅天差地別，原本屬于大數(shù)據(jù)的大盤領(lǐng)地不斷丟失，而新技術(shù)尤其新硬件的發(fā)展，又使得單機(jī)性能規(guī)格各方面都比15年前領(lǐng)先了不知道幾個(gè)量級(jí)。

所以，大數(shù)據(jù)自然是死了。

但是有人說了，Lakehouse死了，Lakebase活了。我就不點(diǎn)名了，大家都知道這是誰說的。畢竟，現(xiàn)在AI火了，agent的大餅又出來了。

某公司花2B收購一家serverless Postgres，就換來了100B market cap的新融資，這肯定是一筆劃算的買賣。

但是這也給所有做大數(shù)據(jù)的人一個(gè)啟示。傳統(tǒng)意義的大數(shù)據(jù)的餅，證明是個(gè)假餅，已經(jīng)死了。但是Agent和AI世界里面的新的“大數(shù)據(jù)”，又可以開始新一輪的畫餅了。

當(dāng)然，大數(shù)據(jù)的名字也不好聽了，所以我們必須換個(gè)新馬甲新名字。所有做大數(shù)據(jù)的人，都應(yīng)該去做Agent用的數(shù)據(jù)處理系統(tǒng)，而不是人用的數(shù)據(jù)處理系統(tǒng)。

畢竟，我們接下來的餅畫的是AI的餅，是Agent的餅。

至于10年15年以后往回看，AI的落地，會(huì)不會(huì)如同今天我們吹的那么美好，還是和大數(shù)據(jù)一樣，一地雞毛，那我就不知道了。

但是，我覺得索羅斯的名言是對(duì)的，管它是不是泡泡，都要ride the wave。跟著潮流走，一個(gè)餅破了，還有另外一個(gè)餅。

套路還是那些個(gè)套路，人還是那些個(gè)人。昨天大家都是大數(shù)據(jù)的人才，今天大家都為Agent事業(yè)畫餅添磚加瓦。懂不懂Agent，都是專家。

怎么不是專家了？誰給你膽子說不是專家，是騙子的。

昨天我們都是大數(shù)據(jù)人，今天我們都是為Agent事業(yè)而奮斗的專家。

與所有大數(shù)據(jù)從業(yè)者共勉。不破不立，破了才能立起來。管他趨勢(shì)的盡頭是不是洪水滔天，先享受再說。

我們要學(xué)習(xí)路易十六的名言：我死后，哪管他洪水滔天。此處應(yīng)有打賞。

推薦飛總知識(shí)星球，在私域場(chǎng)合里暢所欲言，聊聊職場(chǎng)發(fā)展的事情，和飛總提問交流，這么低的價(jià)格不會(huì)一直保留，機(jī)會(huì)難得，一定不要錯(cuò)過這個(gè)的機(jī)會(huì)。