Databricks公司今日宣布，其Lakeflow Connect套件中的新型無(wú)服務(wù)器服務(wù)Zerobus Ingest已正式發(fā)布，該服務(wù)可簡(jiǎn)化并加速實(shí)時(shí)數(shù)據(jù)攝取到Databricks湖倉(cāng)中。

Zerobus Ingest允許應(yīng)用程序直接將事件級(jí)數(shù)據(jù)流式傳輸?shù)绞芄芾淼腄elta表中，無(wú)需依賴Apache Kafka等中間消息代理。Databricks表示，這種流線型處理方式可降低基礎(chǔ)設(shè)施開銷、減少運(yùn)營(yíng)成本，并將延遲降低至僅5秒。

Zerobus Ingest支持?jǐn)?shù)千個(gè)并發(fā)客戶端，可實(shí)現(xiàn)單表超過(guò)10Gbps的聚合吞吐量，每個(gè)連接每秒可處理高達(dá)100MB的數(shù)據(jù)。據(jù)Databricks介紹，這項(xiàng)托管服務(wù)采用無(wú)服務(wù)器架構(gòu)，可自動(dòng)擴(kuò)展以匹配工作負(fù)載，無(wú)需手動(dòng)配置。

與通用消息總線通常使用的多接收器架構(gòu)不同，Zerobus采用針對(duì)數(shù)據(jù)攝取優(yōu)化的單接收器方法，該架構(gòu)將事件路由到多個(gè)消費(fèi)者。公司表示，這種方法最大限度地減少了工程開銷，消除了調(diào)優(yōu)代理或監(jiān)控消費(fèi)者組的需要，并省去了基于Kafka的管道通常需要的大部分維護(hù)工作。

開發(fā)人員可以使用Google遠(yuǎn)程過(guò)程調(diào)用和REST API與Zerobus Ingest集成，以及針對(duì)Python、Java、Rust、Go和TypeScript的特定語(yǔ)言軟件開發(fā)工具包。這使應(yīng)用程序能夠以最少的代碼直接向湖倉(cāng)寫入記錄，并通過(guò)公司的Unity Catalog提供治理。

Databricks表示，Zerobus Ingest最適合遙測(cè)和物聯(lián)網(wǎng)數(shù)據(jù)、點(diǎn)擊流分析、網(wǎng)絡(luò)安全事件流等用例，以及其他需要近實(shí)時(shí)訪問(wèn)大量數(shù)據(jù)以改善運(yùn)營(yíng)洞察的場(chǎng)景。消除外部流媒體層使組織能夠減少與多個(gè)存儲(chǔ)和計(jì)算資源相關(guān)的成本，同時(shí)將多組件攝取堆棧整合為單一托管服務(wù)。

該服務(wù)現(xiàn)已在主要云平臺(tái)上作為L(zhǎng)akeflow Connect產(chǎn)品組合的一部分提供。

Q&A

Q1：Zerobus Ingest是什么？有什么特點(diǎn)？

A：Zerobus Ingest是Databricks推出的無(wú)服務(wù)器流數(shù)據(jù)攝取服務(wù)，可直接將數(shù)據(jù)流傳輸?shù)紻elta表中，無(wú)需中間消息代理，支持?jǐn)?shù)千并發(fā)客戶端，單表吞吐量超過(guò)10Gbps，延遲低至5秒，并可自動(dòng)擴(kuò)展。

Q2：Zerobus Ingest與傳統(tǒng)Kafka方案相比有什么優(yōu)勢(shì)？

A：Zerobus Ingest采用單接收器架構(gòu)而非多接收器，減少工程開銷，無(wú)需調(diào)優(yōu)代理或監(jiān)控消費(fèi)者組，省去大部分維護(hù)工作，降低基礎(chǔ)設(shè)施開銷和運(yùn)營(yíng)成本，簡(jiǎn)化多組件攝取堆棧為單一托管服務(wù)。

Q3：Zerobus Ingest適合什么樣的應(yīng)用場(chǎng)景？

A：Zerobus Ingest最適合遙測(cè)和物聯(lián)網(wǎng)數(shù)據(jù)、點(diǎn)擊流分析、網(wǎng)絡(luò)安全事件流等需要近實(shí)時(shí)訪問(wèn)大量數(shù)據(jù)以改善運(yùn)營(yíng)洞察的場(chǎng)景，特別是對(duì)延遲要求較高的大數(shù)據(jù)處理場(chǎng)景。