數(shù)據(jù)工程師最頭疼的，不是寫DAG，而是配環(huán)境。你本地跑得好好的腳本，上了測試機(jī)就報錯；同事的機(jī)器能啟動，你的卻缺依賴。Apache Airflow作為最流行的數(shù)據(jù)編排工具，傳統(tǒng)安裝方式要把調(diào)度器、Web服務(wù)、數(shù)據(jù)庫、執(zhí)行器一個個配齊，稍有不慎就踩坑。

Docker的出現(xiàn)改變了這個局面。把所有組件塞進(jìn)容器，一次構(gòu)建，到處運行。本文拆解一個最小可用的Airflow容器化方案，以及背后的工程權(quán)衡。

為什么傳統(tǒng)安裝讓人崩潰

Airflow的架構(gòu)決定了它的復(fù)雜性。調(diào)度器負(fù)責(zé)解析DAG并觸發(fā)任務(wù)，Webserver提供UI和API，數(shù)據(jù)庫存儲元數(shù)據(jù)，執(zhí)行器決定任務(wù)怎么跑（本地進(jìn)程、Celery隊列或Kubernetes Pod）。這四個組件版本必須兼容，配置要互相指向，還要處理Python依賴沖突。

生產(chǎn)環(huán)境更麻煩。你可能需要多個調(diào)度器做HA，Webserver要負(fù)載均衡，執(zhí)行器要對接K8s。每次升級都是一場冒險——2.8到2.9的變更日志里，可能有你依賴的鉤子函數(shù)被廢棄。

一個能跑起來的Docker Compose配置

下面這個配置是官方推薦的簡化版，適合開發(fā)和輕量生產(chǎn)：

數(shù)據(jù)庫用PostgreSQL 15，Airflow版本鎖定2.9.0。注意這里只起了Webserver和Scheduler，執(zhí)行器默認(rèn)是SequentialExecutor——單進(jìn)程串行執(zhí)行，不適合生產(chǎn)，但本地調(diào)試夠用。

關(guān)鍵設(shè)計：兩個Airflow服務(wù)共享同一個鏡像，通過命令區(qū)分角色。Webserver暴露8080端口，Scheduler后臺運行。數(shù)據(jù)持久化靠Docker卷，生產(chǎn)環(huán)境建議把postgres數(shù)據(jù)目錄掛到宿主機(jī)或云盤。

DAG怎么放進(jìn)去

容器化之后，DAG文件需要掛載進(jìn)容器。通常的做法是在compose文件里加volumes，把本地的dags目錄映射到/opt/airflow/dags。這樣你改代碼不用重建鏡像，保存即生效。

示例DAG演示了最基礎(chǔ)的PythonOperator模式：定義一個函數(shù)，包裝成任務(wù)，掛到DAG上。start_date設(shè)成2025年1月1日，schedule_interval是@daily，catchup=False表示不補跑歷史。這三個參數(shù)的組合，決定了你的任務(wù)什么時候第一次運行、按什么節(jié)奏跑、要不要追舊賬。

容器化帶來的五個實打?qū)嵉暮锰?/strong>

1. 環(huán)境可移植：開發(fā)機(jī)、測試機(jī)、生產(chǎn)機(jī)跑完全一致的鏡像，告別"我本地沒問題"。

2. 依賴隔離：每個項目的Python包版本互不干擾，Airflow 2.8和2.9可以并存。

3. K8s集成順滑：官方提供了Helm Chart，把Docker鏡像丟進(jìn)Kubernetes，水平擴(kuò)容只是改replica數(shù)。

4. 開發(fā)一致性：新同事入職，一條docker-compose up就能跑起來，不用讀三頁安裝文檔。

5. CI/CD友好：鏡像構(gòu)建和DAG測試可以流水線化，部署變成拉取新鏡像+重啟服務(wù)。

生產(chǎn)環(huán)境還差什么

上面的配置是起點，不是終點。生產(chǎn)需要換CeleryExecutor或KubernetesExecutor，加Redis做任務(wù)隊列，配Flower監(jiān)控Worker，掛對象存儲放日志，接LDAP做權(quán)限。但這些都可以基于同一個鏡像迭代，容器化的價值在于給你一條清晰的路徑：先跑起來，再逐步加固。

Airflow官方文檔有完整的Docker部署指南，包括怎么自定義鏡像、加系統(tǒng)依賴、用secret管理密碼。值得花半小時通讀，避免重復(fù)踩坑。