數(shù)據(jù)管道通過整合、清理、分析、可視化等方式來管理初始收集的數(shù)據(jù)流。Apache Airflow提供了一個(gè)統(tǒng)一的平臺(tái)，可以使用它設(shè)計(jì)、實(shí)施、監(jiān)控和維護(hù)數(shù)據(jù)的流動(dòng)。Airflow具有易于使用的UI、即插即用的選項(xiàng)以及靈活的Python腳本，這些都使Airflow能夠非常輕松地完成任何數(shù)據(jù)管理任務(wù)。
　　在《Apache Airflow 數(shù)據(jù)編排實(shí)戰(zhàn)》中，介紹了如何構(gòu)建和維護(hù)有效的數(shù)據(jù)管道。與你一同探索最常見的使用模式，包括聚合多個(gè)數(shù)據(jù)源、連接到數(shù)據(jù)湖以及云端部署。可以將本書作為Airflow的實(shí)用指南，本書涵蓋了為Airflow提供動(dòng)力的有向無環(huán)圖(DAG)的各方面知識(shí)，以及如何根據(jù)工作需求對其進(jìn)行自定義的技術(shù)。
主要內(nèi)容
● 構(gòu)建、測試及部署Airflow管道作為DAG
● 自動(dòng)對數(shù)據(jù)進(jìn)行移動(dòng)和轉(zhuǎn)換
● 使用回填技術(shù)分析歷史數(shù)據(jù)集
● 開發(fā)自定義組件
● 在生產(chǎn)環(huán)境中搭建Airflow