Building Data Pipeline with Apache Airflow (101)

by Punsiri Boonyakiat

Slide 1

Slide 1 text

Building Data Pipeline with Apache Airflow บีท Senior Data Engineer จาก CJ Express

Slide 2

Slide 2 text

A g e n d a What is data engineer? What is data pipeline? What is traditional Pipeline and Why it’s not work ? What is Apache Airflow? Why Apache airflow? Core component of Airflow? What is DAG? What is Tasks, Operator, Dependency ? User interface ? Let’s Hand-On

Slide 3

Slide 3 text

B o o k s & L e a r n i n g s

Slide 4

Slide 4 text

C e r t i f i c a t i o n

Slide 5

Slide 5 text

เนื้อหาวันนี้เหมาะกับใคร ? ความรู้พื้นฐานวันนี้ อยากทำความรู้จักเครื่องมือในการทำงานของ Data Engineer

Slide 6

Slide 6 text

W h a t i s D a t a E n g i n e e r ?

Slide 7

Slide 7 text

W h a t i s D a t a P i p e l i n e ? Data pipelineis a means of moving data from one place (the source) to a destination (such as a data warehouse). Along the way, data is transformedand optimized, arriving in a state that can be analyzedand used to develop business insights.

Slide 8

Slide 8 text

ELEMENT OF D a t a P i p e l i n e SOURCE PROCESSING DESTINATION

Slide 9

Slide 9 text

ESSENTIAL ELEMENT OF D a t a P i p e l i n e SOURCE PROCESSING DESTINATION

Slide 10

Slide 10 text

TRADITIONAL D a t a P i p e l i n e SOURCE Data Engineer PROCESSING DESTINATION CONSUME CEO Marketing Team Domain Run Python Bash Python Server

Slide 11

Slide 11 text

TRADITIONAL D a t a P i p e l i n e SOURCE Data Engineer PROCESSING DESTINATION CONSUME CEO Marketing Team Domain ขอ Sale Report ของสิินค้้าทุกวันัได้้ ไหมค่่ะ ? อยากดู Report ทุก9 โมงเช้าได้้ไหม?

Slide 12

Slide 12 text

TRADITIONAL D a t a P i p e l i n e SOURCE Data Engineer PROCESSING DESTINATION CONSUME CEO Marketing Team Domain

Slide 13

Slide 13 text

TRADITIONAL C r o n J o b Data Engineer Python Scheduling

Slide 14

Slide 14 text

TRADITIONAL D a t a P i p e l i n e SOURCE Data Engineer PROCESSING DESTINATION CONSUME CEO Marketing Team Domain Pipeline Scheduling : Daily

Slide 15

Slide 15 text

TRADITIONAL D a t a P i p e l i n e 5:00 Extract SOURCE 7:00 Transform PROCESSING 8:00 DESTINATION Load CONSUME CEO Marketing Team Domain Pipeline Scheduling : Daily

Slide 16

Slide 16 text

TRADITIONAL D a t a P i p e l i n e SOURCE Data Engineer PROCESSING DESTINATION CONSUME CEO Marketing Team Domain Pipeline can fail at any state !!!

Slide 17

Slide 17 text

TRADITIONAL D a t a P i p e l i n e SOURCE Data Engineer PROCESSING DESTINATION CONSUME CEO Marketing Team Domain Connection to Source database Fail ?

Slide 18

Slide 18 text

TRADITIONAL D a t a P i p e l i n e SOURCE Data Engineer PROCESSING DESTINATION CONSUME CEO Marketing Team Domain Data Transforming Fail ?

Slide 19

Slide 19 text

TRADITIONAL D a t a P i p e l i n e SOURCE PROCESSING DESTINATION CONSUME CEO Marketing Team Domain Data Loss in Destination ?

Slide 20

Slide 20 text

จะเกิดปัญหาอะไรได้อีกบ้าง ? ? ?

Slide 21

Slide 21 text

TRADITIONAL D a t a P i p e l i n e 5:00 Extract SOURCE Extract 7:00 Transform PROCESSING Transform 8:00 DESTINATION Load CONSUME CEO Marketing Team Domain Pipeline Scheduling : Daily DATA วันนี้ ยังไม่มา

Slide 22

Slide 22 text

ESSENTIAL ELEMENT OF D a t a P i p e l i n e SO SOUR S OU RC CE SOURCE SOUCEE SOUR S OUR RC CE SOUCEE SOUR S OUR RC CE E SOURC SOU CE S OUR CE S OURUR E SOURCCERCEE PPRROOC I P CESESSISNG PROCOCESISN STNATI PRROESISNG DDESTSINATOION P SINGG DEDEDETSITNIATONIONN PRCROCEESSISNSIG DESTNATI P DESIETNIATNNATIATOION PRO ESNG DS N PROCCESISNNG ROC G DESI NATIONTION PROCESIESSISNING DETSITN PROCESSINGG DESISINATIO ETTINATIN P D O PROCESROCESSISNG DESETSI TON PROOCCESIESNSISNGINGG DTNAINAIIONO DESETSINATTIN TINAATIONTIONN Maintain Multiple data pipelins

Slide 23

Slide 23 text

TRADITIONAL D a t a P i p e l i n e s Maintain data pipeline version

Slide 24

Slide 24 text

? ? ? THE PROBLEM OF TRADITIONAL D a t a P i p e l i n e s Scalability ในแง่ของการจัดการ – การจัดการ Pipeline จำนวนมาก ทั้งใน เรื่องของ Script และตารางเวลา (Schedule) ที่เกี่ยวข้องกับความถี่ในการรัน Pipeline Scalability ในแง่ของการประมวลผล – ในเรื่องของประสิทธิภาพ จะทำ อย่างไรถ้าแต่ละ Task ใช้เวลารันนาน หรือรันไม่สำเร็จ หรือหากทรัพยากรใน การรันไม่เพียงพอ จะขยายอย่างไร? การเชื่อมต่อกับระบบต่าง ๆ – การเชื่อมต่อกับฐานข้อมูล เช่น RDBMS, AWS, Hive, HDFS ฯลฯ โดยมีการตั้งค่า เช่น Host Address, Port, ID, Password, Schema ฯลฯ จะจัดการอย่างไร? การตรวจสอบ (Monitoring) – จะติดตามผลอย่างไรถ้ารันไม่สำเร็จ? การรันซ้ำ (Re-running) – จะสามารถรันซ้ำในขั้นตอนเฉพาะเจาะจงได้ อย่างไร?

Slide 25

Slide 25 text

LOOK IN TO D a t a S o u r c e SOURCE

Slide 26

Slide 26 text

LOOK IN TO D a t a P r o c e s s i n g PROCESSING

Slide 27

Slide 27 text

LOOK IN TO D a t a S o u r c e S o u r c e

Slide 28

Slide 28 text

มาใช้ Apache Airflow กันเถอะ

Slide 29

Slide 29 text

WHAT IS A p a c h e A i r f l o w ? • • Airflowis an open-sourceplatformfor developing, scheduling,and monitoringbatch-oriented workflows Create by Airbnb

Slide 30

Slide 30 text

WHAT IS NOT A p a c h e A i r f l o w ? https://k21academy.com/microsoft-azure/data-engineer/batch-processing-vs-stream-processing/ • • Airflow was not built for infinitely running event-basedworkflows. Airflow is not a streamingsolution. If you prefer clicking over coding, Airflow is probably not the right solution.