Airflow: Zero to Hero

Introdução ao Airflow, passando nos principais conceitos, sua arquitetura e os primeiros passos de criação de uma dag

Transcript

1. Airflow: Zero to Hero ARQUITETURA E ENGENHARIA DE DADOS MATHEUS QUEIROZ
2. Índice Grupo Boticário 03 Airflow Introdução 10 Arquitetura 18 Montando uma DAG 23 Minha História 08
3. Grupo Boticário
4. 4 GRUPO BOTICARIO Multimarca
5. 5 GRUPO BOTICARIO
6. 6 GRUPO BOTICARIO
7. 7 GRUPO BOTICARIO
8. Minha História
9. IMG whoami 9 MINHA HISTÓRIA
10. IMG 10 INTRODUÇÃO AIRFLOW
11. Directed Acyclic Graph IMG 11 INTRODUÇÃO AIRFLOW Componentes do Airflow
12. 12 INTRODUÇÃO AIRFLOW Trigger Rules
13. Primeira apresentação 13 AIRFLOW OVERVIEW
14. Olhando uma DAG na UI 14 AIRFLOW OVERVIEW
15. Dependências da DAG 15 AIRFLOW OVERVIEW
16. Interagindo com as Task 16 AIRFLOW OVERVIEW
17. Código na UI 17 AIRFLOW OVERVIEW
18. 18 INTRODUÇÃO AIRFLOW Porque utilizar o Airflow
19. Arquitetura
20. 20 ARQUITETURA Componentes da Arquitetura
21. 21 ARQUITETURA Arquitetura Overview
22. 22 ARQUITETURA Nossa Arquitetura - Composer
23. Montando uma DAG
24. 24 MONTANDO UMA DAG Passo para montar uma DAG
25. from import from import from import from import 25 MONTANDO UMA DAG Importações
26. 'owner' 'rebecca.vickery' 'depends_on_past' False 'start_date' datetime 'email' 'airflow@gmail.com' 'email_on_failure' True 'email_on_retry' True 'retries' 'retry_delay' 26 MONTANDO UMA DAG Definições da DAG DAG 'covid_italy_daily', datetime None '0 9 * * *'
27. BigQueryCheckOperator 'check_public_data_exists', """select count(*) > 0 from bigquery-public-data.covid19_italy.data_by_region where DATE(date) = '{{ ds }}' """, False 27 MONTANDO UMA DAG Lista de tarefas –t1
28. BigQueryOperator 'load_public_data' False 'CREATE_IF_NEEDED' 'WRITE_TRUNCATE' True 'bigquery_default' "type" 'DAY' ='''select date, sum(total_confirmed_cases) as total_confirmed_cases from bigquery-public-data.covid19_italy.data_by_region where DATE(date) = '{{ ds }}' group by date''' 'sandbox-278915:airflow.covid_italy_daily_cases' dag 28 MONTANDO UMA DAG Lista de tarefas – t2
29. # t1 >> t2 29 MONTANDO UMA DAG Dependências de Tarefas
30. Links • Artigo de introdução ao Airflow https://towardsdatascience.com/a-complete-introduction-to-apache-airflow- b7e238a33df https://airflow.apache.org/docs/apache-airflow/stable/index.html https://github.com/apache/airflow/
31. Obrigadx! ARQUITETURA E ENGENHARIA DE DADOS MATHEUS QUEIROZ