Airflow: Data Workflow Management

Transcript

1. Airflow Data Workflow Management

2. O que é? Execução de workflow de dados Escritos em

   Python Forma de DAGs Criado pelo Airbnb Open Source (Apache License) Desenvolvido em Python Flask, SQLAlchemy, Jinja, etc Alternativa ao Luigi do Spotify

3. DAG Directed Acyclic Graphs Rede de jobs Possui agendamento próprio

   Código enxuto e fácil de entender quando criado

4. DAG Airflow - Backfill

5. DAG Airflow - Visualização de Grafos

6. DAG Airflow - Detalhes

7. Alguns processos feitos com Airflow Data warehousing: cleanse, organize, data

   quality check Growth analytics Experimentation: compute our A/B testing Email targeting Sessionization: compute clickstream Search: compute search ranking related metrics Data infrastructure maintenance: database scrapes, folder cleanup, applying data retention policies, … feitos pelo Airbnb

8. meucandidato.me

9. Blog: Telegram: Meetup: df.python.org.br @grupydf meetup.com/pt-BR/pythondf

10. Email: me@gilsondev.in Blog: Telegram/Github: @gilsondev Twitter: gilsondev.in @gilsonfilho Em que

    posso ajudar?