Airflow: Data Workflow Management

Apresentação do Airflow como Lightning Talk na Python Brasil[13] em Belo Horizonte

Transcript

1. Airflow Data Workflow Management
2. O que é? Execução de workflow de dados Escritos em Python Forma de DAGs Criado pelo Airbnb Open Source (Apache License) Desenvolvido em Python Flask, SQLAlchemy, Jinja, etc Alternativa ao Luigi do Spotify
3. DAG Directed Acyclic Graphs Rede de jobs Possui agendamento próprio Código enxuto e fácil de entender quando criado
4. DAG Airflow - Backfill
5. DAG Airflow - Visualização de Grafos
6. DAG Airflow - Detalhes
7. Alguns processos feitos com Airflow Data warehousing: cleanse, organize, data quality check Growth analytics Experimentation: compute our A/B testing Email targeting Sessionization: compute clickstream Search: compute search ranking related metrics Data infrastructure maintenance: database scrapes, folder cleanup, applying data retention policies, … feitos pelo Airbnb
8. meucandidato.me
9. Blog: Telegram: Meetup: df.python.org.br @grupydf meetup.com/pt-BR/pythondf
10. Email: me@gilsondev.in Blog: Telegram/Github: @gilsondev Twitter: gilsondev.in @gilsonfilho Em que posso ajudar?