Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Airflow: Data Workflow Management

Avatar for Gilson Filho Gilson Filho
October 20, 2017
Programming
0
470

Airflow: Data Workflow Management

Apresentação do Airflow como Lightning Talk na Python Brasil[13] em Belo Horizonte

Avatar for Gilson Filho

Gilson Filho

October 20, 2017
Tweet

More Decks by Gilson Filho

See All by Gilson Filho
Como monitorar os erros da sua aplicação com o Sentry
Avatar for Gilson Filho gilsondev
0
2.1k
Airflow - Automatizando seu fluxo de trabalho
Avatar for Gilson Filho gilsondev
1
1.3k
Protocolo HTTP
Avatar for Gilson Filho gilsondev
0
550
Workshop Docker
Avatar for Gilson Filho gilsondev
0
430
Django: framework web para perfeccionistas com prazos
Avatar for Gilson Filho gilsondev
0
420
Django - Framework para perfeccionistas em prazos
Avatar for Gilson Filho gilsondev
0
47
Vim - Um editor onipresente e flexível
Avatar for Gilson Filho gilsondev
2
470
Vim - Um editor onipresente e flexível
Avatar for Gilson Filho gilsondev
2
130
Desenvolvendo aplicações web com python e web2py
Avatar for Gilson Filho gilsondev
0
600

Other Decks in Programming

See All in Programming
実践 Dev Containers × Claude Code
Avatar for Yuto Akiba touyu
1
160
Nuances on Kubernetes - RubyConf Taiwan 2025
Avatar for Andrey Novikov envek
0
110
可変性を制する設計: 構造と振る舞いから考える概念モデリングとその実装
Avatar for Akira Suenami a_suenami
10
1.7k
あなたとJIT, 今すぐアセンブ ル
Avatar for monochrome sisshiki1969
0
510
MySQL9でベクトルカラム登場！PHP×AWSでのAI/類似検索はこう変わる
Avatar for Suguru Ohki suguruooki
1
290
#QiitaBash TDDで(自分の)開発がどう変わったか
Avatar for Tommy(sigma) ryosukedtomita
1
350
11年かかって やっとVibe Codingに 時代が追いつきましたね
Avatar for yimajo yimajo
1
250
『リコリス・リコイル』に学ぶ！！ 〜キャリア戦略における計画的偶発性理論と変わる勇気の重要性〜
Avatar for わんこ(Wanko_IT) wanko_it
1
320
ワープロって実は計算機で
Avatar for Chiharu Shirasaka pepepper
2
1.2k
Infer入門
Avatar for r1ru riru
4
1.2k
iOS開発スターターキットの作り方
Avatar for akidon0000 akidon0000
0
240
「次に何を学べばいいか分からない」あなたへ──若手エンジニアのための学習地図
Avatar for panda_program panda_program
3
720

Featured

See All Featured
Product Roadmaps are Hard
Avatar for C. Todd Lombardo iamctodd
PRO
54
11k
Balancing Empowerment & Direction
Avatar for Lara Hogan lara
1
530
ピンチをチャンスに：未来をつくるプロダクトロードマップ #pmconf2020
Avatar for Aki / @LoveIdahoBurger aki_iinuma
126
53k
It's Worth the Effort
Avatar for 3n 3n
185
28k
The MySQL Ecosystem @ GitHub 2015
Avatar for Sam Lambert samlambert
251
13k
Building a Scalable Design System with Sketch
Avatar for Laura Van Doore lauravandoore
462
33k
Faster Mobile Websites
Avatar for Dean Hume deanohume
308
31k
Building an army of robots
Avatar for Kyle Neath kneath
306
45k
The Illustrated Children's Guide to Kubernetes
Avatar for Chris Short chrisshort
48
50k
We Have a Design System, Now What?
Avatar for Morgane Peng morganepeng
53
7.7k
Code Reviewing Like a Champion
Avatar for maltzj maltzj
524
40k
Practical Orchestrator
Avatar for Shlomi Noach shlominoach
190
11k

Transcript

  1. Airflow Data Workflow Management

  2. O que é? Execução de workflow de dados Escritos em

    Python Forma de DAGs Criado pelo Airbnb Open Source (Apache License) Desenvolvido em Python Flask, SQLAlchemy, Jinja, etc Alternativa ao Luigi do Spotify

  3. DAG Directed Acyclic Graphs Rede de jobs Possui agendamento próprio

    Código enxuto e fácil de entender quando criado

  4. DAG Airflow - Backfill

  5. DAG Airflow - Visualização de Grafos

  6. DAG Airflow - Detalhes

  7. Alguns processos feitos com Airflow Data warehousing: cleanse, organize, data

    quality check Growth analytics Experimentation: compute our A/B testing Email targeting Sessionization: compute clickstream Search: compute search ranking related metrics Data infrastructure maintenance: database scrapes, folder cleanup, applying data retention policies, … feitos pelo Airbnb

  8. meucandidato.me

  9. Blog: Telegram: Meetup: df.python.org.br @grupydf meetup.com/pt-BR/pythondf

  10. Email: [email protected] Blog: Telegram/Github: @gilsondev Twitter: gilsondev.in @gilsonfilho Em que

    posso ajudar?