Airflowはすごいぞ！

自己紹介 ● Hank Ehly (ハンク イーリー) ● ENECHANGE株式会社 ● qiita.com/hankehly

アジェンダ ● Airflowとは ● コンセプト qiita.com/hankehly

Airflowとは

Airflowとは > 概要 ● ワークフローを作成、実行、監視するためのプラットフォーム ● Python ● Airbnb、メルカリ、楽天、Tesla、Twitter、等々 ● マネージド版 ○ Amazon Managed Workflows for Apache Airflow (AWS) ○ Cloud Composer (GCP) ○ Astronomer qiita.com/hankehly

Airflowとは > 解決する問題 1. タスクの依存関係を明確にする qiita.com/hankehly ドキュメントやコメントで書く タスクがフローチャートとして表示される 2. エラーが起きた箇所を特定する 追跡できるようなログを出力する エラー表示のタスクをクリックしてログを確認する 3. タスクを同時に実行する multiprocessing や asyncio で頑張る 依存関係がないタスクは同時に実行される 4. 失敗しがちな処理を3回までリトライする リトライ用のデコレーター関数を使う タスクの「最大リトライ数」を設定する 等々… ワークフローの開発において様々な課題がある …

Airflowとは > 使い方のイメージ ワークフロー名 成功/失敗回数 実行頻度 qiita.com/hankehly

Airflowとは > 使い方のイメージ qiita.com/hankehly

Airflowとは > 使い方のイメージ N回目の実行のログ qiita.com/hankehly

Airflowとは > 使い方のイメージ qiita.com/hankehly

コンセプト

コンセプト > DAGs ● DAGとは「Directed Acyclic Graph」の略 ● ワークフロー／パイプライン ● 依存関係にあるタスクをどの順番で実行するか qiita.com/hankehly

コンセプト > Tasks ● DAGは、Taskで構成されている ● Python関数、Rubyのコンテナ、Bashスクリプト ● 状態を持つ ○ リトライ待ち ○ 実行中 ○ 失敗 / 成功 ○ 等々… qiita.com/hankehly Airflowで表示 a >> [b, c] >> d 開発者が書く

コンセプト > Operators ● 「タスクのテンプレート」 ● 用意されているものがたくさんある ○ BashOperator（Bashコマンドを実行） ○ EC2StartInstanceOperator（EC2インスタンスを起動する） ○ PythonOperator（Python関数を実行） ○ EmailOperator（Eメールを送信する） ○ DockerOperator（コンテナを実行） ○ SlackAPIPostOperator（Slackにメッセージを投稿する） start_instance = EC2StartInstanceOperator( task_id="start_instance", instance_id="***", ) Operatorの使い方 qiita.com/hankehly

コンセプト > Variables start_instance = EC2StartInstanceOperator( task_id="start_instance", instance_id=Variable.get("INSTANCE_ID"), ) qiita.com/hankehly

コンセプト > Logging UI から個別のタスクログが確認できる ● S3 ● CloudWatch ● Google Cloud Storage ● Elasticsearch qiita.com/hankehly

ご清聴ありがとうございました https://qiita.com/hankehly/items/1f02a34740276d1b8f0f