システム/データ品質保証のための Airflow 活用法 2022/10/20 hankehly

自己紹介 ● Hank Ehly（名:ハンク 姓:イーリー） ● ENECHANGE株式会社 ● qiita.com/hankehly ● github.com/hankehly ● connpass.com/user/hankehly

アジェンダ 1. Airflowとは 2. QAにどう役立てる

● ワークフロー管理システム（作成・実行・監視） ● Airbnb、メルカリ、楽天、Tesla、Twitter、等々 Airflowとは ● Python

ワークフロー名 実行頻度 成功/失敗回数

No content

No content

AirflowをQAにどう役立てるか 1. データパイプラインにおけるデータの品質担保 ② 結果の形式 は問題ないか？ ① SQL実行 ③ 必要なデータは 入っているか？ ./01_run_sql.sh ./02_check_data.sh ./03_send_email.sh … 品質保証しにくいパイプライン

AirflowをQAにどう役立てるか 2. 継続的な End-To-End (E2E) テストの実行 ● 既存テストスクリプトそのまま利用できる（コンテナ/Python/Bash） ● パラレル実行 ● REST APIから実行可 ● 通知機能（Slack、Eメール等） ● 途中から再実行 ● QAチームに実行権限を付与できる 開始 Seleniumで 画面操作 成功/失敗判定 Slack エラー通知 スクリーンショットを Google Driveに転送 Asanaチケット起票 NG OK Slack 成功通知

AirflowをQAにどう役立てるか 3. システムモニタリング ● 定期的にシステムの “正確さ” およびデータの精度/鮮度を確認する ● 結果を通知する /ping は[200 OK]を 返している？ 例）5分ごとに、サービス X,Y,Z にHTTPリクエスト送信 データ更新 されている？ 例）毎週月曜日8時にデータの最終更新日を確認する

ワークショップ 10/29(土)にAirflowのハンズオンワークショップを開催予定 << Airflowのことが分かる記事