Upgrade to Pro — share decks privately, control downloads, hide ads and more …

システム/データ品質保証のための Airflow 活用法

Avatar for Hank Ehly Hank Ehly
October 20, 2022
Technology
0
590

システム/データ品質保証のための Airflow 活用法

Avatar for Hank Ehly

Hank Ehly

October 20, 2022
Tweet

More Decks by Hank Ehly

See All by Hank Ehly
Fivetranでデータ移動を自動化する
Avatar for Hank Ehly hankehly
0
580
Celeryの紹介と本番運用のTips
Avatar for Hank Ehly hankehly
0
820
ChatGPTを活用した 便利ツールの紹介
Avatar for Hank Ehly hankehly
1
1.3k
Efficient Energy Analytics with Airflow, Spark, and MLFlow
Avatar for Hank Ehly hankehly
0
310
Deferrable Operators入門
Avatar for Hank Ehly hankehly
0
620
【初心者/ハンズオン】Dockerコンテナの基礎知識
Avatar for Hank Ehly hankehly
0
510
Compositeパターン: オブジェクトの階層関係をエレガントに表現する方法
Avatar for Hank Ehly hankehly
0
300
10/29 Airflowの基礎を学ぶハンズオンワークショップ
Avatar for Hank Ehly hankehly
0
250
海外の記事からコードレビューのBest Practiceを集めてみました
Avatar for Hank Ehly hankehly
0
970

Other Decks in Technology

See All in Technology
まずはマネコンでちゃちゃっと作ってから、それをCDKにしてみよか。
Avatar for ヤマダ（北野） yamada_r
2
120
5年目から始める Vue3 サイト改善 #frontendo
Avatar for Kihara, Takuya tacck
PRO
3
230
2025/09/16 仕様駆動開発とAI-DLCが導くAI駆動開発の新フェーズ
Avatar for オカムラ masahiro_okamura
0
130
20250905_MeetUp_Ito-san_s_presentation.pdf
Avatar for MagicPod magicpod
1
100
バイブスに「型」を！Kent Beckに学ぶ、AI時代のテスト駆動開発
Avatar for amixedcolor amixedcolor
2
590
初めてAWSを使うときのセキュリティ覚書〜初心者支部編〜
Avatar for cm-usuda-keisuke cmusudakeisuke
1
280
20250913_JAWS_sysad_kobe
Avatar for Takuya Yonezawa takuyay0ne
2
250
Webアプリケーションにオブザーバビリティを実装するRust入門ガイド
Avatar for nwiizo nwiizo
7
890
2つのフロントエンドと状態管理
Avatar for MIXI ENGINEERS mixi_engineers
PRO
3
150
RSCの時代にReactとフレームワークの境界を探る
Avatar for uhyo uhyo
10
3.5k
会社紹介資料 / Sansan Company Profile
Avatar for Sansan, Inc. sansan33
PRO
6
380k
AIエージェント開発用SDKとローカルLLMをLINE Botと組み合わせてみた / LINEを使ったLT大会 #14
Avatar for you（@youtoy） you
PRO
0
130

Featured

See All Featured
The Cult of Friendly URLs
Avatar for Andy Hume andyhume
79
6.6k
StorybookのUI Testing Handbookを読んだ
Avatar for Shingo Yamazaki zakiyama
31
6.1k
10 Git Anti Patterns You Should be Aware of
Avatar for Lemi Orhan Ergin lemiorhan
PRO
656
61k
Designing Experiences People Love
Avatar for Jonathan Moore moore
142
24k
The Invisible Side of Design
Avatar for Vitaly Friedman smashingmag
301
51k
It's Worth the Effort
Avatar for 3n 3n
187
28k
The Psychology of Web Performance [Beyond Tellerrand 2023]
Avatar for Tammy Everts tammyeverts
49
3k
ピンチをチャンスに：未来をつくるプロダクトロードマップ #pmconf2020
Avatar for Aki / @LoveIdahoBurger aki_iinuma
127
53k
The Power of CSS Pseudo Elements
Avatar for Geoffrey Crofte geoffreycrofte
77
6k
What’s in a name? Adding method to the madness
Avatar for Product Marketing Alliance productmarketing
PRO
23
3.7k
Performance Is Good for Brains [We Love Speed 2024]
Avatar for Tammy Everts tammyeverts
12
1.1k
The Straight Up "How To Draw Better" Workshop
Avatar for Dennis Kardys denniskardys
236
140k

Transcript

  1. システム/データ品質保証のための Airflow 活用法 2022/10/20 hankehly

  2. 自己紹介 • Hank Ehly（名:ハンク 姓:イーリー） • ENECHANGE株式会社 • qiita.com/hankehly •

    github.com/hankehly • connpass.com/user/hankehly

  3. アジェンダ 1. Airflowとは 2. QAにどう役立てる

  4. • ワークフロー管理システム（作成・実行・監視） • Airbnb、メルカリ、楽天、Tesla、Twitter、等々 Airflowとは • Python

  5. ワークフロー名 実行頻度 成功/失敗回数

  6. None
  7. None

  8. AirflowをQAにどう役立てるか 1. データパイプラインにおけるデータの品質担保 ② 結果の形式 は問題ないか？ ① SQL実行 ③ 必要なデータは

    入っているか？ ./01_run_sql.sh ./02_check_data.sh ./03_send_email.sh … 品質保証しにくいパイプライン

  9. AirflowをQAにどう役立てるか 2. 継続的な End-To-End (E2E) テストの実行 • 既存テストスクリプトそのまま利用できる（コンテナ/Python/Bash） • パラレル実行

    • REST APIから実行可 • 通知機能（Slack、Eメール等） • 途中から再実行 • QAチームに実行権限を付与できる 開始 Seleniumで 画面操作 成功/失敗判定 Slack エラー通知 スクリーンショットを Google Driveに転送 Asanaチケット起票 NG OK Slack 成功通知

  10. AirflowをQAにどう役立てるか 3. システムモニタリング • 定期的にシステムの “正確さ” およびデータの精度/鮮度を確認する • 結果を通知する /ping

    は[200 OK]を 返している？ 例）5分ごとに、サービス X,Y,Z にHTTPリクエスト送信 データ更新 されている？ 例）毎週月曜日8時にデータの最終更新日を確認する

  11. ワークショップ 10/29(土)にAirflowのハンズオンワークショップを開催予定 << Airflowのことが分かる記事