Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
システム/データ品質保証のための Airflow 活用法
Search
Hank Ehly
October 20, 2022
Technology
0
510
システム/データ品質保証のための Airflow 活用法
Hank Ehly
October 20, 2022
Tweet
Share
More Decks by Hank Ehly
See All by Hank Ehly
Fivetranでデータ移動を自動化する
hankehly
0
490
Celeryの紹介と本番運用のTips
hankehly
0
620
ChatGPTを活用した 便利ツールの紹介
hankehly
1
1.2k
Efficient Energy Analytics with Airflow, Spark, and MLFlow
hankehly
0
240
Deferrable Operators入門
hankehly
0
470
【初心者/ハンズオン】Dockerコンテナの基礎知識
hankehly
0
420
Compositeパターン: オブジェクトの階層関係をエレガントに表現する方法
hankehly
0
270
10/29 Airflowの基礎を学ぶハンズオンワークショップ
hankehly
0
220
海外の記事からコードレビューのBest Practiceを集めてみました
hankehly
0
870
Other Decks in Technology
See All in Technology
2024.02.19 W&B AIエージェントLT会 / AIエージェントが業務を代行するための計画と実行 / Algomatic 宮脇
smiyawaki0820
2
260
アジャイル開発とスクラム
araihara
0
160
CZII - CryoET Object Identification 参加振り返り・解法共有
tattaka
0
260
RSNA2024振り返り
nanachi
0
520
室長と気ままに学ぶマイクロソフトのビジネスアプリケーションとビジネスプロセス
ryoheig0405
0
340
自動テストの世界に、この5年間で起きたこと
autifyhq
10
7.6k
Nekko Cloud、 これまでとこれから ~学生サークルが作る、 小さなクラウド
logica0419
2
810
AndroidXR 開発ツールごとの できることできないこと
donabe3
0
120
Fintech SREの挑戦 PCI DSS対応をスマートにこなすインフラ戦略/Fintech SRE’s Challenge: Smart Infrastructure Strategies for PCI DSS Compliance
maaaato
0
460
日経電子版 x AIエージェントの可能性とAgentic RAGによって提案書生成を行う技術
masahiro_nishimi
1
310
家電アプリ共通PF "Linova" のAPI利用とPostman活用事例ご紹介
yukiogawa
0
140
Tech Blogを書きやすい環境づくり
lycorptech_jp
PRO
1
210
Featured
See All Featured
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
29
2.2k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
45
2.3k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
240
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
10
1.3k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.2k
Building Your Own Lightsaber
phodgson
104
6.2k
Code Review Best Practice
trishagee
66
17k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
YesSQL, Process and Tooling at Scale
rocio
171
14k
Transcript
システム/データ品質保証のための Airflow 活用法 2022/10/20 hankehly
自己紹介 • Hank Ehly(名:ハンク 姓:イーリー) • ENECHANGE株式会社 • qiita.com/hankehly •
github.com/hankehly • connpass.com/user/hankehly
アジェンダ 1. Airflowとは 2. QAにどう役立てる
• ワークフロー管理システム(作成・実行・監視) • Airbnb、メルカリ、楽天、Tesla、Twitter、等々 Airflowとは • Python
ワークフロー名 実行頻度 成功/失敗回数
None
None
AirflowをQAにどう役立てるか 1. データパイプラインにおけるデータの品質担保 ② 結果の形式 は問題ないか? ① SQL実行 ③ 必要なデータは
入っているか? ./01_run_sql.sh ./02_check_data.sh ./03_send_email.sh … 品質保証しにくいパイプライン
AirflowをQAにどう役立てるか 2. 継続的な End-To-End (E2E) テストの実行 • 既存テストスクリプトそのまま利用できる(コンテナ/Python/Bash) • パラレル実行
• REST APIから実行可 • 通知機能(Slack、Eメール等) • 途中から再実行 • QAチームに実行権限を付与できる 開始 Seleniumで 画面操作 成功/失敗判定 Slack エラー通知 スクリーンショットを Google Driveに転送 Asanaチケット起票 NG OK Slack 成功通知
AirflowをQAにどう役立てるか 3. システムモニタリング • 定期的にシステムの “正確さ” およびデータの精度/鮮度を確認する • 結果を通知する /ping
は[200 OK]を 返している? 例)5分ごとに、サービス X,Y,Z にHTTPリクエスト送信 データ更新 されている? 例)毎週月曜日8時にデータの最終更新日を確認する
ワークショップ 10/29(土)にAirflowのハンズオンワークショップを開催予定 << Airflowのことが分かる記事