Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
システム/データ品質保証のための Airflow 活用法
Search
Hank Ehly
October 20, 2022
Technology
0
460
システム/データ品質保証のための Airflow 活用法
Hank Ehly
October 20, 2022
Tweet
Share
More Decks by Hank Ehly
See All by Hank Ehly
Fivetranでデータ移動を自動化する
hankehly
0
360
Celeryの紹介と本番運用のTips
hankehly
0
350
ChatGPTを活用した 便利ツールの紹介
hankehly
1
1.1k
Efficient Energy Analytics with Airflow, Spark, and MLFlow
hankehly
0
180
Deferrable Operators入門
hankehly
0
280
【初心者/ハンズオン】Dockerコンテナの基礎知識
hankehly
0
310
Compositeパターン: オブジェクトの階層関係をエレガントに表現する方法
hankehly
0
200
10/29 Airflowの基礎を学ぶハンズオンワークショップ
hankehly
0
170
海外の記事からコードレビューのBest Practiceを集めてみました
hankehly
0
760
Other Decks in Technology
See All in Technology
ギークの理想が7つ集まるエムスリーで夢を叶えよう - エムスリー株式会社
m3_engineering
1
260
Docker互換のセキュアなコンテナ実行環境「Podman」超入門
devops_vtj
6
3.2k
JBUG岡山 #6 WordCamp男木島の チームビルディング
takeshifurusato
0
150
AWSサービスメニュー開発をしていてAWSを好きだ!と感じた瞬間
toru_kubota
0
130
スレットハンティングについて知っておきたいこと
hacket
0
130
CEL(Common Expression Language)で書いた条件にマッチしたIAM Policyを見つける / iam-policy-finder
fujiwara3
0
710
[NIKKEI Tech Talk]Bias for Action!! 実践から学ぶための仕組とコミュニティ / Community for Practice and Learning
kanamasa
0
270
RAGのサービスをリリースして1年3ヶ月が経ちました
segavvy
4
920
AWSでRAGを作る法方
sonoda_mj
1
140
年間一億円削減した時系列データベースのアーキテクチャ改善~不確実性の高いプロジェクトへの挑戦~
lycorptech_jp
PRO
3
2.9k
dxd2024-生成AIに振り回された3か月間の成功と失敗/dxd2024-link-and-motivation
lmi
2
260
Git 研修 Advanced【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
200
Featured
See All Featured
The Straight Up "How To Draw Better" Workshop
denniskardys
229
130k
Fantastic passwords and where to find them - at NoRuKo
philnash
42
2.7k
For a Future-Friendly Web
brad_frost
173
9.2k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
224
21k
Visualization
eitanlees
139
14k
Designing on Purpose - Digital PM Summit 2013
jponch
113
6.6k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
662
120k
What's new in Ruby 2.0
geeforr
338
31k
From Idea to $5000 a Month in 5 Months
shpigford
377
46k
The Brand Is Dead. Long Live the Brand.
mthomps
52
36k
Agile that works and the tools we love
rasmusluckow
325
20k
Designing for Performance
lara
604
67k
Transcript
システム/データ品質保証のための Airflow 活用法 2022/10/20 hankehly
自己紹介 • Hank Ehly(名:ハンク 姓:イーリー) • ENECHANGE株式会社 • qiita.com/hankehly •
github.com/hankehly • connpass.com/user/hankehly
アジェンダ 1. Airflowとは 2. QAにどう役立てる
• ワークフロー管理システム(作成・実行・監視) • Airbnb、メルカリ、楽天、Tesla、Twitter、等々 Airflowとは • Python
ワークフロー名 実行頻度 成功/失敗回数
None
None
AirflowをQAにどう役立てるか 1. データパイプラインにおけるデータの品質担保 ② 結果の形式 は問題ないか? ① SQL実行 ③ 必要なデータは
入っているか? ./01_run_sql.sh ./02_check_data.sh ./03_send_email.sh … 品質保証しにくいパイプライン
AirflowをQAにどう役立てるか 2. 継続的な End-To-End (E2E) テストの実行 • 既存テストスクリプトそのまま利用できる(コンテナ/Python/Bash) • パラレル実行
• REST APIから実行可 • 通知機能(Slack、Eメール等) • 途中から再実行 • QAチームに実行権限を付与できる 開始 Seleniumで 画面操作 成功/失敗判定 Slack エラー通知 スクリーンショットを Google Driveに転送 Asanaチケット起票 NG OK Slack 成功通知
AirflowをQAにどう役立てるか 3. システムモニタリング • 定期的にシステムの “正確さ” およびデータの精度/鮮度を確認する • 結果を通知する /ping
は[200 OK]を 返している? 例)5分ごとに、サービス X,Y,Z にHTTPリクエスト送信 データ更新 されている? 例)毎週月曜日8時にデータの最終更新日を確認する
ワークショップ 10/29(土)にAirflowのハンズオンワークショップを開催予定 << Airflowのことが分かる記事