Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
システム/データ品質保証のための Airflow 活用法
Search
Hank Ehly
October 20, 2022
Technology
710
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
システム/データ品質保証のための Airflow 活用法
Hank Ehly
October 20, 2022
Transcript
11 slides
システム/データ品質保証のための Airflow 活用法 2022/10/20 hankehly
自己紹介 • Hank Ehly(名:ハンク 姓:イーリー) • ENECHANGE株式会社 • qiita.com/hankehly •
github.com/hankehly • connpass.com/user/hankehly
アジェンダ 1. Airflowとは 2. QAにどう役立てる
• ワークフロー管理システム(作成・実行・監視) • Airbnb、メルカリ、楽天、Tesla、Twitter、等々 Airflowとは • Python
ワークフロー名 実行頻度 成功/失敗回数
None
None
AirflowをQAにどう役立てるか 1. データパイプラインにおけるデータの品質担保 ② 結果の形式 は問題ないか? ① SQL実行 ③ 必要なデータは
入っているか? ./01_run_sql.sh ./02_check_data.sh ./03_send_email.sh … 品質保証しにくいパイプライン
AirflowをQAにどう役立てるか 2. 継続的な End-To-End (E2E) テストの実行 • 既存テストスクリプトそのまま利用できる(コンテナ/Python/Bash) • パラレル実行
• REST APIから実行可 • 通知機能(Slack、Eメール等) • 途中から再実行 • QAチームに実行権限を付与できる 開始 Seleniumで 画面操作 成功/失敗判定 Slack エラー通知 スクリーンショットを Google Driveに転送 Asanaチケット起票 NG OK Slack 成功通知
AirflowをQAにどう役立てるか 3. システムモニタリング • 定期的にシステムの “正確さ” およびデータの精度/鮮度を確認する • 結果を通知する /ping
は[200 OK]を 返している? 例)5分ごとに、サービス X,Y,Z にHTTPリクエスト送信 データ更新 されている? 例)毎週月曜日8時にデータの最終更新日を確認する
ワークショップ 10/29(土)にAirflowのハンズオンワークショップを開催予定 << Airflowのことが分かる記事
More Decks by Hank Ehly
See All by Hank Ehly
Fivetranでデータ移動を自動化する
hankehly
0
690
Celeryの紹介と本番運用のTips
hankehly
0
1.8k
ChatGPTを活用した 便利ツールの紹介
hankehly
1
1.4k
Efficient Energy Analytics with Airflow, Spark, and MLFlow
hankehly
0
440
Deferrable Operators入門
hankehly
0
830
【初心者/ハンズオン】Dockerコンテナの基礎知識
hankehly
0
630
Compositeパターン: オブジェクトの階層関係をエレガントに表現する方法
hankehly
0
380
10/29 Airflowの基礎を学ぶハンズオンワークショップ
hankehly
0
350
海外の記事からコードレビューのBest Practiceを集めてみました
hankehly
0
1.1k
Other Decks in Technology
See All in Technology
cdkdがどんだけ早いか、実際に動かして見てみよう
smt7174
1
130
人間+AIを「チーム」としてプロセスを再設計する
littlehands
4
3.4k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
17
120k
エンタープライズ事業未経験のデータ屋、 AI時代にN回撃沈する.pdf
ryoskdara_
0
150
OpenTelemetryで変わった 新時代のCloudWatchメトリクス監視
tsukuboshi
0
410
IoTのデータ保存をSREの観点で考える
grimoh
1
110
3文字略語に騙されない! 世界一わかりやすい『EDR』超入門
kamadamakoto
1
250
AWS基盤改善を支える 私たちの理念と行動指針
kentosuzuki
0
240
SREのためのFinOps入門
muziyoshiz
3
1.6k
Kansai WordPress Meetup@大阪『ブロックテーマを作る上で知っておくべきこと
torounit
0
230
RAGの改善を速く回すための評価基盤
yosukeyoshida
6
2.8k
プロダクションコードにおける encoding/json から encoding/json/v2 へのスムーズな移行
sansantech
PRO
1
450
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
25
2.2k
First, design no harm
axbom
PRO
2
1.4k
Scaling GitHub
holman
464
140k
End of SEO as We Know It (SMX Advanced Version)
ipullrank
3
4.5k
Pawsitive SEO: Lessons from My Dog (and Many Mistakes) on Thriving as a Consultant in the Age of AI
davidcarrasco
1
300
Faster Mobile Websites
deanohume
310
32k
A designer walks into a library…
pauljervisheath
211
25k
Have SEOs Ruined the Internet? - User Awareness of SEO in 2025
akashhashmi
0
550
Marketing to machines
jonoalderson
1
6k
Bash Introduction
62gerente
615
220k
Git: the NoSQL Database
bkeepers
PRO
433
67k
The AI Search Optimization Roadmap by Aleyda Solis
aleyda
2
6.4k