Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
システム/データ品質保証のための Airflow 活用法
Search
Hank Ehly
October 20, 2022
Technology
0
430
システム/データ品質保証のための Airflow 活用法
Hank Ehly
October 20, 2022
Tweet
Share
More Decks by Hank Ehly
See All by Hank Ehly
Fivetranでデータ移動を自動化する
hankehly
0
270
Celeryの紹介と本番運用のTips
hankehly
0
120
ChatGPTを活用した 便利ツールの紹介
hankehly
1
950
Efficient Energy Analytics with Airflow, Spark, and MLFlow
hankehly
0
150
Deferrable Operators入門
hankehly
0
200
【初心者/ハンズオン】Dockerコンテナの基礎知識
hankehly
0
250
Compositeパターン: オブジェクトの階層関係をエレガントに表現する方法
hankehly
0
140
10/29 Airflowの基礎を学ぶハンズオンワークショップ
hankehly
0
130
海外の記事からコードレビューのBest Practiceを集めてみました
hankehly
0
650
Other Decks in Technology
See All in Technology
エバンジェリスト活動を7年やってきて見えてきた、コミュニティとエバンジェリストの関係
soracom
PRO
1
200
AMLD 2024 - Build Your Own GPT
donlelef
1
260
関数型DDDの理論と実践:「決定を遅らせる」を先につくり、 ビジネスの機動力と価値をあげる
knih
2
150
生成AI・LLM時代における 機械学習エンジニアとしてのキャリア戦略・開発戦略 / my-career-and-development-strategies-for-ml-engineer-2024
yuya4
1
120
継続的テストモデルを実現するためにスリーアミーゴスを用いた10Xでのシフトレフトの事例
nihonbuson
3
150
ビジネスとコード品質の接合点 そしてコード品質がそこに及ぼす影響 / The Intersections of Business and Engineering, and The Impact of Code Quality There
mtx2s
10
1k
暗黙知を集積するプラットフォーム : 「健常者エミュレータ事例集」の取り組み
sora32127
1
160
20240321_生成AI時代のDevOps
kzkmaeda
2
600
生成AIサービスPanorama AIご説明資料
sdt
0
300
技育祭2024春 LT Finatextホールディングス
kevinrobot34
1
160
MongoDB Atlas Vectorsearchではじめる生成AIアプリ開発
chie8842
3
500
技術広報として2023年度に頑張ったこと / What we did well in FY2023 as a DevRel
pauli
5
450
Featured
See All Featured
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
12
1.4k
For a Future-Friendly Web
brad_frost
170
8.9k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
225
51k
The Straight Up "How To Draw Better" Workshop
denniskardys
227
130k
Building a Modern Day E-commerce SEO Strategy
aleyda
15
6.3k
Learning to Love Humans: Emotional Interface Design
aarron
266
39k
The Cult of Friendly URLs
andyhume
72
5.6k
Statistics for Hackers
jakevdp
789
220k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
657
120k
Large-scale JavaScript Application Architecture
addyosmani
501
110k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
A Philosophy of Restraint
colly
195
15k
Transcript
システム/データ品質保証のための Airflow 活用法 2022/10/20 hankehly
自己紹介 • Hank Ehly(名:ハンク 姓:イーリー) • ENECHANGE株式会社 • qiita.com/hankehly •
github.com/hankehly • connpass.com/user/hankehly
アジェンダ 1. Airflowとは 2. QAにどう役立てる
• ワークフロー管理システム(作成・実行・監視) • Airbnb、メルカリ、楽天、Tesla、Twitter、等々 Airflowとは • Python
ワークフロー名 実行頻度 成功/失敗回数
None
None
AirflowをQAにどう役立てるか 1. データパイプラインにおけるデータの品質担保 ② 結果の形式 は問題ないか? ① SQL実行 ③ 必要なデータは
入っているか? ./01_run_sql.sh ./02_check_data.sh ./03_send_email.sh … 品質保証しにくいパイプライン
AirflowをQAにどう役立てるか 2. 継続的な End-To-End (E2E) テストの実行 • 既存テストスクリプトそのまま利用できる(コンテナ/Python/Bash) • パラレル実行
• REST APIから実行可 • 通知機能(Slack、Eメール等) • 途中から再実行 • QAチームに実行権限を付与できる 開始 Seleniumで 画面操作 成功/失敗判定 Slack エラー通知 スクリーンショットを Google Driveに転送 Asanaチケット起票 NG OK Slack 成功通知
AirflowをQAにどう役立てるか 3. システムモニタリング • 定期的にシステムの “正確さ” およびデータの精度/鮮度を確認する • 結果を通知する /ping
は[200 OK]を 返している? 例)5分ごとに、サービス X,Y,Z にHTTPリクエスト送信 データ更新 されている? 例)毎週月曜日8時にデータの最終更新日を確認する
ワークショップ 10/29(土)にAirflowのハンズオンワークショップを開催予定 << Airflowのことが分かる記事