Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ品質を重視したデータ基盤プロダクト開発
Search
Toshiki Tsuchikawa
April 11, 2023
Technology
8
2.5k
データ品質を重視したデータ基盤プロダクト開発
データ基盤アーキテクチャトレンド 2023 LTとパネルで学ぶ (
https://findy.connpass.com/event/278140/
)
の登壇資料になります。
Toshiki Tsuchikawa
April 11, 2023
Tweet
Share
More Decks by Toshiki Tsuchikawa
See All by Toshiki Tsuchikawa
タイミーのデータモデリング事例と今後のチャレンジ
ttccddtoki
6
2.9k
タイミーのデータ活用を支えるdbt Cloud導入とこれから
ttccddtoki
2
970
タイミーにおけるデータ活用の未来
ttccddtoki
0
210
急成長する組織を支えるデータ基盤のこれまで、これから
ttccddtoki
6
800
アジリティの高いデータ基盤を目指して
ttccddtoki
4
1.7k
DMBOKを参考にしたデータマネジメントの取り組み
ttccddtoki
6
2.9k
dbt_Cloudとdbt_Core併用の試み
ttccddtoki
3
1.5k
タイミーの未来を支えるデータ基盤プロダクト
ttccddtoki
1
930
datatech-jp Casual Talks #3
ttccddtoki
0
1.1k
Other Decks in Technology
See All in Technology
ビジネス文書に特化した基盤モデル開発 / SaaSxML_Session_2
sansan_randd
0
180
帳票構造化タスクにおけるLLMファインチューニングの性能評価
yosukeyoshida
1
200
私とAWSとの関わりの歩み~意志あるところに道は開けるかも?~
nagisa53
1
140
モバイルゲームの開発を支える基盤の歩み ~再現性のある開発ラインを量産する秘訣~
qualiarts
0
930
オブザーバビリティプラットフォーム開発におけるオブザーバビリティとの向き合い / Hatena Engineer Seminar #34 オブザーバビリティの実現と運用編
arthur1
0
210
解消したはずが…技術と人間のエラーが交錯する恐怖体験
lamaglama39
0
150
バクラクによるコーポレート業務の自動運転 #BetAIDay
layerx
PRO
0
280
隙間時間で爆速開発! Claude Code × Vibe Coding で作るマニュアル自動生成サービス
akitomonam
2
240
GMOペパボのデータ基盤とデータ活用の現在地 / Current State of GMO Pepabo's Data Infrastructure and Data Utilization
zaimy
2
120
LLM開発を支えるエヌビディアの生成AIエコシステム
acceleratedmu3n
0
350
データエンジニアがクラシルでやりたいことの現在地
gappy50
3
780
Tableau API連携の罠!?脱スプシを夢見たはずが、逆に依存を深めた話
cuebic9bic
2
170
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
21
1.4k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
720
The Cult of Friendly URLs
andyhume
79
6.5k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
770
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Designing for Performance
lara
610
69k
Why Our Code Smells
bkeepers
PRO
337
57k
Transcript
2023/04/11 土川稔生 データ品質を重視した データ基盤プロダクト開発 @tvtg_24 データ基盤アーキテクチャトレンド 2023 LTとパネルで学ぶ
土川 稔生 (Tsuchikawa Toshiki) • 株式会社タイミーに2020年入社 • DRE (Data Reliability
Engineering) チーム ◦ データエンジニアとしてデータ基盤プロダク トを構築 ◦ 現在はプロダクトオーナーとして、データ基 盤プロダクト作りに励む • Twitter: @tvtg_24 2 自己紹介
目次 • データ品質とは...? • タイミーのデータ品質向上のために
1 データ品質とは...???
データ利用者の期待と要求を 満たす度合い DMBOK 13章より
高品質なデータとは... データニーズA 経営に関する意思決定 • 前日分のデータを用いる • データにズレがあると意思決定を 間違い、大きな問題になる データニーズB 機械学習アルゴリズム
• リアルタイムに近いデータを用いる • データに多少誤差があっても精度 には大きな影響がない データ基盤プ ロダクト ⭕ リアルタイム性 高 データの正確性 低 リアルタイム性 低 データの正確性 高
高品質なデータとは... データニーズA 経営に関する意思決定 • 前日分のデータを用いる • データにズレがあると意思決定を 間違い、大きな問題になる データニーズB 機械学習アルゴリズム
• リアルタイムに近いデータを用いる • データに多少誤差があっても精度 には大きな影響がない データ基盤プ ロダクト ❌ リアルタイム性 高 データの正確性 高
高品質なデータとは... • あらゆるデータに対応できる最強なデータ基盤は高品質なデータを提供しているとは言えない ◦ データ利用ユーザーはそんなものは求めていない • 余分な時間と工数の投資により、大事な開発に時間が使えなくなる • 運用も辛くなり、開発チームに負担がかかる バランスが大切🥖
データの目的と提供データの品質が合致していることが大事
2 タイミーのデータ品質向上の ために
現在のデータ基盤概要
品質の高いデータ提供のために 適時性 一意性 完全性 元データが更新されてからどの くらいの遅延で分析可能になる か データに重複はないか データに欠損はないか
データ品質目標はバランスが大事 データ利用ユーザ 適時性??? データが新しければ新し いほど嬉しい データ基盤開発者 品質守るために無限労 働つらい... ちょうどいい感じのバランスを取る 必要がある
データニーズを把握し、品質を交渉していく データ利用ユーザ こういうケースで、こういう 課題を解決するためにデー タ利用をしてます データ基盤開発者 普段どのようにデータを 利用していますか? (他のユーザーも 困っていたな...
ちょっとチームで話 し合おう...) ですが現状の最新データ が少し古くて、こういう運用 の際に困っています
14 Service Level Indicator サービスの品質を守るための指標 SLI SLA SLO Service Level
Agreement SLIで定義した指標に関するサービス提供者と の契約 (破った時にどうするかなど) Service Level Objective SLIで定義した指標の具体的な目安 一般的なSLI, SLA, SLOの定義
15 Service Level Indicator データパイプラインの適時性 (データソースの更新からど のくらい遅れて転送先で実用可能になるか) SLI SLA SLO
Service Level Agreement データソースごとにデータ使用者と結ばれた適時性 に関する契約 破った場合はポストモーテムを実施 例: データソースAは1日の適時性での転送 Service Level Objective DREチーム内で決定されたデータソースごとの適 時性の目標 例: データソースAは2hourの適時性での転送 DREチームにおけるSLI, SLA, SLOの定義
SLAが定義されていると...! データ利用ユーザ データ基盤開発者 どんなデータがどんな状態 で利用可能なのかがわか りやすい! データの細かい状態まで 管理していて信頼して使え る...!!! データの品質を無理せず
守れる!! 品質を担保しながらユー ザーのためのデータ基盤 開発に時間を使える !!
まだまだ道半ばなのでお力を貸してください!!! Timee Product Org Entrance Book https://timee.notion.site/timee/Timee-Product-Org-Entrance-Book-b7380eb4f6954e29b2664fe6f5e775f9