Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
タイミーのデータモデリング事例と今後のチャレンジ
Search
Toshiki Tsuchikawa
July 04, 2025
Technology
6
2.8k
タイミーのデータモデリング事例と今後のチャレンジ
Data Modeling Night -「今」だからできる理論の実践事例 -(
https://pixiv.connpass.com/event/358285/
) の登壇資料
Toshiki Tsuchikawa
July 04, 2025
Tweet
Share
More Decks by Toshiki Tsuchikawa
See All by Toshiki Tsuchikawa
タイミーのデータ活用を支えるdbt Cloud導入とこれから
ttccddtoki
2
950
タイミーにおけるデータ活用の未来
ttccddtoki
0
200
急成長する組織を支えるデータ基盤のこれまで、これから
ttccddtoki
6
800
アジリティの高いデータ基盤を目指して
ttccddtoki
4
1.7k
DMBOKを参考にしたデータマネジメントの取り組み
ttccddtoki
6
2.9k
dbt_Cloudとdbt_Core併用の試み
ttccddtoki
3
1.5k
データ品質を重視したデータ基盤プロダクト開発
ttccddtoki
8
2.5k
タイミーの未来を支えるデータ基盤プロダクト
ttccddtoki
1
930
datatech-jp Casual Talks #3
ttccddtoki
0
1.1k
Other Decks in Technology
See All in Technology
Wasmで社内ツールを作って配布しよう
askua
0
110
RapidPen: AIエージェントによる高度なペネトレーションテスト自動化の研究開発
laysakura
1
390
Recoil脱却の現状と挑戦
kirik
2
320
(HackFes)米国国防総省のDevSecOpsライフサイクルをAWSのセキュリティサービスとOSSで実現
syoshie
5
660
怖くない!GritQLでBiomeプラグインを作ろうよ
pal4de
1
120
Snowflake のアーキテクチャは本当に筋がよかったのか / Data Engineering Study #30
indigo13love
0
250
機械学習を「社会実装」するということ 2025年夏版 / Social Implementation of Machine Learning July 2025 Version
moepy_stats
1
540
株式会社島津製作所_研究開発(集団協業と知的生産)の現場を支える、OSS知識基盤システムの導入
akahane92
1
1.1k
AI エンジニアの立場からみた、AI コーディング時代の開発の品質向上の取り組みと妄想
soh9834
5
220
claude codeでPrompt Engineering
iori0311
0
420
激動の時代、新卒エンジニアはAIツールにどう向き合うか。 [LayerX Bet AI Day Countdown LT Day1 ツールの選択]
tak848
0
540
分散トレーシングによる コネクティッドカーのデータ処理見える化の試み
thatsdone
0
190
Featured
See All Featured
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Building an army of robots
kneath
306
45k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
21
1.3k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Building Applications with DynamoDB
mza
95
6.5k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
YesSQL, Process and Tooling at Scale
rocio
173
14k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Documentation Writing (for coders)
carmenintech
72
4.9k
Scaling GitHub
holman
461
140k
GraphQLとの向き合い方2022年版
quramy
49
14k
Transcript
2025/7/4 土川稔生, 大河戸裕一 タイミーのデータモデリング事例と 今後のチャレンジ @tvtg_24 , @miburo_data Data Modeling
Night -「今」だからできる理論の実践事例 -
自己紹介 土川 稔生 (Tsuchikawa Toshiki) 株式会社タイミーに2020年入社 DRE(Data Reliability Engineering)グループマネージャー 1人目データエンジニアとしてデータ基盤を構築し始める
現在はプロダクトオーナーとして、データ基盤プロダクト作りに 励む
自己紹介 大河戸 裕一 (Okodo Yuichi) スタートアップにてソフトウェアエンジニアを経験後、 1人目データ人材として、データ組織の立ち上げとデータ基盤の 作成を経験 タイミー入社後はアナリストを経験後、データエンジニア兼アナ リティクスエンジニア業務に従事
主にLookerやデータモデリングの開発をリード
Copyright © Timee All Rights Reserved 4 タイミーとは
Copyright © Timee All Rights Reserved 5 タイミーの特徴
Copyright © Timee All Rights Reserved 6 導入実績
あなたの組織では、 データが十分に活用されていますか ??
データは大量にあるが、使いづらい ... データ活用者 大量のデータ
データは大量にあるが、使いづらい ... データ活用者 大量のデータ ほしいデータが入って いるテーブルがわから ない SQLのロジック複雑。A さんに聞かないと 中身編集できない
テーブルたくさんあって SQLがすごく長い
データモデリングのメリット 1. 社内のビジネスドメインをSQL定義に落とし 込んでSSoTとして管理できる! 2. ディメンショナルモデリングにより、SQLを 書く際に直感的に理解しやすいデータ構造に なる! 3. テーブル数や結合が少なくなりSQLがシンプ
ルなり、パフォーマンスも向上する!
タイミーにおけるデータモデリング
タイミーのデータ基盤
タイミーのデータモデリング業務 アナリストの開発領域 データモデラー (DRE G)の開発領域 ここを広げたい!
タイミーのデータモデリング業務 PII情報に対するクエリを承認制にしつつ モデリングに露出させるか整備したり セマンティックレイヤーの命名をユーザー ライクなものにする実装をしたり みたいな領域もデータモデリングという枠組みで行なってます
既存のデータモデリング開発で顕在化した進め方の課題 ユーザーの起票ベースで開 発を行なっていて、Lookerを 使っていない部署の意見が 反映できない。 攻めのデータモデリング が 行えていない。 既に運用に乗っている アナリストが作成したクエリ
(合計2800行ほど)を ディメンショナルモデリングで置 き換える作業 で実装が泥沼化
既存のデータモデリング開発で顕在化した進め方の課題 ユーザーの起票ベースで開発を行なっていて、 Lookerを使っていない部署の意見が反映できない。 攻めのデータモデリング が行えていない。 Lookerの利用率は高いため、 Lookerをすでに使っている部署の改修・追加依頼はたくさん来るが、 データ出力をデータモデリングでカバーできる領域自体を広げる動きには繋がりづらい。 タイミー社内で日常的に生まれる新しい領域や新規プロジェクトに対して先回りして動けておらず、 その領域において非効率なクエリが生産されている状態。
後手後手の依頼対応で意思決定の高速化に貢献できていない状態・・
既存のデータモデリング開発で顕在化した進め方の課題 既に運用に乗っているアナリストが作成したクエリ (合計2800行ほど)をディメンショナルモデリングで置き換える 作業が泥沼化 既存のデータモデリングと同音異義語の指標名や dimension名が多数存在してすり合わせが困難 事業部サイドの要求が反映された複雑で横展開できない特殊定義が多数存在 既存のクエリが正解ではなく間違いなどもあるので正解がなく、一度定まった定義を変更してすり合 わせていく作業が発生 一緒に作っていくプロセスを経ればこんなことは起きなかったのに・・
アジャイルデータモデリングの実践
アジャイルデータモデリング アジャイルデータモデリングのメリット (一部): • 従来の大規模で時間をかけたモデリングではなく、ビジネスニーズに合わ せて段階的かつ柔軟にデータモデリングを構築・改善する • ユーザーとの頻繁なコミュニケーションを通じて、ビジネス側のステークホル ダーと協調しながら要件にあったモデリングを構築できる タイミーにおける課題に対して期待していること:
• 攻めのモデリング : モデリングするべき重要なデータユースケースを把握し ながら、将来的にスケールする分析環境の提供 • 段階的なモデリング : 既存の2800行のクエリを一度に置き換えるのではな く、優先度の高いストーリー、指標から段階的に移行 • ドメイン知識の共通化 : ビジネスユーザーとの頻繁なコミュニケーションを 通じて、モデリングする人とのドメイン知識を共通化することによる属人化の 防止、モデルのメンテ性向上
実際の事例 ①
アジャイルデータモデリング事例 1:進め方 指標Aを全く新しい軸でみたい。今 Lookerでは見れない (=スタースキーマで表現されていない ) 新しいLooker探索環境 (=スタースキーマ )が必要ではないかと考えている 依頼
どういうものをイメージしているのかふ わっとしかわからない つまりどういうことだってばよ・・?
アジャイルデータモデリング事例 1 既存ワイドテーブルをベースにBEAM*テーブルを作る形で 差異を確認。新しく実現したい絞り込みや情報の粒度を確認
アジャイルデータモデリング事例 1 整理を通して既存のDimensionを拡張するだけで実現可能な 項目であることが判明! ふわっとした要件を解像度高く追加実装要件に落とせた
アジャイルデータモデリング事例 1:感想 - 「既存の」ディメンショナルデータモデリングされたテーブルも BEAM*テーブルとして表現可能で、BEAM*テーブルをコミュニケー ションツールとして活用できたこと。 - 「どこが既存との差異なのか」を目線を合わせながらコミュニ ケーションできた。 -
具体のレコードイメージをBEAM*テーブルを通じて作ることができる ので、ふわっとした要求を実装要件に落とし込めるありがたみがわ かった。
アジャイルデータモデリング事例 2 取引先になった後の各種実 績 Salesforceデータをベースに モデリング済み 広告媒体の実績 各種広告ツールで確認でき ている リード
= 見込み顧客 ドメイン的に微妙に浮いてい てモデリングでも未着手状 態 ここ攻められてないから やってみよう マーケの関心領域 セールスの関心領域
アジャイルデータモデリング事例 2:進め方 ①マーケメンバーへの 課題領域ヒアリング ②マーケドメインを担当 するアナリストにヒアリン グ ③ビジネスメンバーとマー ケドメインアナリストへの ヒアリング
アジャイルデータモデリング事例 2:ヒアリング内容 ①マーケメンバーへの 課題領域ヒアリング ②マーケドメインを担当 するアナリストにヒアリン グ 「What」の目安をつける 「リードの数と獲得費用対 効果が知りたい」
「What」以外の実装案を 埋めてワイドテーブルの 仮組をする 仮組みされたワイドテー ブルをベースに 実分析ケースを壁打ち ③ビジネスメンバーとマー ケドメインアナリストへの ヒアリング
アジャイルデータモデリング事例 2:BEAM*の更新 ① ② ③
アジャイルデータモデリング事例 2:BEAM*の更新 ① ② ③ 初回は関心領 域の特定だけ で終わってし まった スタースキーマがわかる
アナリストメンバーと仮組 み 営業メンバーにぶつけ てみて更新 マーケ目線じゃ出て こない情報の更新
アジャイルデータモデリング事例 2 感想・コツ - この本で推奨されている「誰が何をしますか?」 という質問から聞いても答え は得られなかった。「何をみたいですか」 という問い(スタースキーマのファクト を定める質問)をしたら初めてうまくいった という切り出し方をしてもビジネスユーザーはピンとこなかった ソースシステムの処理や挙動を深く理解している人相手なら刺さりそう
アジャイルデータモデリング事例 2 感想・コツ - BEAM*テーブルという中間成果物が何かしら更新されるので、30分や15分の ヒアリング枠を複数設けて少しずつ更新するような進め方 が可能 - なので複数の観点からのレビュー がもらいやすい うちのチームではこの絞
り込みが追加で必要 うちのチームではこの絞 り込みが追加で必要
アジャイルデータモデリング事例 2 感想・コツ • 「本の型通りの質問をしてBEAM*テーブルを作る」ではなく、 「JOIN後のワイドテーブルのレコードを作る 」ってメンタルモデルにしたらヒア リングうまくいった。 要するにスタースキーマを JOINしたワイドテーブルのレ コードイメージを決めればい
いのか。 それならわかるぞ BEAM*テーブルを作るって何 ・・? とりあえず書いてある通りの質 問をしてみよう
2つの事例を通して - 目線を合わせるためのBEAM*テーブルの有用性 - 顧客の要求を実装要件に具体化できる。 - 少しずつアップデートできて、複数の目線を反映させやすい - 当社での苦戦ポイント -
本に記載されているような問いかけはビジネスユーザー相手だと通じ ないことが多かった。(なぜなら具体の処理やデータ間のリレーショ ンや指標の発生タイミングなどをソースシステムの理解を元に話せる 人がほとんどいなかったから) - 当社はLookerの業務活用がかなり浸透しているので、Lookerで 言うとどういう状態ですか?っていうディメンショナルモデリン グの世界感における聞き方もできたのが大きかった。
2つの事例を通して これまでもヒアリングを通して攻めのデータモデリングはし ていたが、うまくできるかどうかは属人性が高かった。 「BEAM*テーブル経由のコミュニケーション」という”型”が できたことで、チームとして設計スキルを手に入れられたの がとても大きい成果!
積極的に採用中です! まだまだ道半ばなのでお力を貸してください!XでのDMもお待ちしてます! https://product-recruit.timee.co.jp/data