Upgrade to Pro — share decks privately, control downloads, hide ads and more …

10年選手の広告プラットフォームの データモデリングをいい感じにした話

10年選手の広告プラットフォームの データモデリングをいい感じにした話

データモデリングとデータ基盤の構築・運用
(第14回ちゅらコラボ)CARTA HOLDINGS x ちゅらデータ 合同イベント
https://churadata.connpass.com/event/254417/

の登壇資料です

Shu Murakami

August 19, 2022
Tweet

More Decks by Shu Murakami

Other Decks in Technology

Transcript

  1. 自己紹介 • しゅう ◦ 村上 柊 ◦ @shu22203 • 2019年新卒入社4年目

    • 好きなもの ◦ Celeste ◦ ずっと真夜中でいいのに ◦ スノボー • 嫌いなもの ◦ データがズレること ◦ CASE式で頑張ってるSQL
  2. SSPの広告レポートとは・特徴 • ある期間において発生したインプレッション数(広告表示回数)・クリック数・売上など が知りたい • 見たいディメンション・指標がとにかく多い ◦ サイト / 広告枠

    / デバイス / OS / etc … • 数がとても多い ◦ x億 impresssions / day 以上 ◦ 生のログに対してレポーティング文脈でクエリするのは現実的ではない ◦ ある程度の集約が必要
  3. どうしてこうなったか(想像含) • fluct 初期、当然スマートフォンは存在していなかった ◦ (詳しい人向け) RTB すら無かった • 今ほどデータウェアハウス・計算機・ストレージなどが充実しておらず、部分ごとに

    集計するのが精一杯だった • 運用システムのノリでモデリングしてしまい必要以上に正規化されていた ◦ クエリが難しい・パフォーマンスも悪い ◦ 一方で不適切な非正規化もあり本来 不要な再取り込み依頼 が多発 • → 10年間のビジネスドメインの変化・技術進化にシステムが追いつけていなかった • → 技術的負債
  4. これから • 情報が正しく見れるという当たり前を整備するところまでやっただけ。 ◦ みんなにどんどん使ってもらう ◦ 今まで雰囲気でせざるを得なかった業務を根拠を持って意思決定できるように ◦ 仮説検証を早く回しデータドリブンな意思決定 が出来るように促進する

    • ディメンションモデリング思想の伝承・啓蒙 ◦ DBの寿命はアプリケーションより長いが、 破綻するのも一瞬。 ◦ ディメンションモデリング完全理解者を増やしてモデリングをサステナブルにする。