飲食店データの分析事例とそれを支えるデータ基盤

Slide 1

Slide 1 text

Slide 2

Slide 2 text

株式会社ダイニー © 2024 Dinii Inc. ENECHANGE Meetup データ基盤構築の裏側自己紹介株式会社ダイニー/Data Team/Tech Lead Web フルスタックエンジニア、データエンジニア。Data Team 立ち上げと共にデータエンジニアリングに軸足を置きつつある。 BigQuery, PostgreSQL, TypeScript が好き。プロダクトづくりと BBQ と海外サッカーが好き。 Junya Kimura a.k.a kimujun 1130_kimu kimujun

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

株式会社ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側プロダクト特性 ● プロダクト特性 1：集計データのオペレーション利用 ○ 集計データは日々の経理業務等のオペレーションに利用される ■ 売上、消費税、監査情報 etc ○ プラットフォーマー故に正確で常にアクセス可能な集計データが求められる！ ■ 集計ロジックが分散すると各所で数値が合致しなくなる ● プロダクト特性 2：データに要求される適時性の幅広さ ○ リアルタイムに必要なデータからデイリーバッチでも許されるデータまで幅広い ○ 様々な適時性に対応できるような仕組みが必要 ● プロダクト特性 3：コンパウンドなプロダクト群 ○ 各プロダクトがそれぞれのデータを持っている ○ MO-POS ドメインを中心に、それらのデータをつなぎ合わせて価値を生みたい

Slide 16

Slide 16 text

株式会社ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側データ分析基盤構築の戦略 ● 戦略 1：Dataform による ELT 基盤の構築 ○ プロダクト特性に合わせて ELT 基盤を開発 ○ もともとダイニーは Full-Stack TypeScript 戦略 ○ @dataform/core が TypeScript 製なので親和性 ⭕ ● 戦略 2：Full Google Cloud ○ もともと DB からアプリケーションサーバー、ウェアハウスまですべて Google Cloud ○ データガバナンスも基本的にすべて Google Cloud に乗っかって運用する戦略 ○ 具体的には Datastream, Dataplex, Data Catalog ■ Datastream によって高い即時性を担保 ● 戦略 3：データメッシュ ○ ドメインが増え続ける中分析基盤がスケールする仕組みが必要 ○ 小規模ながらデータメッシュを採用 ■ 詳しくはこちらの資料に

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

株式会社ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側伸びしろ (の一部) ● Dataform エコシステムへのコミット ○ Google Cloud に買収されたとはいえ、dbt に比べるとエコシステムが小さい ○ 不足している領域は積極的にコミットして埋めていく意志が必要 💪 ● リアルタイムデータと分析データのロジック分散 ○ Datastream である程度即時性が担保されているが、よりリアルタイムなデータが必要な領域もある ○ RDB からクエリするしかないが、データソースが違うので必ずロジックが分散する ○ 数値がずれうるのをどうやって解決するか？

Slide 22

Slide 22 text

Slide 23

Slide 23 text

株式会社ダイニー © 2024 Dinii Inc. まとめとお知らせ ENECHANGE Meetup データ基盤構築の裏側まとめ ● スタートアップではあるが、プロダクト特性的にデータ分析基盤が必要だった ● すでに社内にあったナレッジを元にアーキテクチャを選定 ○ TypeScript/Google Cloud → Dataform ○ Google Cloud → Datastream, Dataplex, Data Catalog ● とはいえまだまだ伸びしろがたくさん！ ○ ダイニーの Data Team では積極採用中です 🔥

Slide 24

Slide 24 text

Slide 25

Slide 25 text