飲食店データの分析事例とそれを支えるデータ基盤

ENECHANGE Meetup 「急成長テック企業4社のエンジニアが語るデータ基盤構築の裏側」の発表資料です。
https://enechange-meetup.connpass.com/event/335710/

Transcript

1. © 2024 Dinii Inc. 飲食店データの分析事例と それを支えるデータ基盤 ENECHANGE Meetup データ基盤構築の裏側 21 Nov, 2024 Junya Kimura
2. 株式会社 ダイニー © 2024 Dinii Inc. ENECHANGE Meetup データ基盤構築の裏側 自己紹介 株式会社 ダイニー/Data Team/Tech Lead Web フルスタックエンジニア、データエンジニ ア。Data Team 立ち上げと共にデータエンジニ アリングに軸足を置きつつある。 BigQuery, PostgreSQL, TypeScript が好き。 プロダクトづくりと BBQ と海外サッカーが好 き。 Junya Kimura a.k.a kimujun 1130_kimu kimujun
3. © 2024 Dinii Inc. 株式会社 ダイニー 01 02 03 04 会社紹介 データ化された喫食情報とその活用 データ分析基盤 まとめとお知らせ ENECHANGE Meetup データ基盤構築の裏側
4. © 2024 Dinii Inc. 株式会社 ダイニー 会社紹介 01 ENECHANGE Meetup データ基盤構築の裏側
5. 株式会社 ダイニー © 2024 Dinii Inc. 会社紹介 ENECHANGE Meetup データ基盤構築の裏側
6. 株式会社 ダイニー © 2024 Dinii Inc. 会社紹介 ENECHANGE Meetup データ基盤構築の裏側
7. 株式会社 ダイニー © 2024 Dinii Inc. 会社紹介 ENECHANGE Meetup データ基盤構築の裏側 MO-POS ドメインを中心に様々なプロダクトを展開する コンパウンド指向の事業
8. © 2024 Dinii Inc. 株式会社 ダイニー データ化された喫食情報と その活用 02 ENECHANGE Meetup データ基盤構築の裏側
9. 株式会社 ダイニー © 2024 Dinii Inc. データ化された喫食情報とその活用 ENECHANGE Meetup データ基盤構築の裏側 データ化された喫食情報 喫食情報 = 誰がいつどこで何を食べたか 🍻 ダイニー以前の喫食情報 = 店員さんの頭の中にある情報 「常連の A さんは土曜日によく来て日本酒が好き」 ダイニーの喫食情報 = モバイルオーダーによってデータ化された情報
10. 株式会社 ダイニー © 2024 Dinii Inc. ENECHANGE Meetup データ基盤構築の裏側 データ化された喫食情報とその活用 喫食データの活用 - リピーター分析
11. 株式会社 ダイニー © 2024 Dinii Inc. ENECHANGE Meetup データ基盤構築の裏側 データ化された喫食情報とその活用 喫食データの活用 - レビュー点数と店内指標の相関
12. © 2024 Dinii Inc. 株式会社 ダイニー データ分析基盤 03 ENECHANGE Meetup データ基盤構築の裏側
13. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側 スタートアップなのになぜ分析基盤が必要？
14. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側 スタートアップなのになぜ分析基盤が必要？ プロダクト特性的に必要
15. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側 プロダクト特性 • プロダクト特性 1：集計データのオペレーション利用 ◦ 集計データは日々の経理業務等のオペレーションに利用される ▪ 売上、消費税、監査情報 etc ◦ プラットフォーマー故に正確で常にアクセス可能な集計データが求められる！ ▪ 集計ロジックが分散すると各所で数値が合致しなくなる • プロダクト特性 2：データに要求される適時性の幅広さ ◦ リアルタイムに必要なデータからデイリーバッチでも許されるデータまで幅広い ◦ 様々な適時性に対応できるような仕組みが必要 • プロダクト特性 3：コンパウンドなプロダクト群 ◦ 各プロダクトがそれぞれのデータを持っている ◦ MO-POS ドメインを中心に、それらのデータをつなぎ合わせて価値を生みたい
16. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側 データ分析基盤構築の戦略 • 戦略 1：Dataform による ELT 基盤の構築 ◦ プロダクト特性に合わせて ELT 基盤を開発 ◦ もともとダイニーは Full-Stack TypeScript 戦略 ◦ @dataform/core が TypeScript 製なので親和性 ⭕ • 戦略 2：Full Google Cloud ◦ もともと DB からアプリケーションサーバー、ウェアハウスまですべて Google Cloud ◦ データガバナンスも基本的にすべて Google Cloud に乗っかって運用する戦略 ◦ 具体的には Datastream, Dataplex, Data Catalog ▪ Datastream によって高い即時性を担保 • 戦略 3：データメッシュ ◦ ドメインが増え続ける中分析基盤がスケールする仕組みが必要 ◦ 小規模ながらデータメッシュを採用 ▪ 詳しくはこちらの資料に
17. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側 アーキテクチャ
18. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側 アーキテクチャ 戦略1：Dataform による ELT 基盤構築 • Dataform で Warehouse/Mart を定義 • GitHub Actions からスケジュール実行
19. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側 アーキテクチャ 戦略2：Full Google Cloud • すべて BigQuery 上に構築 • Datastream による ニアリアルタイム分析
20. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側 アーキテクチャ 戦略3：データメッシュ • ドメインごとにデータを管理 • Dataplex を中心としてプラットフォーム を構築
21. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側 伸びしろ (の一部) • Dataform エコシステムへのコミット ◦ Google Cloud に買収されたとはいえ、dbt に比べるとエコシステムが小さい ◦ 不足している領域は積極的にコミットして埋めていく意志が必要 💪 • リアルタイムデータと分析データのロジック分散 ◦ Datastream である程度即時性が担保されているが、よりリアルタイムなデータが必 要な領域もある ◦ RDB からクエリするしかないが、データソースが違うので必ずロジックが分散する ◦ 数値がずれうるのをどうやって解決するか？
22. © 2024 Dinii Inc. 株式会社 ダイニー まとめとお知らせ 04 ENECHANGE Meetup データ基盤構築の裏側
23. 株式会社 ダイニー © 2024 Dinii Inc. まとめとお知らせ ENECHANGE Meetup データ基盤構築の裏側 まとめ • スタートアップではあるが、プロダクト特性的にデータ分析基盤が必要だった • すでに社内にあったナレッジを元にアーキテクチャを選定 ◦ TypeScript/Google Cloud → Dataform ◦ Google Cloud → Datastream, Dataplex, Data Catalog • とはいえまだまだ伸びしろがたくさん！ ◦ ダイニーの Data Team では積極採用中です 🔥
24. 株式会社 ダイニー © 2024 Dinii Inc. まとめとお知らせ ENECHANGE Meetup データ基盤構築の裏側 We’re hiring! • Data Team はもちろん、各ドメインでプロダクト開発メンバー募集中 🔥 ◦ カジュアル面談からお声がけください！ ◦ DM 等直接連絡も Welcome https://hrmos.co/pages/dinii
25. 株式会社 ダイニー © 2024 Dinii Inc. お知らせ - ダイニー体験会 ENECHANGE Meetup データ基盤構築の裏側 まとめとお知らせ https://dinii.connpass.com/event/335949/