Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

飲食店データの分析事例とそれを支えるデータ基盤

kimujun
November 21, 2024

 飲食店データの分析事例とそれを支えるデータ基盤

ENECHANGE Meetup 「急成長テック企業4社のエンジニアが語るデータ基盤構築の裏側」の発表資料です。
https://enechange-meetup.connpass.com/event/335710/

kimujun

November 21, 2024
Tweet

More Decks by kimujun

Other Decks in Technology

Transcript

  1. 株式会社 ダイニー © 2024 Dinii Inc. ENECHANGE Meetup データ基盤構築の裏側 自己紹介

    株式会社 ダイニー/Data Team/Tech Lead Web フルスタックエンジニア、データエンジニ ア。Data Team 立ち上げと共にデータエンジニ アリングに軸足を置きつつある。 BigQuery, PostgreSQL, TypeScript が好き。 プロダクトづくりと BBQ と海外サッカーが好 き。 Junya Kimura a.k.a kimujun 1130_kimu kimujun
  2. © 2024 Dinii Inc. 株式会社 ダイニー 01 02 03 04

    会社紹介 データ化された喫食情報とその活用 データ分析基盤 まとめとお知らせ ENECHANGE Meetup データ基盤構築の裏側
  3. 株式会社 ダイニー © 2024 Dinii Inc. 会社紹介 ENECHANGE Meetup データ基盤構築の裏側

    MO-POS ドメインを中心に様々なプロダクトを展開する コンパウンド指向の事業
  4. 株式会社 ダイニー © 2024 Dinii Inc. データ化された喫食情報とその活用 ENECHANGE Meetup データ基盤構築の裏側

    データ化された喫食情報 喫食情報 = 誰がいつどこで何を食べたか 🍻 ダイニー以前の喫食情報 = 店員さんの頭の中にある情報 「常連の A さんは土曜日によく来て日本酒が好き」 ダイニーの喫食情報 = モバイルオーダーによってデータ化された情報
  5. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側

    スタートアップなのになぜ分析基盤が必要? プロダクト特性的に必要
  6. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側

    プロダクト特性 • プロダクト特性 1:集計データのオペレーション利用 ◦ 集計データは日々の経理業務等のオペレーションに利用される ▪ 売上、消費税、監査情報 etc ◦ プラットフォーマー故に正確で常にアクセス可能な集計データが求められる! ▪ 集計ロジックが分散すると各所で数値が合致しなくなる • プロダクト特性 2:データに要求される適時性の幅広さ ◦ リアルタイムに必要なデータからデイリーバッチでも許されるデータまで幅広い ◦ 様々な適時性に対応できるような仕組みが必要 • プロダクト特性 3:コンパウンドなプロダクト群 ◦ 各プロダクトがそれぞれのデータを持っている ◦ MO-POS ドメインを中心に、それらのデータをつなぎ合わせて価値を生みたい
  7. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側

    データ分析基盤構築の戦略 • 戦略 1:Dataform による ELT 基盤の構築 ◦ プロダクト特性に合わせて ELT 基盤を開発 ◦ もともとダイニーは Full-Stack TypeScript 戦略 ◦ @dataform/core が TypeScript 製なので親和性 ⭕ • 戦略 2:Full Google Cloud ◦ もともと DB からアプリケーションサーバー、ウェアハウスまですべて Google Cloud ◦ データガバナンスも基本的にすべて Google Cloud に乗っかって運用する戦略 ◦ 具体的には Datastream, Dataplex, Data Catalog ▪ Datastream によって高い即時性を担保 • 戦略 3:データメッシュ ◦ ドメインが増え続ける中分析基盤がスケールする仕組みが必要 ◦ 小規模ながらデータメッシュを採用 ▪ 詳しくはこちらの資料に
  8. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側

    アーキテクチャ 戦略1:Dataform による ELT 基盤構築 • Dataform で Warehouse/Mart を定義 • GitHub Actions からスケジュール実行
  9. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側

    アーキテクチャ 戦略2:Full Google Cloud • すべて BigQuery 上に構築 • Datastream による ニアリアルタイム分析
  10. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側

    アーキテクチャ 戦略3:データメッシュ • ドメインごとにデータを管理 • Dataplex を中心としてプラットフォーム を構築
  11. 株式会社 ダイニー © 2024 Dinii Inc. データ分析基盤 ENECHANGE Meetup データ基盤構築の裏側

    伸びしろ (の一部) • Dataform エコシステムへのコミット ◦ Google Cloud に買収されたとはいえ、dbt に比べるとエコシステムが小さい ◦ 不足している領域は積極的にコミットして埋めていく意志が必要 💪 • リアルタイムデータと分析データのロジック分散 ◦ Datastream である程度即時性が担保されているが、よりリアルタイムなデータが必 要な領域もある ◦ RDB からクエリするしかないが、データソースが違うので必ずロジックが分散する ◦ 数値がずれうるのをどうやって解決するか?
  12. 株式会社 ダイニー © 2024 Dinii Inc. まとめとお知らせ ENECHANGE Meetup データ基盤構築の裏側

    まとめ • スタートアップではあるが、プロダクト特性的にデータ分析基盤が必要だった • すでに社内にあったナレッジを元にアーキテクチャを選定 ◦ TypeScript/Google Cloud → Dataform ◦ Google Cloud → Datastream, Dataplex, Data Catalog • とはいえまだまだ伸びしろがたくさん! ◦ ダイニーの Data Team では積極採用中です 🔥
  13. 株式会社 ダイニー © 2024 Dinii Inc. まとめとお知らせ ENECHANGE Meetup データ基盤構築の裏側

    We’re hiring! • Data Team はもちろん、各ドメインでプロダクト開発メンバー募集中 🔥 ◦ カジュアル面談からお声がけください! ◦ DM 等直接連絡も Welcome https://hrmos.co/pages/dinii
  14. 株式会社 ダイニー © 2024 Dinii Inc. お知らせ - ダイニー体験会 ENECHANGE

    Meetup データ基盤構築の裏側 まとめとお知らせ https://dinii.connpass.com/event/335949/