Upgrade to Pro — share decks privately, control downloads, hide ads and more …

不動産情報サイトにおけるリアルタイムデータ分析基盤の活用

Red Frasco
December 07, 2023

 不動産情報サイトにおけるリアルタイムデータ分析基盤の活用

2023/12/07 に開催された Jagu'e'r(Japan Google Cloud Usergroup for Enterprise)データ利活用分科会 LT 大会の登壇資料です。

Red Frasco

December 07, 2023

Transcript

16 slides
  1. 自己紹介 杉山 隆(Takashi Sugiyama) 3 • 所属 • 株式会社Red Frasco

    • 職種 • データエンジニア/MLエンジニア • 技術 • Google Cloud, Python, Golang • よく使うGCPサービス • Cloud Composer, Dataflow, Dataproc, BigQuery, ...
  2. なぜリアルタイムデータが必要なのか(2/2) • Google アナリティクスでは要件を満たせなかった • BigQuery Export 機能 • エクスポートされるタイミングが遅い(要件定義時は翌日午後)

    • 最近早くなってきた(翌日早朝)が、それでも要件を満たしていない • ストリーミングエクスポート機能 • 翌日以降にエクスポートされたレコードと比較すると、2〜3割程度のレコード欠 損がある?(※今回の対象サイトだけかもしれません。ご参考まで。) • 将来的には GA からリアルタイムデータへの移行を検討 • UA → GA4 の移行に伴う作業が大変だった・・・ 7
  3. 分析基盤のシステム構成(5/6) • ログの保存先は2つ • Cloud Run → Bigtable • ログをすぐに利用したい場合の保存先

    • 過去2日分を保存 • Cloud Run → Pub/Sub → Dataflow → BigQuery • 通常利用の保存先 • 過去分全てを保存 12

More Decks by Red Frasco

Other Decks in Technology