Google Cloudで作るニアリアルタイムアクセス解析基盤 GDG DevFest Tokyo 2024 LT

1. Google Cloudで作る ニアリアルタイムアクセス解析基盤 yumu 2024.11.30 GDG DevFest Tokyo 2024 1
2. 2 自己紹介 GMOペパボ　minne事業部　プロダクト開発チーム 2023年 新卒入社 湯村 美吹香 Yumura Mifuka バックエンドが主戦場ですが、フロントやインフラもや ります！クラウドネイティブになりたい。 • あだ名 ： yumu • 好きな漫画 : メイドインアビス • X : @myumura3
3. 3 minneの仕組み minneとは minne（ミンネ）は、ハンドメイド作品を「買いたい人」と「売りたい人」をつなぐ国内最大 のハンドメイドマーケットです。パソコンやスマートフォンを使って、簡単にハンドメイド作 品を販売・購入できます。
4. 4 これまでのアクセス解析
5. 5 アクセス解析リニューアルの背景 • データ反映が１日おき • 表示できる指標が限定的 これまでの課題 理想の姿 • リアルタイムで数値を確認 • より多くの指標を提供
6. 6 既存のログ収集基盤 Rails App Fluentd Pub/Sub Dataflow BigQuery ・・・ minne ・・・ bigfoot
7. 7 ニアリアルタイムアクセス解析のアーキテクチャ Pub/Sub Topic Pub/Sub Subscription Cloud Function Cloud Firestore ・・・ minne ・・・ bigfoot 行動ログをチェッ ク 値を格納 行動ログを GCFへpush
8. 8 速報値と確定値の2段階構成 Pub/Sub Topic Pub/Sub Subscription Cloud Function Cloud Firestore ・・・ minne ・・・ bigfoot BigQuery DAGが行動ログを 集計 ・・・ minne ・・・ bigfoot 確定値 速報値
9. 9 システムの特徴 • リアルタイム性󰢐 ◦ 数分以内での更新を実現 • 信頼性󰢐 ◦ メッセージングの信頼性 ◦ データの整合性 • 運用コスト・スケーラビリティ󰢐 ◦ フルマネージドサービスの利点 • コスト🤔 ◦ GCFの実行回数の分コストがかかる
10. 10 新しいアクセス解析
11. 11 Thank You! Thank You!