Google Cloudで作るニアリアルタイムアクセス解析基盤　GDG DevFest Tokyo 2024 LT

Slide 1

Slide 1 text

Google Cloudで作るニアリアルタイムアクセス解析基盤 yumu 2024.11.30 GDG DevFest Tokyo 2024 1

Slide 2

Slide 2 text

2 自己紹介 GMOペパボ　minne事業部　プロダクト開発チーム 2023年新卒入社湯村美吹香 Yumura Mifuka バックエンドが主戦場ですが、フロントやインフラもやります！クラウドネイティブになりたい。 ● あだ名： yumu ● 好きな漫画 : メイドインアビス ● X : @myumura3

Slide 3

Slide 3 text

3 minneの仕組み minneとは minne（ミンネ）は、ハンドメイド作品を「買いたい人」と「売りたい人」をつなぐ国内最大のハンドメイドマーケットです。パソコンやスマートフォンを使って、簡単にハンドメイド作品を販売・購入できます。

Slide 4

Slide 4 text

4 これまでのアクセス解析

Slide 5

Slide 5 text

5 アクセス解析リニューアルの背景 ● データ反映が１日おき ● 表示できる指標が限定的これまでの課題理想の姿 ● リアルタイムで数値を確認 ● より多くの指標を提供

Slide 6

Slide 6 text

6 既存のログ収集基盤 Rails App Fluentd Pub/Sub Dataflow BigQuery ・・・ minne ・・・ bigfoot

Slide 7

Slide 7 text

7 ニアリアルタイムアクセス解析のアーキテクチャ Pub/Sub Topic Pub/Sub Subscription Cloud Function Cloud Firestore ・・・ minne ・・・ bigfoot 行動ログをチェック値を格納行動ログを GCFへpush

Slide 8

Slide 8 text

8 速報値と確定値の2段階構成 Pub/Sub Topic Pub/Sub Subscription Cloud Function Cloud Firestore ・・・ minne ・・・ bigfoot BigQuery DAGが行動ログを集計・・・ minne ・・・ bigfoot 確定値速報値

Slide 9

Slide 9 text

9 システムの特徴 ● リアルタイム性󰢐 ○ 数分以内での更新を実現 ● 信頼性󰢐 ○ メッセージングの信頼性 ○ データの整合性 ● 運用コスト・スケーラビリティ󰢐 ○ フルマネージドサービスの利点 ● コスト🤔 ○ GCFの実行回数の分コストがかかる