Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google Cloudで作るニアリアルタイムアクセス解析基盤 GDG DevFest Tok...
Search
yumu
November 29, 2024
0
3.4k
Google Cloudで作るニアリアルタイムアクセス解析基盤 GDG DevFest Tokyo 2024 LT
yumu
November 29, 2024
Tweet
Share
More Decks by yumu
See All by yumu
影響を広げる力研修 GMOペパボ2025新卒エンジニア研修
yumu
0
5
分散オブジェクトで遊ぼう!〜dRubyで作るマルチプレイヤー迷路ゲーム〜 関西Ruby会議08
yumu
1
1.1k
Ruby×AWSで作る動画変換システム 東京Ruby会議12
yumu
2
3.4k
アクセス解析基盤のデータストア選定奮闘記 CloudNative Days Winter 2024 船上LT会
yumu
0
200
minneのShoryuken活用 Kaigi on Rails 2024 スポンサーLT
yumu
3
2k
Rubyでも動画変換簡単にできるよ TokyuRuby会議15スポンサーLT
yumu
0
140
文系の私が新卒エンジニアになるまで
yumu
3
1k
Featured
See All Featured
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Context Engineering - Making Every Token Count
addyosmani
3
62
Testing 201, or: Great Expectations
jmmastey
45
7.7k
How to train your dragon (web standard)
notwaldorf
96
6.2k
How GitHub (no longer) Works
holman
315
140k
Rails Girls Zürich Keynote
gr2m
95
14k
jQuery: Nuts, Bolts and Bling
dougneiner
64
7.9k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.2k
A Tale of Four Properties
chriscoyier
160
23k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Fireside Chat
paigeccino
39
3.6k
Transcript
Google Cloudで作る ニアリアルタイムアクセス解析基盤 yumu 2024.11.30 GDG DevFest Tokyo 2024 1
2 自己紹介 GMOペパボ minne事業部 プロダクト開発チーム 2023年 新卒入社 湯村 美吹香 Yumura Mifuka バックエンドが主戦場ですが、フロントやインフラもや
ります!クラウドネイティブになりたい。 • あだ名 : yumu • 好きな漫画 : メイドインアビス • X : @myumura3
3 minneの仕組み minneとは minne(ミンネ)は、ハンドメイド作品を「買いたい人」と「売りたい人」をつなぐ国内最大 のハンドメイドマーケットです。パソコンやスマートフォンを使って、簡単にハンドメイド作 品を販売・購入できます。
4 これまでのアクセス解析
5 アクセス解析リニューアルの背景 • データ反映が1日おき • 表示できる指標が限定的 これまでの課題 理想の姿 • リアルタイムで数値を確認
• より多くの指標を提供
6 既存のログ収集基盤 Rails App Fluentd Pub/Sub Dataflow BigQuery ・・・ minne
・・・ bigfoot
7 ニアリアルタイムアクセス解析のアーキテクチャ Pub/Sub Topic Pub/Sub Subscription Cloud Function Cloud Firestore
・・・ minne ・・・ bigfoot 行動ログをチェッ ク 値を格納 行動ログを GCFへpush
8 速報値と確定値の2段階構成 Pub/Sub Topic Pub/Sub Subscription Cloud Function Cloud Firestore
・・・ minne ・・・ bigfoot BigQuery DAGが行動ログを 集計 ・・・ minne ・・・ bigfoot 確定値 速報値
9 システムの特徴 • リアルタイム性 ◦ 数分以内での更新を実現 • 信頼性 ◦ メッセージングの信頼性
◦ データの整合性 • 運用コスト・スケーラビリティ ◦ フルマネージドサービスの利点 • コスト🤔 ◦ GCFの実行回数の分コストがかかる
10 新しいアクセス解析
11 Thank You! Thank You!