Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google Cloudで作るニアリアルタイムアクセス解析基盤 GDG DevFest Tok...
Search
yumu
November 29, 2024
0
3.4k
Google Cloudで作るニアリアルタイムアクセス解析基盤 GDG DevFest Tokyo 2024 LT
yumu
November 29, 2024
Tweet
Share
More Decks by yumu
See All by yumu
影響を広げる力研修 GMOペパボ2025新卒エンジニア研修
yumu
0
4
分散オブジェクトで遊ぼう!〜dRubyで作るマルチプレイヤー迷路ゲーム〜 関西Ruby会議08
yumu
1
1.1k
Ruby×AWSで作る動画変換システム 東京Ruby会議12
yumu
2
3.4k
アクセス解析基盤のデータストア選定奮闘記 CloudNative Days Winter 2024 船上LT会
yumu
0
200
minneのShoryuken活用 Kaigi on Rails 2024 スポンサーLT
yumu
3
2k
Rubyでも動画変換簡単にできるよ TokyuRuby会議15スポンサーLT
yumu
0
140
文系の私が新卒エンジニアになるまで
yumu
3
1k
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
74
5k
The Language of Interfaces
destraynor
161
25k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
What's in a price? How to price your products and services
michaelherold
246
12k
Side Projects
sachag
455
43k
Designing Experiences People Love
moore
142
24k
GraphQLの誤解/rethinking-graphql
sonatard
72
11k
The Cult of Friendly URLs
andyhume
79
6.6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Git: the NoSQL Database
bkeepers
PRO
431
66k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Transcript
Google Cloudで作る ニアリアルタイムアクセス解析基盤 yumu 2024.11.30 GDG DevFest Tokyo 2024 1
2 自己紹介 GMOペパボ minne事業部 プロダクト開発チーム 2023年 新卒入社 湯村 美吹香 Yumura Mifuka バックエンドが主戦場ですが、フロントやインフラもや
ります!クラウドネイティブになりたい。 • あだ名 : yumu • 好きな漫画 : メイドインアビス • X : @myumura3
3 minneの仕組み minneとは minne(ミンネ)は、ハンドメイド作品を「買いたい人」と「売りたい人」をつなぐ国内最大 のハンドメイドマーケットです。パソコンやスマートフォンを使って、簡単にハンドメイド作 品を販売・購入できます。
4 これまでのアクセス解析
5 アクセス解析リニューアルの背景 • データ反映が1日おき • 表示できる指標が限定的 これまでの課題 理想の姿 • リアルタイムで数値を確認
• より多くの指標を提供
6 既存のログ収集基盤 Rails App Fluentd Pub/Sub Dataflow BigQuery ・・・ minne
・・・ bigfoot
7 ニアリアルタイムアクセス解析のアーキテクチャ Pub/Sub Topic Pub/Sub Subscription Cloud Function Cloud Firestore
・・・ minne ・・・ bigfoot 行動ログをチェッ ク 値を格納 行動ログを GCFへpush
8 速報値と確定値の2段階構成 Pub/Sub Topic Pub/Sub Subscription Cloud Function Cloud Firestore
・・・ minne ・・・ bigfoot BigQuery DAGが行動ログを 集計 ・・・ minne ・・・ bigfoot 確定値 速報値
9 システムの特徴 • リアルタイム性 ◦ 数分以内での更新を実現 • 信頼性 ◦ メッセージングの信頼性
◦ データの整合性 • 運用コスト・スケーラビリティ ◦ フルマネージドサービスの利点 • コスト🤔 ◦ GCFの実行回数の分コストがかかる
10 新しいアクセス解析
11 Thank You! Thank You!