Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google Cloudで作るニアリアルタイムアクセス解析基盤 GDG DevFest Tok...
Search
yumu
November 29, 2024
0
3.4k
Google Cloudで作るニアリアルタイムアクセス解析基盤 GDG DevFest Tokyo 2024 LT
yumu
November 29, 2024
Tweet
Share
More Decks by yumu
See All by yumu
影響を広げる力研修 GMOペパボ2025新卒エンジニア研修
yumu
0
7
分散オブジェクトで遊ぼう!〜dRubyで作るマルチプレイヤー迷路ゲーム〜 関西Ruby会議08
yumu
1
1.1k
Ruby×AWSで作る動画変換システム 東京Ruby会議12
yumu
2
3.4k
アクセス解析基盤のデータストア選定奮闘記 CloudNative Days Winter 2024 船上LT会
yumu
0
200
minneのShoryuken活用 Kaigi on Rails 2024 スポンサーLT
yumu
3
2k
Rubyでも動画変換簡単にできるよ TokyuRuby会議15スポンサーLT
yumu
0
150
文系の私が新卒エンジニアになるまで
yumu
3
1k
Featured
See All Featured
Producing Creativity
orderedlist
PRO
347
40k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.9k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
113
20k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Context Engineering - Making Every Token Count
addyosmani
3
63
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Git: the NoSQL Database
bkeepers
PRO
431
66k
Imperfection Machines: The Place of Print at Facebook
scottboms
268
13k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.1k
A better future with KSS
kneath
239
17k
Making Projects Easy
brettharned
117
6.4k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
Transcript
Google Cloudで作る ニアリアルタイムアクセス解析基盤 yumu 2024.11.30 GDG DevFest Tokyo 2024 1
2 自己紹介 GMOペパボ minne事業部 プロダクト開発チーム 2023年 新卒入社 湯村 美吹香 Yumura Mifuka バックエンドが主戦場ですが、フロントやインフラもや
ります!クラウドネイティブになりたい。 • あだ名 : yumu • 好きな漫画 : メイドインアビス • X : @myumura3
3 minneの仕組み minneとは minne(ミンネ)は、ハンドメイド作品を「買いたい人」と「売りたい人」をつなぐ国内最大 のハンドメイドマーケットです。パソコンやスマートフォンを使って、簡単にハンドメイド作 品を販売・購入できます。
4 これまでのアクセス解析
5 アクセス解析リニューアルの背景 • データ反映が1日おき • 表示できる指標が限定的 これまでの課題 理想の姿 • リアルタイムで数値を確認
• より多くの指標を提供
6 既存のログ収集基盤 Rails App Fluentd Pub/Sub Dataflow BigQuery ・・・ minne
・・・ bigfoot
7 ニアリアルタイムアクセス解析のアーキテクチャ Pub/Sub Topic Pub/Sub Subscription Cloud Function Cloud Firestore
・・・ minne ・・・ bigfoot 行動ログをチェッ ク 値を格納 行動ログを GCFへpush
8 速報値と確定値の2段階構成 Pub/Sub Topic Pub/Sub Subscription Cloud Function Cloud Firestore
・・・ minne ・・・ bigfoot BigQuery DAGが行動ログを 集計 ・・・ minne ・・・ bigfoot 確定値 速報値
9 システムの特徴 • リアルタイム性 ◦ 数分以内での更新を実現 • 信頼性 ◦ メッセージングの信頼性
◦ データの整合性 • 運用コスト・スケーラビリティ ◦ フルマネージドサービスの利点 • コスト🤔 ◦ GCFの実行回数の分コストがかかる
10 新しいアクセス解析
11 Thank You! Thank You!