Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
不動産情報サイトにおけるリアルタイムデータ分析基盤の活用
Search
Red Frasco
December 07, 2023
Technology
1
140
不動産情報サイトにおけるリアルタイムデータ分析基盤の活用
2023/12/07 に開催された Jagu'e'r(Japan Google Cloud Usergroup for Enterprise)データ利活用分科会 LT 大会の登壇資料です。
Red Frasco
December 07, 2023
Tweet
Share
More Decks by Red Frasco
See All by Red Frasco
バッチ処理が終わらない!? -処理時間を90%削減した話-
red_frasco
1
120
不動産情報サイトにおけるデータ収集で頑張ったこと
red_frasco
0
150
コストに関するヒヤリハットのお話 ~コスト超過で手遅れにならないためにすべきこと~
red_frasco
0
230
Spring Boot 2 から 3 へバージョンアップしてみた
red_frasco
4
12k
チーム一丸となって信頼性向上! 多種多様な監視でサイトを守る取り組みの紹介
red_frasco
1
1.2k
Red Frasco 会社紹介
red_frasco
3
9.6k
AWS環境におけるSpring BootアプリケーションのCI/CDをCircleCIで構築した話
red_frasco
2
480
Feature 環境の自動生成と Blue Green Deployment で効率的かつ安全なリリースプロセスを構築
red_frasco
1
270
AWS Batch × Spring Batch でクラウド最適なバッチを構築した話
red_frasco
1
1.1k
Other Decks in Technology
See All in Technology
Luupの開発組織におけるインシデントマネジメントの変遷 ver.RoadtoSRENEXT2024
grimoh
1
270
How to Think Like a Performance Engineer
csswizardry
4
590
大規模ドラレコデータ収集・機械学習基盤を支える AWS CDK 〜導入・運用事例紹介〜
pemugi
0
110
簡単に始めるSnowflakeの機械学習
nayuts
1
190
開発生産性をむしろ向上させる セキュリティパートナーの作り方 / Dev Productivity Con 2024
flatt_security
0
360
[I/O Extended Android 2024] What`s new in Android 2024
kyeongwan
0
220
ギークの理想が7つ集まるエムスリーで夢を叶えよう - エムスリー株式会社
m3_engineering
1
260
20240717_イケコパ代表Copilot_in_Teams会社でこう使ってます
ponponmikankan
2
430
シフトレフトで挑む セキュリティの生産性向上
sekido
PRO
0
270
LLMアプリケーションの評価の実践と課題 ~PharmaXにおける今後の展望~
pharma_x_tech
2
160
Azure Pipelinesを使用したCICDベースラインアーキテクチャ実践
yuriemori
0
190
コンテナ・K8s研修 - 前半 コンテナ基礎・ハンズオン【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
170
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
15
4.9k
Scaling GitHub
holman
458
140k
Designing Experiences People Love
moore
136
23k
Bash Introduction
62gerente
607
210k
Optimizing for Happiness
mojombo
373
69k
Faster Mobile Websites
deanohume
303
30k
It's Worth the Effort
3n
181
27k
The Language of Interfaces
destraynor
151
23k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
A designer walks into a library…
pauljervisheath
201
24k
Automating Front-end Workflow
addyosmani
1362
200k
Gamification - CAS2011
davidbonilla
78
4.9k
Transcript
ෆಈ࢈ใαΠτʹ͓͚Δ ϦΞϧλΠϜσʔλੳج൫ͷ׆༻ Jagu'e'r データ利活⽤分科会 LT⼤会 2023.12.07
⽬次 1. ⾃⼰紹介/弊社紹介 2. 本⽇話すこと/話さないこと 3. なぜリアルタイムデータが必要なのか 4. 分析基盤のシステム構成 5.
リアルタイムデータの活⽤⽅法 6. その他
⾃⼰紹介 杉⼭ 隆(Takashi Sugiyama) 3 • 所属 • 株式会社Red Frasco
• 職種 • データエンジニア/MLエンジニア • 技術 • Google Cloud, Python, Golang • よく使うGCPサービス • Cloud Composer, Dataflow, Dataproc, BigQuery, ...
株式会社Red Frasco • https://www.red-frasco.com/ • 不動産業界に特化したプロダクト開発・集客⽀援を実施 • 今回はとある 賃貸不動産情報サイトのデータ分析基盤 のお話
4
本⽇話すこと/話さないこと • 話すこと • データ分析基盤内のリアルタイムデータについて • ⽬的、取得⽅法、活⽤⽅法・・・等 • 話さないこと •
データ分析基盤のその他の仕組み • データパイプライン、DWH、BI・・・等 5
なぜリアルタイムデータが必要なのか(1/2) • 賃貸不動産情報サイトにおけるユーザーの⾏動パターン • ほとんどのユーザは初回訪問でコンバージョン(Web での問い合わせ 等)する • そのためセッション内での訴求が重要となり、⾏動ログ等のユーザ データをリアルタイムで取得、さらにセッション内の⾏動を計測でき
るようにすることが望まれる 6
なぜリアルタイムデータが必要なのか(2/2) • Google アナリティクスでは要件を満たせなかった • BigQuery Export 機能 • エクスポートされるタイミングが遅い(要件定義時は翌⽇午後)
• 最近早くなってきた(翌⽇早朝)が、それでも要件を満たしていない • ストリーミングエクスポート機能 • 翌⽇以降にエクスポートされたレコードと⽐較すると、2〜3割程度のレコード⽋ 損がある︖(※今回の対象サイトだけかもしれません。ご参考まで。) • 将来的には GA からリアルタイムデータへの移⾏を検討 • UA → GA4 の移⾏に伴う作業が⼤変だった・・・ 7
分析基盤のシステム構成(1/6) 全体構成 8
分析基盤のシステム構成(2/6) 本⽇話す内容はここ︕ 9
分析基盤のシステム構成(3/6) 拡⼤ + 開発中の機能も表⽰ 10
分析基盤のシステム構成(4/6) • ログを取得する仕組みは API で提供 • アプリケーション側に極⼒⼿が⼊らないように • 開発チームとの分離 •
バックエンドは Cloud Run で構築 • 運⽤が楽︕ 11
分析基盤のシステム構成(5/6) • ログの保存先は2つ • Cloud Run → Bigtable • ログをすぐに利⽤したい場合の保存先
• 過去2⽇分を保存 • Cloud Run → Pub/Sub → Dataflow → BigQuery • 通常利⽤の保存先 • 過去分全てを保存 12
分析基盤のシステム構成(6/6) • 当初は Bigtable ではなく Firestore を利⽤していたが 書き込みエラーが多く出たため変更 • エラー原因は結局分からず・・・
• 「500/50/5」ルールはきちんと守っていた・・・はず・・・ 13
リアルタイムデータの活⽤⽅法 • レコメンド機能 • ユーザーの⾏動ログを基にした User-to-Item レコメンド • 直近(同⼀セッション内)の⾏動ログを特徴量として使⽤ •
鋭意開発中︕ 14
その他 • その他の機能も機会があれば話させてください︕ もしくは懇親会で︕ • Embedding を使⽤した Item-to-Item レコメンド •
Cloud Composer のノウハウ • Redash on GKE・・・等 15
Thanks for listening!