Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
dbtでGA4の生ログを扱いやすくする話
Search
Hirokazu Kobayashi
February 16, 2023
Technology
2
1.5k
dbtでGA4の生ログを扱いやすくする話
2023-02-16に開催したJagu'e'r分科会でのLT発表スライドです
Hirokazu Kobayashi
February 16, 2023
Tweet
Share
More Decks by Hirokazu Kobayashi
See All by Hirokazu Kobayashi
dbtでアトリビューション分析
hiro_koba_jp
0
1.3k
Data Engineering Study #16 LT troccoデータカタログ
hiro_koba_jp
0
310
trocco Summer Update 2022 - 「dbt連携/グループ機能リニューアル」他ご紹介
hiro_koba_jp
0
400
DES#13 troccoデータカタログ&PdM募集
hiro_koba_jp
0
150
データマネジメントを実現するためのサービス・OSSまとめ
hiro_koba_jp
0
620
広告・マーケROIを可視化するためにETL/データ整備した話
hiro_koba_jp
0
1.7k
AWS ETL祭り - AWS Glue活用事例@primeNumber
hiro_koba_jp
6
6.2k
Other Decks in Technology
See All in Technology
Foundation Model × VisionKit で実現するローカル OCR
sansantech
PRO
0
280
ホリスティックテスティングの右側も大切にする 〜2つの[はか]る〜 / Holistic Testing: Right Side Matters
nihonbuson
PRO
0
570
Tableau API連携の罠!?脱スプシを夢見たはずが、逆に依存を深めた話
cuebic9bic
3
200
【CEDEC2025】『Shadowverse: Worlds Beyond』二度目のDCG開発でゲームをリデザインする~遊びやすさと競技性の両立~
cygames
PRO
1
290
大規模イベントに向けた ABEMA アーキテクチャの遍歴 ~ Platform Strategy 詳細解説 ~
nagapad
0
180
【CEDEC2025】大規模言語モデルを活用したゲーム内会話パートのスクリプト作成支援への取り組み
cygames
PRO
2
760
ビジネス文書に特化した基盤モデル開発 / SaaSxML_Session_2
sansan_randd
0
250
Kiroから考える AIコーディングツールの潮流
s4yuba
4
650
猫でもわかるQ_CLI(CDK開発編)+ちょっとだけKiro
kentapapa
0
3.4k
「育てる」サーバーレス 〜チーム開発研修で学んだ、小さく始めて大きく拡張するAWS設計〜
yu_kod
1
250
反脆弱性(アンチフラジャイル)とデータ基盤構築
cuebic9bic
2
160
LIFF CLIとngrokを使ったLIFF/LINEミニアプリのお手軽実機確認
diggymo
0
230
Featured
See All Featured
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
420
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Docker and Python
trallard
45
3.5k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Navigating Team Friction
lara
188
15k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Git: the NoSQL Database
bkeepers
PRO
431
65k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
540
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
GitHub's CSS Performance
jonrohan
1031
460k
Transcript
GA4 x dbt Jagu'e'r LT 2023/02 GA4の生ログの弱点と、それを補うdbtパッケージを試してみ た
小林 寛和 株式会社primeNumber 取締役執行役員 CPO hiro_koba_jp 慶應義塾大学卒業後、2014年より株式会社リブセンス へ入社し、データエンジニアとして同社分析基盤 立ち上げをリード。 trocco®のプロダクト発案者で、現プロダクト責任者。
Data Engineering Studyの共同主催者も務める。
Agenda GA4の生ログの概要と、課題 1 dbtでGA4の生ログをより使いやすく 2 まとめ 3
GA4の生ログの概要と、課題
GA4のさまざまな使い方 Google AnalyticsのブラウザUIから見る Looker Studioとかでつないで可視化する GA4のBigQuery Exportを使い、生ログからデータ分析 ©2023 primeNumber Inc.
All Rights Reserved. Confidential. 5
GA4のさまざまな使い方 Google AnalyticsのブラウザUIから見る Looker Studioとかでつないで可視化する GA4のBigQuery Exportを使い、生ログからデータ分析 ©2023 primeNumber Inc.
All Rights Reserved. Confidential. 6
GA4の生ログの弱点 データ構造が扱いにくい event_timestampがUNIXTIMEなので変換が必要 ログがいつ来るのか分からない・タイムラグがある ©2023 primeNumber Inc. All Rights Reserved.
Confidential. 7
データ構造が扱いにくい
集計しようとすると・・・
GA4の生ログを使いやすくするために、 dbtというツールを使ってみた
先程の弱点を解決するには ひたすらクエリで頑張る 1 扱いやすい形に整形してから使う 2 ©2023 primeNumber Inc. All Rights
Reserved. Confidential. 11
先程の弱点を解決するには ひたすらクエリで頑張る 1 扱いやすい形に整形してから使う 2 ©2023 primeNumber Inc. All Rights
Reserved. Confidential. 12
データウェアハウス層を作っ て 扱いやすくしたい もう少し専門用語でいうと ©2023 primeNumber Inc. All Rights Reserved.
Confidential. 13
GA4のスキーマなんて全世界共通なんだし、 誰かがいい感じの作ってくれてるんじゃない の?
dbt-ga4なるものが!!!
とりあえず使ってみ た
導入手順 dbtのプロジェクトを作る packages.ymlにdbt-ga4パッケージを追加 dbt_project.ymlでご自身のGA4の設定を記載 dbt deps実行 dbt build実行 1 2
3 4 5 ©2023 primeNumber Inc. All Rights Reserved. Confidential. 17
めちゃくちゃ楽
成果物を、もう少し詳し く
全体像 BigQuery Export GA4 BigQuery生ログテーブル (データレイク層) 整形後のテーブル (データウェアハウス 層) dbt-ga4
©2023 primeNumber Inc. All Rights Reserved. Confidential. 20
None
None
スタースキーマっぽくなってる dim_sessions dim_users fct_session fct_pages ©2023 primeNumber Inc. All Rights
Reserved. Confidential. 23
None
None
None
できればこうして欲しかった 1行がページビュー単位など、イベント別にテ ーブルを用意する dim_sessionに情報もたせ過ぎない パーティショニング対応 タイムラグ問題は解決していない・・・ 探索的な分析をする最小粒度なので デバイスや国・地域などもディメンションテーブル化 ©2023 primeNumber
Inc. All Rights Reserved. Confidential. 27
最後に宣伝を・・・
None
trocco「Web行動ログ収集SDK」 Web分析に必要なデータを取得 1タグでPV、イベント、メール開封ログなどが収集可能 GAと同じデータが生ログで、任意のDWHに蓄積 セッションやチャネルの定義はGAを踏襲 お好きなDWH(BigQuery/Redshift)に10分以内に転送 BigQueryのパーティショニングにも各種対応 広告アトリビューション分析が可能 重複のない、正確なコンバージョン数の集計に必要な アトリビューション分析が行なえます。
広告アトリビューション分析の詳細は担当営業まで お問い合わせ下さい ©2023 primeNumber Inc. All Rights Reserved. Confidential. 30
この辺の話に興味ある方、つながってくださ い! (DMもウェルカムです) Twitter: @hiro_koba_jp ©2023 primeNumber Inc. All Rights
Reserved. Confidential. 31
ご清聴ありがとうございました