Upgrade to Pro — share decks privately, control downloads, hide ads and more …

dbtでGA4の生ログを扱いやすくする話

Avatar for Hirokazu Kobayashi Hirokazu Kobayashi
February 16, 2023
Technology
1.9k
2

 dbtでGA4の生ログを扱いやすくする話

2023-02-16に開催したJagu'e'r分科会でのLT発表スライドです

Avatar for Hirokazu Kobayashi

Hirokazu Kobayashi

February 16, 2023

More Decks by Hirokazu Kobayashi

See All by Hirokazu Kobayashi
dbtでアトリビューション分析
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
1.8k
Data Engineering Study #16 LT troccoデータカタログ
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
350
trocco Summer Update 2022 - 「dbt連携/グループ機能リニューアル」他ご紹介
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
460
DES#13 troccoデータカタログ＆PdM募集
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
180
データマネジメントを実現するためのサービス・OSSまとめ
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
680
広告・マーケROIを可視化するためにETL/データ整備した話
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
1.9k
AWS ETL祭り - AWS Glue活用事例@primeNumber
Avatar for Hirokazu Kobayashi hiro_koba_jp
6
6.5k

Other Decks in Technology

See All in Technology
Bet AI Day 2026丨How We Bet AI: AIとともに働く場をつくる
Avatar for LayerX layerx
PRO
2
2.7k
Tab5をRubyで動くパソコンにする
Avatar for Katsuhiko Kageyama kishima
1
250
Bet AI Day 2026丨バクラク Autopilot、業務システムの再設計
Avatar for LayerX layerx
PRO
2
1.6k
ブラウザアプリの継続的パフォーマンスモニタリング (序) / Continuous Browser Application Performance Monitoring; Act 1
Avatar for moznion moznion
0
110
20260903 Tokyo Jazug Night #62 | Azure エンジニアよ、 その環境は本当にセキュアか？
Avatar for Olivia olivia_0707
1
630
ペアプロの価値はコードを書くことだけじゃない
Avatar for コドモン開発チーム codmoninc
PRO
0
130
[DroidKaigi 2026] Making UI specifications visible: Android UI development in the AI agent era supported by Compose Screenshot Testing and galleries
Avatar for syarihu syarihu
0
600
Azure App Service / Container Apps の組み込み認証
Avatar for Kuniteru Asami kuniteru
0
210
WAF 運用改善の承認サイクル/SRE_BizReach_MIXI_1
Avatar for Visional Engineering ＆ Design visional_engineering_and_design
1
330
なぜSRE・セキュリティは評価されないのか？守りの組織を事業成長エンジンに変えた実践
Avatar for サイバーセキュリティクラウド cscengineer
PRO
3
2.3k
Backstageでつくるセルフサービスな社内開発基盤
Avatar for Sakazaki Kikunosuke kikunosuke75
1
350
プロダクト思考 × 基盤思考を AIで実現する Compound Engineering
Avatar for Watanabe Takeshi(Buzz) tkc66buzz
1
280

Featured

See All Featured
Fantastic passwords and where to find them - at NoRuKo
Avatar for Phil Nash philnash
52
3.8k
The browser strikes back
Avatar for Jono Alderson jonoalderson
0
1.6k
Max Prin - Stacking Signals: How International SEO Comes Together (And Falls Apart)
Avatar for Tech SEO Connect techseoconnect
PRO
0
450
Keith and Marios Guide to Fast Websites
Avatar for Keith Pitt keithpitt
413
23k
Into the Great Unknown - MozCon
Avatar for Noah Learner thekraken
41
2.7k
Rebuilding a faster, lazier Slack
Avatar for samanthasiow samanthasiow
85
9.6k
Groundhog Day: Seeking Process in Gaming for Health
Avatar for Sebastian Deterding codingconduct
0
330
Getting science done with accelerated Python computing platforms
Avatar for Jacob Tomlinson jacobtomlinson
2
470
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
Avatar for Rebecca Miller-Webster rmw
35
3.8k
The Illustrated Guide to Node.js - THAT Conference 2024
Avatar for David Neal reverentgeek
1
470
Designing Dashboards & Data Visualisations in Web Apps
Avatar for Des Traynor destraynor
232
55k
A Guide to Academic Writing Using Generative AI - A Workshop
Avatar for Kenji Saito ks91
PRO
1
420

Transcript

  1. GA4 x dbt Jagu'e'r LT 2023/02 GA4の生ログの弱点と、それを補うdbtパッケージを試してみ た

  2. 小林 寛和 株式会社primeNumber 取締役執行役員 CPO hiro_koba_jp 慶應義塾大学卒業後、2014年より株式会社リブセンス へ入社し、データエンジニアとして同社分析基盤 立ち上げをリード。 trocco®のプロダクト発案者で、現プロダクト責任者。

    Data Engineering Studyの共同主催者も務める。

  3. Agenda GA4の生ログの概要と、課題 1 dbtでGA4の生ログをより使いやすく 2 まとめ 3

  4. GA4の生ログの概要と、課題

  5. GA4のさまざまな使い方 Google AnalyticsのブラウザUIから見る Looker Studioとかでつないで可視化する GA4のBigQuery Exportを使い、生ログからデータ分析 ©2023 primeNumber Inc.

    All Rights Reserved. Confidential. 5

  6. GA4のさまざまな使い方 Google AnalyticsのブラウザUIから見る Looker Studioとかでつないで可視化する GA4のBigQuery Exportを使い、生ログからデータ分析 ©2023 primeNumber Inc.

    All Rights Reserved. Confidential. 6

  7. GA4の生ログの弱点 データ構造が扱いにくい event_timestampがUNIXTIMEなので変換が必要 ログがいつ来るのか分からない・タイムラグがある ©2023 primeNumber Inc. All Rights Reserved.

    Confidential. 7

  8. データ構造が扱いにくい

  9. 集計しようとすると・・・

  10. GA4の生ログを使いやすくするために、 dbtというツールを使ってみた

  11. 先程の弱点を解決するには ひたすらクエリで頑張る 1 扱いやすい形に整形してから使う 2 ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 11

  12. 先程の弱点を解決するには ひたすらクエリで頑張る 1 扱いやすい形に整形してから使う 2 ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 12

  13. データウェアハウス層を作っ て 扱いやすくしたい もう少し専門用語でいうと ©2023 primeNumber Inc. All Rights Reserved.

    Confidential. 13

  14. GA4のスキーマなんて全世界共通なんだし、 誰かがいい感じの作ってくれてるんじゃない の？

  15. dbt-ga4なるものが！！！

  16. とりあえず使ってみ た

  17. 導入手順 dbtのプロジェクトを作る packages.ymlにdbt-ga4パッケージを追加 dbt_project.ymlでご自身のGA4の設定を記載 dbt deps実行 dbt build実行 1 2

    3 4 5 ©2023 primeNumber Inc. All Rights Reserved. Confidential. 17

  18. めちゃくちゃ楽

  19. 成果物を、もう少し詳し く

  20. 全体像 BigQuery Export GA4 BigQuery生ログテーブル (データレイク層) 整形後のテーブル (データウェアハウス 層) dbt-ga4

    ©2023 primeNumber Inc. All Rights Reserved. Confidential. 20
  21. None
  22. None

  23. スタースキーマっぽくなってる dim_sessions dim_users fct_session fct_pages ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 23
  24. None
  25. None
  26. None

  27. できればこうして欲しかった 1行がページビュー単位など、イベント別にテ ーブルを用意する dim_sessionに情報もたせ過ぎない パーティショニング対応 タイムラグ問題は解決していない・・・ 探索的な分析をする最小粒度なので デバイスや国・地域などもディメンションテーブル化 ©2023 primeNumber

    Inc. All Rights Reserved. Confidential. 27

  28. 最後に宣伝を・・・

  29. None

  30. trocco「Web行動ログ収集SDK」 Web分析に必要なデータを取得 1タグでPV、イベント、メール開封ログなどが収集可能 GAと同じデータが生ログで、任意のDWHに蓄積 セッションやチャネルの定義はGAを踏襲 お好きなDWH（BigQuery/Redshift）に10分以内に転送 BigQueryのパーティショニングにも各種対応 広告アトリビューション分析が可能 重複のない、正確なコンバージョン数の集計に必要な アトリビューション分析が行なえます。

    広告アトリビューション分析の詳細は担当営業まで お問い合わせ下さい ©2023 primeNumber Inc. All Rights Reserved. Confidential. 30

  31. この辺の話に興味ある方、つながってくださ い！ (DMもウェルカムです) Twitter: @hiro_koba_jp ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 31

  32. ご清聴ありがとうございました