Upgrade to Pro — share decks privately, control downloads, hide ads and more …

dbtでGA4の生ログを扱いやすくする話

Avatar for Hirokazu Kobayashi Hirokazu Kobayashi
February 16, 2023
Technology
1.9k
2

 dbtでGA4の生ログを扱いやすくする話

2023-02-16に開催したJagu'e'r分科会でのLT発表スライドです

Avatar for Hirokazu Kobayashi

Hirokazu Kobayashi

February 16, 2023

More Decks by Hirokazu Kobayashi

See All by Hirokazu Kobayashi
dbtでアトリビューション分析
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
1.7k
Data Engineering Study #16 LT troccoデータカタログ
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
340
trocco Summer Update 2022 - 「dbt連携/グループ機能リニューアル」他ご紹介
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
450
DES#13 troccoデータカタログ＆PdM募集
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
180
データマネジメントを実現するためのサービス・OSSまとめ
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
670
広告・マーケROIを可視化するためにETL/データ整備した話
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
1.8k
AWS ETL祭り - AWS Glue活用事例@primeNumber
Avatar for Hirokazu Kobayashi hiro_koba_jp
6
6.5k

Other Decks in Technology

See All in Technology
Head First モブプログラミング / Head First Mobprogramming
Avatar for TAKAKING22 takaking22
10
12k
Software Supply Chain Attackからクラウド環境を守るためにできること
Avatar for LHazy lhazy
2
280
SmartHR Engineering Team Deck
Avatar for SmartHR, Inc. smarthr
1
3k
まちスペース®とデジタルツインと「まちづくり」
Avatar for hiro_OGI hiro_ogi
0
130
平文パスワードはログに“残り” ── 肝心の侵入は“痕跡すら残らない”
Avatar for kuroneko kuroneko13
0
110
SO-101×VLAによる3色キューブのピック＆プレース
Avatar for ABEJA abeja
0
220
【CEDEC2026】Creative Approaches to Localizing the Dialects and Unique Speech of Umamusume: Pretty Derby Characters in English
Avatar for Cygames, Inc. cygames
PRO
3
26k
My broken English still works: speaking at global OSS events
Avatar for Naruhiko Ogasawara naruoga
0
120
現場回帰したデータエンジニアが考える AI 時代のキャリア開発 / Career Development in the Age of AI Perspectives from a Hands-on Data Engineer
Avatar for MEDLEY, INC. medley
0
270
LanceDB入門
Avatar for Tomoko Uchida mocobeta
9
630
Sets in Go
Avatar for Luciano Ramalho ramalho
1
1.1k
20260817_生成AIの動向と中学校・高等学校での活用を考える_v1.00_公開用
Avatar for NobuakiOshiro doradora09
PRO
0
110

Featured

See All Featured
技術選定の審美眼（2025年版） / Understanding the Spiral of Technologies 2025 edition
Avatar for Takuto WADA twada
PRO
120
120k
A Tale of Four Properties
Avatar for Chris Coyier chriscoyier
163
24k
Ten Tips & Tricks for a 🌱 transition
Avatar for Manu Carrasco Molina stuffmc
0
170
A designer walks into a library…
Avatar for Paul Jervis Heath pauljervisheath
211
24k
Sam Torres - BigQuery for SEOs
Avatar for Tech SEO Connect techseoconnect
PRO
0
500
Typedesign – Prime Four
Avatar for Hannes Fritz hannesfritz
42
3.1k
Practical Orchestrator
Avatar for Shlomi Noach shlominoach
191
12k
The innovator’s Mindset - 
Leading Through an Era of Exponential Change - McGill University 2025
Avatar for Jean-Marc De Jonghe jdejongh
PRO
1
260
Marketing Yourself as an Engineer | Alaka | Gurzu
Avatar for Gurzu gurzu
0
280
The Success of Rails: Ensuring Growth for the Next 100 Years
Avatar for Eileen M. Uchitelle eileencodes
47
8.3k
Designing Powerful Visuals for Engaging Learning
Avatar for Mike Taylor tmiket
1
500
Scaling GitHub
Avatar for Zach Holman holman
464
140k

Transcript

  1. GA4 x dbt Jagu'e'r LT 2023/02 GA4の生ログの弱点と、それを補うdbtパッケージを試してみ た

  2. 小林 寛和 株式会社primeNumber 取締役執行役員 CPO hiro_koba_jp 慶應義塾大学卒業後、2014年より株式会社リブセンス へ入社し、データエンジニアとして同社分析基盤 立ち上げをリード。 trocco®のプロダクト発案者で、現プロダクト責任者。

    Data Engineering Studyの共同主催者も務める。

  3. Agenda GA4の生ログの概要と、課題 1 dbtでGA4の生ログをより使いやすく 2 まとめ 3

  4. GA4の生ログの概要と、課題

  5. GA4のさまざまな使い方 Google AnalyticsのブラウザUIから見る Looker Studioとかでつないで可視化する GA4のBigQuery Exportを使い、生ログからデータ分析 ©2023 primeNumber Inc.

    All Rights Reserved. Confidential. 5

  6. GA4のさまざまな使い方 Google AnalyticsのブラウザUIから見る Looker Studioとかでつないで可視化する GA4のBigQuery Exportを使い、生ログからデータ分析 ©2023 primeNumber Inc.

    All Rights Reserved. Confidential. 6

  7. GA4の生ログの弱点 データ構造が扱いにくい event_timestampがUNIXTIMEなので変換が必要 ログがいつ来るのか分からない・タイムラグがある ©2023 primeNumber Inc. All Rights Reserved.

    Confidential. 7

  8. データ構造が扱いにくい

  9. 集計しようとすると・・・

  10. GA4の生ログを使いやすくするために、 dbtというツールを使ってみた

  11. 先程の弱点を解決するには ひたすらクエリで頑張る 1 扱いやすい形に整形してから使う 2 ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 11

  12. 先程の弱点を解決するには ひたすらクエリで頑張る 1 扱いやすい形に整形してから使う 2 ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 12

  13. データウェアハウス層を作っ て 扱いやすくしたい もう少し専門用語でいうと ©2023 primeNumber Inc. All Rights Reserved.

    Confidential. 13

  14. GA4のスキーマなんて全世界共通なんだし、 誰かがいい感じの作ってくれてるんじゃない の？

  15. dbt-ga4なるものが！！！

  16. とりあえず使ってみ た

  17. 導入手順 dbtのプロジェクトを作る packages.ymlにdbt-ga4パッケージを追加 dbt_project.ymlでご自身のGA4の設定を記載 dbt deps実行 dbt build実行 1 2

    3 4 5 ©2023 primeNumber Inc. All Rights Reserved. Confidential. 17

  18. めちゃくちゃ楽

  19. 成果物を、もう少し詳し く

  20. 全体像 BigQuery Export GA4 BigQuery生ログテーブル (データレイク層) 整形後のテーブル (データウェアハウス 層) dbt-ga4

    ©2023 primeNumber Inc. All Rights Reserved. Confidential. 20
  21. None
  22. None

  23. スタースキーマっぽくなってる dim_sessions dim_users fct_session fct_pages ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 23
  24. None
  25. None
  26. None

  27. できればこうして欲しかった 1行がページビュー単位など、イベント別にテ ーブルを用意する dim_sessionに情報もたせ過ぎない パーティショニング対応 タイムラグ問題は解決していない・・・ 探索的な分析をする最小粒度なので デバイスや国・地域などもディメンションテーブル化 ©2023 primeNumber

    Inc. All Rights Reserved. Confidential. 27

  28. 最後に宣伝を・・・

  29. None

  30. trocco「Web行動ログ収集SDK」 Web分析に必要なデータを取得 1タグでPV、イベント、メール開封ログなどが収集可能 GAと同じデータが生ログで、任意のDWHに蓄積 セッションやチャネルの定義はGAを踏襲 お好きなDWH（BigQuery/Redshift）に10分以内に転送 BigQueryのパーティショニングにも各種対応 広告アトリビューション分析が可能 重複のない、正確なコンバージョン数の集計に必要な アトリビューション分析が行なえます。

    広告アトリビューション分析の詳細は担当営業まで お問い合わせ下さい ©2023 primeNumber Inc. All Rights Reserved. Confidential. 30

  31. この辺の話に興味ある方、つながってくださ い！ (DMもウェルカムです) Twitter: @hiro_koba_jp ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 31

  32. ご清聴ありがとうございました