Upgrade to Pro — share decks privately, control downloads, hide ads and more …

dbtでGA4の生ログを扱いやすくする話

Avatar for Hirokazu Kobayashi Hirokazu Kobayashi
February 16, 2023
Technology
2
1.6k

 dbtでGA4の生ログを扱いやすくする話

2023-02-16に開催したJagu'e'r分科会でのLT発表スライドです

Avatar for Hirokazu Kobayashi

Hirokazu Kobayashi

February 16, 2023
Tweet

More Decks by Hirokazu Kobayashi

See All by Hirokazu Kobayashi
dbtでアトリビューション分析
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
1.4k
Data Engineering Study #16 LT troccoデータカタログ
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
320
trocco Summer Update 2022 - 「dbt連携/グループ機能リニューアル」他ご紹介
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
410
DES#13 troccoデータカタログ＆PdM募集
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
150
データマネジメントを実現するためのサービス・OSSまとめ
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
630
広告・マーケROIを可視化するためにETL/データ整備した話
Avatar for Hirokazu Kobayashi hiro_koba_jp
0
1.8k
AWS ETL祭り - AWS Glue活用事例@primeNumber
Avatar for Hirokazu Kobayashi hiro_koba_jp
6
6.3k

Other Decks in Technology

See All in Technology
エンタープライズ企業における開発効率化のためのコンテキスト設計とその活用
Avatar for sergicalsix sergicalsix
1
320
【AWS reInvent 2025 関西組 事前勉強会】re:Inventの“感動と興奮”を思い出してモチベ爆上げしたいです
Avatar for Toshiki Terai ttelltte
0
130
エンジニアにとってコードと並んで重要な「データ」のお話 - データが動くとコードが見える：関数型＝データフロー入門
Avatar for Izumu KUSUNOKI ismk
0
450
マウントとるやつ、リリースするやつ
Avatar for おーつき otsuki
1
110
ソフトウェアエンジニアとデータエンジニアの違い・キャリアチェンジ
Avatar for k.muguruma mtpooh
1
740
CDKの魔法を少し解いてみる ― synth・build・diffで覗くIaCの裏側 ―
Avatar for Nagai Takafumi takahumi27
1
110
Redux → Recoil → Zustand → useSyncExternalStore： 状態管理の10年とReact本来の姿
Avatar for ZOZO Developers zozotech
PRO
1
530
QAエンジニアがプロダクト専任で チームの中に入ると。。。？/登壇資料（杉森 太樹）
Avatar for Hacobu hacobu
PRO
0
180
「データ無い！ 腹立つ！ 推論する！」から 「データ無い！ 腹立つ！ データを作る」へ チームでデータを作り、育てられるようにするまで / How can we create, use, and maintain data ourselves?
Avatar for moznion moznion
6
3.3k
コンピューティングリソース何を使えばいいの？
Avatar for tomokusaba tomokusaba
1
130
AIエージェントは「使う」だけじゃなくて「作る」時代！ 〜最新フレームワークで楽しく開発入門しよう〜
Avatar for みのるん minorun365
10
1.6k
Amazon ECS デプロイツール ecspresso の開発を支える「正しい抽象化」の探求 / YAPC::Fukuoka 2025
Avatar for FUJIWARA Shunichiro fujiwara3
9
1.5k

Featured

See All Featured
RailsConf 2023
Avatar for Aaron Patterson tenderlove
30
1.3k
Put a Button on it: Removing Barriers to Going Fast.
Avatar for kastner kastner
60
4.1k
Distributed Sagas: A Protocol for Coordinating Microservices
Avatar for Caitie McCaffrey caitiem20
333
22k
The Psychology of Web Performance [Beyond Tellerrand 2023]
Avatar for Tammy Everts tammyeverts
49
3.2k
Unsuck your backbone
Avatar for Amy Palamountain ammeep
671
58k
Done Done
Avatar for chrislema chrislema
186
16k
Easily Structure & Communicate Ideas using Wireframe
Avatar for Afnizar Nur Ghifari afnizarnur
194
16k
Agile that works and the tools we love
Avatar for Rasmus Luckow-Nielsen rasmusluckow
331
21k
The World Runs on Bad Software
Avatar for Brandon Keepers bkeepers
PRO
72
12k
We Have a Design System, Now What?
Avatar for Morgane Peng morganepeng
54
7.9k
Embracing the Ebb and Flow
Avatar for Simon Collison colly
88
4.9k
How STYLIGHT went responsive
Avatar for nonsquared nonsquared
100
5.9k

Transcript

  1. GA4 x dbt Jagu'e'r LT 2023/02 GA4の生ログの弱点と、それを補うdbtパッケージを試してみ た

  2. 小林 寛和 株式会社primeNumber 取締役執行役員 CPO hiro_koba_jp 慶應義塾大学卒業後、2014年より株式会社リブセンス へ入社し、データエンジニアとして同社分析基盤 立ち上げをリード。 trocco®のプロダクト発案者で、現プロダクト責任者。

    Data Engineering Studyの共同主催者も務める。

  3. Agenda GA4の生ログの概要と、課題 1 dbtでGA4の生ログをより使いやすく 2 まとめ 3

  4. GA4の生ログの概要と、課題

  5. GA4のさまざまな使い方 Google AnalyticsのブラウザUIから見る Looker Studioとかでつないで可視化する GA4のBigQuery Exportを使い、生ログからデータ分析 ©2023 primeNumber Inc.

    All Rights Reserved. Confidential. 5

  6. GA4のさまざまな使い方 Google AnalyticsのブラウザUIから見る Looker Studioとかでつないで可視化する GA4のBigQuery Exportを使い、生ログからデータ分析 ©2023 primeNumber Inc.

    All Rights Reserved. Confidential. 6

  7. GA4の生ログの弱点 データ構造が扱いにくい event_timestampがUNIXTIMEなので変換が必要 ログがいつ来るのか分からない・タイムラグがある ©2023 primeNumber Inc. All Rights Reserved.

    Confidential. 7

  8. データ構造が扱いにくい

  9. 集計しようとすると・・・

  10. GA4の生ログを使いやすくするために、 dbtというツールを使ってみた

  11. 先程の弱点を解決するには ひたすらクエリで頑張る 1 扱いやすい形に整形してから使う 2 ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 11

  12. 先程の弱点を解決するには ひたすらクエリで頑張る 1 扱いやすい形に整形してから使う 2 ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 12

  13. データウェアハウス層を作っ て 扱いやすくしたい もう少し専門用語でいうと ©2023 primeNumber Inc. All Rights Reserved.

    Confidential. 13

  14. GA4のスキーマなんて全世界共通なんだし、 誰かがいい感じの作ってくれてるんじゃない の？

  15. dbt-ga4なるものが！！！

  16. とりあえず使ってみ た

  17. 導入手順 dbtのプロジェクトを作る packages.ymlにdbt-ga4パッケージを追加 dbt_project.ymlでご自身のGA4の設定を記載 dbt deps実行 dbt build実行 1 2

    3 4 5 ©2023 primeNumber Inc. All Rights Reserved. Confidential. 17

  18. めちゃくちゃ楽

  19. 成果物を、もう少し詳し く

  20. 全体像 BigQuery Export GA4 BigQuery生ログテーブル (データレイク層) 整形後のテーブル (データウェアハウス 層) dbt-ga4

    ©2023 primeNumber Inc. All Rights Reserved. Confidential. 20
  21. None
  22. None

  23. スタースキーマっぽくなってる dim_sessions dim_users fct_session fct_pages ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 23
  24. None
  25. None
  26. None

  27. できればこうして欲しかった 1行がページビュー単位など、イベント別にテ ーブルを用意する dim_sessionに情報もたせ過ぎない パーティショニング対応 タイムラグ問題は解決していない・・・ 探索的な分析をする最小粒度なので デバイスや国・地域などもディメンションテーブル化 ©2023 primeNumber

    Inc. All Rights Reserved. Confidential. 27

  28. 最後に宣伝を・・・

  29. None

  30. trocco「Web行動ログ収集SDK」 Web分析に必要なデータを取得 1タグでPV、イベント、メール開封ログなどが収集可能 GAと同じデータが生ログで、任意のDWHに蓄積 セッションやチャネルの定義はGAを踏襲 お好きなDWH（BigQuery/Redshift）に10分以内に転送 BigQueryのパーティショニングにも各種対応 広告アトリビューション分析が可能 重複のない、正確なコンバージョン数の集計に必要な アトリビューション分析が行なえます。

    広告アトリビューション分析の詳細は担当営業まで お問い合わせ下さい ©2023 primeNumber Inc. All Rights Reserved. Confidential. 30

  31. この辺の話に興味ある方、つながってくださ い！ (DMもウェルカムです) Twitter: @hiro_koba_jp ©2023 primeNumber Inc. All Rights

    Reserved. Confidential. 31

  32. ご清聴ありがとうございました