2023-02-16に開催したJagu'e'r分科会でのLT発表スライドです
GA4 x dbtJagu'e'r LT 2023/02GA4の生ログの弱点と、それを補うdbtパッケージを試してみた
View Slide
小林 寛和株式会社primeNumber 取締役執行役員 CPOhiro_koba_jp慶應義塾大学卒業後、2014年より株式会社リブセンスへ入社し、データエンジニアとして同社分析基盤立ち上げをリード。trocco®のプロダクト発案者で、現プロダクト責任者。Data Engineering Studyの共同主催者も務める。
AgendaGA4の生ログの概要と、課題1dbtでGA4の生ログをより使いやすく2まとめ3
GA4の生ログの概要と、課題
GA4のさまざまな使い方Google AnalyticsのブラウザUIから見るLooker Studioとかでつないで可視化するGA4のBigQuery Exportを使い、生ログからデータ分析©2023 primeNumber Inc. All Rights Reserved. Confidential. 5
GA4のさまざまな使い方Google AnalyticsのブラウザUIから見るLooker Studioとかでつないで可視化するGA4のBigQuery Exportを使い、生ログからデータ分析©2023 primeNumber Inc. All Rights Reserved. Confidential. 6
GA4の生ログの弱点データ構造が扱いにくいevent_timestampがUNIXTIMEなので変換が必要ログがいつ来るのか分からない・タイムラグがある©2023 primeNumber Inc. All Rights Reserved. Confidential. 7
データ構造が扱いにくい
集計しようとすると・・・
GA4の生ログを使いやすくするために、dbtというツールを使ってみた
先程の弱点を解決するにはひたすらクエリで頑張る1扱いやすい形に整形してから使う2©2023 primeNumber Inc. All Rights Reserved. Confidential. 11
先程の弱点を解決するにはひたすらクエリで頑張る1扱いやすい形に整形してから使う2©2023 primeNumber Inc. All Rights Reserved. Confidential. 12
データウェアハウス層を作って扱いやすくしたいもう少し専門用語でいうと©2023 primeNumber Inc. All Rights Reserved. Confidential. 13
GA4のスキーマなんて全世界共通なんだし、誰かがいい感じの作ってくれてるんじゃないの?
dbt-ga4なるものが!!!
とりあえず使ってみた
導入手順dbtのプロジェクトを作るpackages.ymlにdbt-ga4パッケージを追加dbt_project.ymlでご自身のGA4の設定を記載dbt deps実行dbt build実行12345©2023 primeNumber Inc. All Rights Reserved. Confidential. 17
めちゃくちゃ楽
成果物を、もう少し詳しく
全体像BigQuery ExportGA4 BigQuery生ログテーブル(データレイク層)整形後のテーブル(データウェアハウス層)dbt-ga4©2023 primeNumber Inc. All Rights Reserved. Confidential. 20
スタースキーマっぽくなってるdim_sessions dim_usersfct_sessionfct_pages©2023 primeNumber Inc. All Rights Reserved. Confidential. 23
できればこうして欲しかった1行がページビュー単位など、イベント別にテーブルを用意するdim_sessionに情報もたせ過ぎないパーティショニング対応タイムラグ問題は解決していない・・・探索的な分析をする最小粒度なのでデバイスや国・地域などもディメンションテーブル化©2023 primeNumber Inc. All Rights Reserved. Confidential. 27
最後に宣伝を・・・
trocco「Web行動ログ収集SDK」Web分析に必要なデータを取得1タグでPV、イベント、メール開封ログなどが収集可能GAと同じデータが生ログで、任意のDWHに蓄積セッションやチャネルの定義はGAを踏襲お好きなDWH(BigQuery/Redshift)に10分以内に転送BigQueryのパーティショニングにも各種対応広告アトリビューション分析が可能重複のない、正確なコンバージョン数の集計に必要なアトリビューション分析が行なえます。広告アトリビューション分析の詳細は担当営業までお問い合わせ下さい©2023 primeNumber Inc. All Rights Reserved. Confidential. 30
この辺の話に興味ある方、つながってください!(DMもウェルカムです)Twitter: @hiro_koba_jp©2023 primeNumber Inc. All Rights Reserved. Confidential. 31
ご清聴ありがとうございました