Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
dbtでGA4の生ログを扱いやすくする話
Search
Hirokazu Kobayashi
February 16, 2023
Technology
2
1.4k
dbtでGA4の生ログを扱いやすくする話
2023-02-16に開催したJagu'e'r分科会でのLT発表スライドです
Hirokazu Kobayashi
February 16, 2023
Tweet
Share
More Decks by Hirokazu Kobayashi
See All by Hirokazu Kobayashi
dbtでアトリビューション分析
hiro_koba_jp
0
1.1k
Data Engineering Study #16 LT troccoデータカタログ
hiro_koba_jp
0
290
trocco Summer Update 2022 - 「dbt連携/グループ機能リニューアル」他ご紹介
hiro_koba_jp
0
380
DES#13 troccoデータカタログ&PdM募集
hiro_koba_jp
0
140
データマネジメントを実現するためのサービス・OSSまとめ
hiro_koba_jp
0
600
広告・マーケROIを可視化するためにETL/データ整備した話
hiro_koba_jp
0
1.7k
AWS ETL祭り - AWS Glue活用事例@primeNumber
hiro_koba_jp
6
6.1k
Other Decks in Technology
See All in Technology
AndroidデバイスにFTPサーバを建立する
e10dokup
0
250
【Developers Summit 2025】プロダクトエンジニアから学ぶ、 ユーザーにより高い価値を届ける技術
niwatakeru
2
1.4k
開発組織のための セキュアコーディング研修の始め方
flatt_security
3
2.4k
N=1から解き明かすAWS ソリューションアーキテクトの魅力
kiiwami
0
130
Data-centric AI入門第6章:Data-centric AIの実践例
x_ttyszk
1
410
目の前の仕事と向き合うことで成長できる - 仕事とスキルを広げる / Every little bit counts
soudai
24
7.2k
利用終了したドメイン名の最強終活〜観測環境を育てて、分析・供養している件〜 / The Ultimate End-of-Life Preparation for Discontinued Domain Names
nttcom
2
200
Oracle Cloud Infrastructure:2025年2月度サービス・アップデート
oracle4engineer
PRO
1
220
CZII - CryoET Object Identification 参加振り返り・解法共有
tattaka
0
380
2.5Dモデルのすべて
yu4u
2
870
ハッキングの世界に迫る~攻撃者の思考で考えるセキュリティ~
nomizone
13
5.2k
7日間でハッキングをはじめる本をはじめてみませんか?_ITエンジニア本大賞2025
nomizone
2
1.8k
Featured
See All Featured
How GitHub (no longer) Works
holman
314
140k
It's Worth the Effort
3n
184
28k
The Cult of Friendly URLs
andyhume
78
6.2k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
114
50k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
133
33k
Fireside Chat
paigeccino
34
3.2k
Being A Developer After 40
akosma
89
590k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
Transcript
GA4 x dbt Jagu'e'r LT 2023/02 GA4の生ログの弱点と、それを補うdbtパッケージを試してみ た
小林 寛和 株式会社primeNumber 取締役執行役員 CPO hiro_koba_jp 慶應義塾大学卒業後、2014年より株式会社リブセンス へ入社し、データエンジニアとして同社分析基盤 立ち上げをリード。 trocco®のプロダクト発案者で、現プロダクト責任者。
Data Engineering Studyの共同主催者も務める。
Agenda GA4の生ログの概要と、課題 1 dbtでGA4の生ログをより使いやすく 2 まとめ 3
GA4の生ログの概要と、課題
GA4のさまざまな使い方 Google AnalyticsのブラウザUIから見る Looker Studioとかでつないで可視化する GA4のBigQuery Exportを使い、生ログからデータ分析 ©2023 primeNumber Inc.
All Rights Reserved. Confidential. 5
GA4のさまざまな使い方 Google AnalyticsのブラウザUIから見る Looker Studioとかでつないで可視化する GA4のBigQuery Exportを使い、生ログからデータ分析 ©2023 primeNumber Inc.
All Rights Reserved. Confidential. 6
GA4の生ログの弱点 データ構造が扱いにくい event_timestampがUNIXTIMEなので変換が必要 ログがいつ来るのか分からない・タイムラグがある ©2023 primeNumber Inc. All Rights Reserved.
Confidential. 7
データ構造が扱いにくい
集計しようとすると・・・
GA4の生ログを使いやすくするために、 dbtというツールを使ってみた
先程の弱点を解決するには ひたすらクエリで頑張る 1 扱いやすい形に整形してから使う 2 ©2023 primeNumber Inc. All Rights
Reserved. Confidential. 11
先程の弱点を解決するには ひたすらクエリで頑張る 1 扱いやすい形に整形してから使う 2 ©2023 primeNumber Inc. All Rights
Reserved. Confidential. 12
データウェアハウス層を作っ て 扱いやすくしたい もう少し専門用語でいうと ©2023 primeNumber Inc. All Rights Reserved.
Confidential. 13
GA4のスキーマなんて全世界共通なんだし、 誰かがいい感じの作ってくれてるんじゃない の?
dbt-ga4なるものが!!!
とりあえず使ってみ た
導入手順 dbtのプロジェクトを作る packages.ymlにdbt-ga4パッケージを追加 dbt_project.ymlでご自身のGA4の設定を記載 dbt deps実行 dbt build実行 1 2
3 4 5 ©2023 primeNumber Inc. All Rights Reserved. Confidential. 17
めちゃくちゃ楽
成果物を、もう少し詳し く
全体像 BigQuery Export GA4 BigQuery生ログテーブル (データレイク層) 整形後のテーブル (データウェアハウス 層) dbt-ga4
©2023 primeNumber Inc. All Rights Reserved. Confidential. 20
None
None
スタースキーマっぽくなってる dim_sessions dim_users fct_session fct_pages ©2023 primeNumber Inc. All Rights
Reserved. Confidential. 23
None
None
None
できればこうして欲しかった 1行がページビュー単位など、イベント別にテ ーブルを用意する dim_sessionに情報もたせ過ぎない パーティショニング対応 タイムラグ問題は解決していない・・・ 探索的な分析をする最小粒度なので デバイスや国・地域などもディメンションテーブル化 ©2023 primeNumber
Inc. All Rights Reserved. Confidential. 27
最後に宣伝を・・・
None
trocco「Web行動ログ収集SDK」 Web分析に必要なデータを取得 1タグでPV、イベント、メール開封ログなどが収集可能 GAと同じデータが生ログで、任意のDWHに蓄積 セッションやチャネルの定義はGAを踏襲 お好きなDWH(BigQuery/Redshift)に10分以内に転送 BigQueryのパーティショニングにも各種対応 広告アトリビューション分析が可能 重複のない、正確なコンバージョン数の集計に必要な アトリビューション分析が行なえます。
広告アトリビューション分析の詳細は担当営業まで お問い合わせ下さい ©2023 primeNumber Inc. All Rights Reserved. Confidential. 30
この辺の話に興味ある方、つながってくださ い! (DMもウェルカムです) Twitter: @hiro_koba_jp ©2023 primeNumber Inc. All Rights
Reserved. Confidential. 31
ご清聴ありがとうございました