Snowflakeとdbtで加速する 「TVCMデータで価値を生む組織」への進化論 / Evolving TVCM Data Value in TELECY with Snowflake and dbt

Findy data engineering summit 2025 登壇資料
TELECY 欧陽 江卉 (X: @ohyan233)

登壇ページ: https://data-engineering-summit.findy-tools.io/2025?m=2025/tt/bQLHDJPL

概要

本セッションは、運用型テレビCMを主軸とするテクノロジードリブンなマーケティングパートナーとして、創業当初から「データで価値を生む組織」を目指し、進化させてきたデータ基盤について紹介します。多様なマーケティングデータや消費者行動データを扱う中で、Snowflakeとdbt Cloudを活用し、柔軟かつ安定した運用を実現。さらに年間1,000万円以上のコスト削減につながった改善事例、事業のスケーラビリティを支える設計・実装、開発組織の半数がデータサイエンティストである理由についてお話しします。

Transcript

1. Snowflakeとdbtで加速する 「TVCMデータで価値を⽣む組織」への進化論 Data Engineering Summit 2025.11.06 株式会社CARTA HOLDINGS（株式会社テレシー） データサイエンスエンジニア 欧陽江卉（@ohyan233）
2. データプランニングチーム チームリーダー 欧陽 江卉 おーやん @ohyan233 略歴 新卒で株式会社CARTA HOLDINGSに入社し、インターネット広告の 配信ロジックに関する設計・開発・運用に従事。その後、国内大手 ECサービス事業会社へ転職し、2022年にCARTA HOLDINGSへ再入 社。現在はCARTA HOLDINGSの子会社である株式会社テレシーに て、データプランニングチームのチームリーダーとして、社内の データ分析基盤の構築・運用を担当し、マーケティング施策を支え るためのデータ設計・整備にも取り組んでいる。 #マーダーミステリー #筋トレ 2022年入社
3. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 CARTA HOLDINGSについて 18 8 180 エンジニア組織 事業 人 (エンジニアのみ) 2000人over
4. AGENDA 01 テレシーとテレシーアナリティクスについて 02 データセントリック事業を加速するための取り込み 03 BEYONDテレシーアナリティクスにおけるチャレンジ
5. 01 テレシーとテレシーアナリティクスについて
6. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 テレシーについて 運⽤型テレビCMを軸とした統合コミュニケーション施策の企画‧実⾏ 運⽤型テレビCMとは、地上波テレビCMをデジタル広告のように、 データを活⽤しながら継続的に改善を図る⼿法 このアプローチにより、テレビCMの費⽤対効果を分析し、 放映枠の最適化や効果の継続的な改善を実現することが可能になる 従来のテレビCM 運⽤型テレビCM
7. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 テレシーアナリティクスについて • テレビCMの効果分析とダッ シュボードでの可視化を実現 する「テレシーアナリティク ス」（テレアナ）を開発‧提 供 • 独⾃の分析モデル（特許 7112816）を⽤い、 従来は計 測が困難だったテレビCM効果 を推定
8. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 テレシーアナリティクスの取り扱うデータ 消費者⾏動データ • データリソース ◦ Google Analytics 4 ▪ Webサイト訪問、商品購⼊ ◦ Mobile Measurement Partners ▪ インストールログ、アプリ起動ログ ◦ Yahoo DS.INSIGNT ▪ 検索クエリボリューム テレビCM視聴率データ • データ形式 ◦ テレビ局、番組、放映時間、 リアルタイム視聴率、番組視聴率...
9. 02 データセントリック事業を加速するための取り込み
10. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 TELECYが提供している価値 顧客ごとの課題やニーズに応じた質の⾼いサービス提供を実現 • テレシーアナリティクスにおいては、プロダクトによる全⾃動の定常分析 • データサイエンティストによるアドホック分析を組み合わせる 従来の分析 コスト プロダクト 顧客 データサイエンティストの スペシャリストによる 役務提供
11. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 テレビCM効果分析の現場課題 テレビCMの効果分析は、大きく 2つに分けられる 1. 定常分析 決まったやり方で分析を行う →プロダクトにて分析結果を提供 2. アドホック分析 お客様の状況や要望に合わせて、その都度やり方を変える →分析メンバーが介入 直近では、約 8割の案件がアドホック分析が求められる ※アドホック分析を提供している理由としては、テレシーは単にテレビCM枠を売る会社ではなく、お客様一人ひとり としっかり向き合い、伴走支援を提供している
12. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 テレビCM効果分析の現場課題 分析組織のリソース課題 • アドホック分析でクライアントの課題を解決する必要がある • 新規アルゴリズム開発でクライアントを獲得する必要がある • 開発したアルゴリズムで獲得したクライアントに対しても、 アドホック分析を行う必要がある
13. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 事業を加速させるためのデータ基盤の要件 分析組織の課題解消するには「分析作業の効率化」が不可⽋ しかし、そのボトルネックが「データ基盤の使いにくさ」にある データ基盤の「使いにくさ」を⽣む2つの要因 2. データ分析品質の担保コスト ◦ データの正確性‧⼀貫性を保証 するためのコスト⾼ 1. 分析コストの増⼤ ◦ 分析リードタイムの⻑期化 ◦ 複雑なSQL作成コストの膨⼤化
14. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 データアーキテクチャにおけるボトルネック 現状 • 分析者がAuroraのOLTPデータモデルを直接参照し、多様な分析軸のための集計クエリを 作成・実行をしている 問題点 • OLTPデータモデルは分析処理に不向きなため、複雑な集計クエリの作成・保守コストが高 い Amazon S3 Amazon Aurora テレビCM 視聴率データ 消費者 行動データ Redash (分析環境) ETLバッチ
15. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 分析ボトルネックの解決方法 After 1. Snowflakeの導⼊（選定理由は割愛） a. 分析専⽤のDWHを分離‧構築 b. ⾼速な分析処理が可能 i. 本番システムに負荷をかからない 2. リモデリングの実施 a. 分析しやすい「⾮正規化モデル」(OLAP) b. 分析⽬的に合わせてあらかじめ集約‧整理 Before 1. データが「第三正規化」 • 分析⽤のSQLが⾮常に複雑化 • 分析に不向きなOLTPモデル • 複数テーブルに情報が分散 2. データモデルがシステム処理に最適化 • 分析者が「ビジネス視点」で 直感的にデータを抽出‧処理 することが困難
16. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 分析基盤に Snowflakeとdbtを導入 • dbtでデータモデルのリモデリングし、使いやすいMART層を構築 • リモデリングされたデータは、Snowflakeから取得可能になる Amazon SageMaker ETL Amazon S3 Amazon Aurora DWH テレビCM 視聴率データ 消費者 行動データ 分析環境 ETLバッチ
17. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 リモデリングによるデータ利用性の向上 ディメンショナルモデリングでテーブルを再定義 1. 属性に関するディメンションテーブル • dim_キャンペーン • dim_CM素材 • dim_テレビ番組 2. 数値に関するファクトテーブル • fct_発注情報 • fct_テレビ番組視実績 • fct_テレビCM放映実績
18. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 リモデリング前後の集計クエリ • 特定のキャンペーンにおけるCM素材の表⽰回数を集計するSQLを例に紹介する • 元々、集計には多くのテーブルを横断して計算する必要があった ◦ リモデリングによって集計クエリが⾮常にコンパクトになった Before After
19. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 データモデルの変化 • 同じ情報を表現するために必要なテーブル数を⼤幅に削減できる (102→30個) • シンプルな構造によって利⽤の容易性が担保 ◦ 作業者のSQL作成コストも⼤幅削減 ※ER図の⽣成にはSchemaSpyを使⽤ Aurora ER図（102個） Snowflake MART層 ER図（30個）
20. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 成果の定量評価 Before • 従来、データサイエンティストが 1案件あたり5~6時間かけて⾏う アドホック分析の前処理 After • Snowflake導⼊とdbtによる リモデリングによって約1時間で 対応可能に • データサイエンティストの⼯数削減 ◦ 年間で1千万円以上コスト削減
21. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 dbtの活用 • 複数のテーブルから必要な情報を集約してテーブルを設計 ◦ dbt-utilsのgenerate_surrogate_keyマクロを使ってユニークキー付与 ◦ dbtのgenericテストでテーブル品質を担保 • dbtのconstraintsを⽤いてSnowflakeの制約を定義 ◦ テーブル間の依存関係を明⽰化 ◦ SchemaSpy(DB仕様書⾃動⽣成ツール)導⼊可能 ▪ すでにOLTPモデルで利⽤されているもの
22. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 constrainsを用いた実装例 • primary_key • foreign_key ※Snowflakeは、制約の定義と維持をサポート。 常に強制される NOT NULL 制約以外については強 制しない
23. 03 BEYOND テレシーアナリティクスにおけるチャレンジ
24. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 BEYONDテレシーアナリティクスにおけるチャレンジ テレシーはこれから中⻑期的に2つの⽅向性でデータ基盤を強めて⾏く予定 1. マーケティング統合データ基盤 a. 取り扱うデータ種類を増加し、分析ドメインを拡⼤ 2. データドリブン経営基盤 a. 経理‧会計に関わるデータの集約と活⽤
25. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 TELECY データ基盤のこれまでとこれから これまで: 運⽤型テレビCM領域 • 従来モデル（特許7112816） ◦ テレビCMの残存効果を考慮し、 番組やCM素材ごとのROIを 分析可能 • 新規モデル（特許7651769） ◦ テレビCMの効果分析 ▪ 従来: 時間粒度 (per hour) ▪ 新規: 分間粒度 (per minute) ◦ CM放映枠や素材もより⾼精度に 分析することが可能になった これから: 統合マーケティング領域 テレビ以外の マーケティングデータを活⽤し 新たなソリューションの提案
26. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 TELECYにおけるチャレンジ 分析モデル（複数） 分析モデル（単一） 分析メディア（TV） 分析メディア（複数） テレシー アナリティクス 新規プロダクト
27. RevOps
28. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 データドリブン経営基盤とミッション データに基づいた意思決定を⾏うために必要なデータを収集‧蓄積‧加⼯‧分析‧ 活⽤するための⼀連の仕組みやシステム環境を提供 具体的な現場の課題 • 前年同期と⽐べ、売上、原価、売上総額がどのように変化しているか？ • 直接部⾨の1⼈あたり売上総額がどのように推移しているか？ • 顧客セグメントごとのパフォーマンスはどのような状況か？ • など 取り扱うデータ • CRMデータ（Salesforce）：顧客情報、商談履歴など • 仕訳データ：売上、原価などの実績が反映された会計‧財務データ • 多種なマスターデータ：社員マスター、原価種⽬マスターなど • アドホックなデータリソース：各部⾨が個別に管理しているデータ
29. AGENDA 01 Single Source of Truthの確立 02 ビジネス要件に基づくデータパイプラインの設計 03 データガバナンスの実装と運用 CHALLENGE
30. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 Single Source of Truthの確立 課題感 ◦ データリソースを単⼀化‧粒度と定義の統⼀ ◦ 複数データソースに情報が点在 ▪ データ追従が出来ず、⼤量な⼈的リソースが必要 現状のデータリソース ◦ Salesforce ◦ 経理システム ◦ 請求書発⾏システム ◦ 台帳（スプレッドシート）
31. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 ビジネス要件に基づくデータパイプラインの設計 課題感 ◦ 現状はデータが⽉次締めまで確定しない ◦ リアルタイムなデータ活⽤できていない ▪ 経営層にとって、スピーディーな意思決定の阻害に データフローの再設計‧再実装
32. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 データガバナンスの実装と運用 課題感 ◦ データオーナーシップの曖昧さ ▪ データオーナーやアクセス権限の範囲が不明確 ◦ データ品質担保の難しさ ▪ オペレーションミス（⼊⼒不備など）を検知‧防⽌する仕組 みが不⾜ • ユーザーごとのアクセスコントロールの設計‧実装 • データ品質を担保するためのテストケースを実装
33. Snowflakeとdbtで加速する「TVCMデータで価値を⽣む組織」への進化論 まとめ これまで 私達はデータエンジニアリングの形で、データの価値を形にした • 運⽤型テレビCM領域におけるデータ活⽤を推進し、確かなビジネス成果を創出 • データエンジニアリングを主導し、「データを使いやすい形」で提供する基盤を整 備 今後のチャレンジ 1. プロダクト領域への新たな挑戦 2. データドリブン経営基盤の構築
34. @carta_engineers We are hiring! CARTA TECH BLOG CARTA Engineering carta_engineering データエンジニア 募集中！