CA DATA NIGHT #10 データ・ワンにおけるリテールメディア基盤のDatabricks移行と活用の現在地

by mikihiro-sonetaka

Embed

Start on current slide

Slide 1

Slide 1 text

ｚデータ・ワンにおけるリテールメディア基盤の Databricks移行と活用の現在地 CA DATA NIGHT #10 2025.06.25 株式会社データ・ワン曽根高幹大

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright Data One Corp. All Rights Reserved. 4 データ・ワン会社概要名称株式会社データ・ワン（英名：Data One Corp.）所在地〒100-6005 東京都千代田区霞が関3-2-5 霞が関ビルディング 5階設立日 2020年10月27日代表者代表取締役社長国立冬樹事業内容小売事業者が保有するデータを活用したデジタル広告配信事業資本金 990百万円（資本準備金495百万円を含む）出資比率株式会社アイエフピー：55% (伊藤忠商事55%、ファミリーマートグループ45%出資） NTTドコモ：40%、サイバーエージェント：5% 当社が保有する全広告ID数 9,800万取引実績のあるクライアント様 532社取引実績のある販売代理店様 124社ファミマTV 設置店舗 11,310店購買データと紐づく広告ID数 5,700万役員構成代表取締役社長国立冬樹代表取締役副社長真柴智宏 POSデータ連携店舗数 27,951店 2026年4月1日現在取締役北山禅取締役長村光浩取締役河田晃一取締役畑口力也取締役藤田和司監査役市川類 D ATA O N E の基本 D ATA

Slide 6

Slide 6 text

データ・ワンとは Copyright Data One Corp. All Rights Reserved. 5 主要メディアに加えファミマ・ドコモのオウンドメディアへ配信可能 DATA MEDIA ANALYTICS 小売購買データ ×会員データを国内最大級のボリュームで保有ブランドリフトセールスリフトユーザー分析など広範なニーズに対応国内最大級 5,700万ID超国内最大級の小売オウンドメディア広告IDベースで分析ドコモ/dポイントデータも活用データメディア計測・分析 Instagram YouTube TVer Yahoo! 大手ドラッグストア 5社

Slide 7

Slide 7 text

Slide 8

Slide 8 text

データ・ワンのデータ基盤 Lakehouse Federation Amazon Redshift DWH（Databricksへの移行中）パイプライン / オーケストレーションワークフロー定義 ECS Fargate ストレージ / データレイク Amazon S3 データレイク（Delta Lake）レイクハウス / SQL実行基盤フェデレーション BigQuery Snowflake Amazon Aurora データ活用ダッシュボード AI Text-to-SQL Claude Genie 営業担当者セルフサービスでデータを活用広告配信システム Copyright © Data One Corp. All Rights Reserved. 7 Redshift Spectrum Read / Write dbt / ScalaがSQL生成

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

移行先の検討パフォーマンスの向上インフラコストの削減移行工数を抑えるパフォーマンス・コスト面に加えて、移行工数も重要な検討観点だった当時はAIによる工数削減もまだ限定的で、社内のエンジニアも自分ひとりだったこれらを満たしたのがDatabricks。 PoCではRedshiftで数時間かかったクエリが数分に短縮。アーキテクチャを大きく変えずに移行でき、Redshiftと相互運用=段階的移行可能な点も決め手となった Copyright © Data One Corp. All Rights Reserved. 10

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Genie導入 2024年6月に全社導入自然言語での問い合わせからSQLを生成・実行してくれる。簡易的な視覚化も可能当時はSonnet 3.5が登場したくらいの時期だが、その時点でかなり精度が高く、ビジネスサイドにも展開できるクオリティだった全社展開後、すぐに社内で普及し現在まで継続利用されている Genie導入以前ダッシュボードがたくさんあり、どこに欲しい情報があるか分からないアナリストにデータ抽出を依頼すると、結果をもらえるまで時間がかかる ↓ とりあえずGenieに聞いてみる ※ 現在は、MCP経由でビジネスサイドがClaudeからもDatabricksにクエリできるようにしたため、Genieとの棲み分けを模索中 Copyright © Data One Corp. All Rights Reserved. 13

Slide 15

Slide 15 text

Serverless移行と効果 2025年5月頃から、SQL WarehouseをClassic / ProからServerlessへ移行移行前 Redshiftからの移行時 ServerlessはPrivate Subnet内のAuroraへのフェデレーションをサポートしていなかった同サイズのWarehouseで比較すると、時間あたり料金はClassicの約2倍なのにパフォーマンスは同等 → 移行する理由がなかった転機 2025年5月改めて試すとClassicより速く、クエリによっては10倍ほど改善 Private Subnet問題も解消されていたため、Serverlessへの移行を決定現在現在はほぼ全てServerless + 一部の重い（Serverlessで速くならなかった）クエリだけClassic Copyright © Data One Corp. All Rights Reserved. 14

Slide 16

Slide 16 text

Slide 17

Slide 17 text

データ共有の相手ごとに異なるデータ基盤と連携手法リテールメディア事業では、広告主・小売・パートナーなど様々な会社からデータ受領する必要がある。しかし相手の環境はバラバラ相手利用しているデータ基盤/DB 連携方法メディアA社 - S3にデータをPushしてくれるメディアB社 BigQuery BigQuery固有ののシェアリング機能, クリーンルームリテールC社 Snowflake Snowflake固有のシェアリング機能, クリーンルームリテールD社 Databricks データクリーンルームで安全に共同分析したい社内 MySQL 自由だが、なるべく楽にやりたい Copyright Data One Corp. All Rights Reserved. 16 BigQueryやSnowflakeなどが提供するシェアリング機能は、同一プラットフォーム内に閉じた連携であれば手軽に行えるが、プラットフォームをまたぐと連携の難易度が上がる

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Databricksを中心としたデータ連携 Databricksを中心に自社の各基盤を統合 Snowflake・BigQueryは、各プラットフォームのデータシェアリングで連携されたものを自社内でフェデレーション自社環境（データ・ワン）他社環境（パートナー各社） Databricks データ基盤の中心 Aurora 社内DB（MySQL） Snowflake BigQuery Amazon S3 Snowflake Databricks BigQuery データ提供元 S3へファイル連携(csv, json等) S3へWrite Copyright Data One Corp. All Rights Reserved. 19 Lakehouse Federation Lakehouse Federation Lakehouse Federation Redshift Data Sharing Data Sharing S3からRead S3へWrite Databricks Clean Rooms

Slide 21

Slide 21 text

他プラットフォームからDatabricksで管理しているデータを分析（逆方向の連携）各プラットフォームのClean Roomを利用する場合など、BigQueryやSnowflakeから「データを出せない」ケースがある。この場合もDatabricksを中心に構築していれば、ゼロコピーで対応可能仕組み：Delta Lake UniForm で Iceberg 互換にして公開 Delta LakeとしてWrite Write Read Read Snowflake Icebergとして直接Read Google BigQuery Icebergとして直接Read Copyright © Data One Corp. All Rights Reserved. 20