CA DATA NIGHT #10 データ・ワンにおけるリテールメディア基盤のDatabricks移行と活用の現在地

Transcript

1. ｚ データ・ワンにおける リテールメディア基盤の Databricks移行と活用の現在地 CA DATA NIGHT #10 2025.06.25 株式会社データ・ワン 曽根高幹大
2. 自己紹介 曽根高 幹大 Sonetaka Mikihiro ▪ 2023年6月、一人目の正社員エンジニアとしてデータ・ワンに入社 ▪ データエンジニアリングを中心に、システム全体を担当 Copyright Data One Corp. All Rights Reserved. 1
3. Contents 01 データ・ワンについて 02 データ・ワンのデータ基盤 03 RedshiftからDatabricksへの移行 04 Genie導入とServerlessの利用 05 リテールメディア事業とDatabricks Copyright Data One Corp. All Rights Reserved. 2
4. ｚ データ・ワンについて Copyright Data One Corp. All Rights Reserved. 3 01
5. Copyright Data One Corp. All Rights Reserved. 4 データ・ワン 会社概要 名称 株式会社データ・ワン（英名：Data One Corp.） 所在地 〒100-6005 東京都千代田区霞が関3-2-5 霞が関ビルディング 5階 設立日 2020年10月27日 代表者 代表取締役社長 国立 冬樹 事業内容 小売事業者が保有するデータを活用したデジタル広告配信事業 資本金 990百万円（資本準備金495百万円を含む） 出資比率 株式会社アイエフピー：55% (伊藤忠商事55%、ファミリーマートグループ45%出資） NTTドコモ：40%、サイバーエージェント：5% 当社が保有する 全広告ID数 9,800万 取引実績のあるク ライアント様 532社 取引実績のある 販売代理店様 124社 ファミマTV 設置店舗 11,310店 購買データと 紐づく広告ID数 5,700万 役員構成 代表取締役社長 国立 冬樹 代表取締役副社長 真柴 智宏 POSデータ 連携店舗数 27,951店 2026年4月1日現在 取締役 北山 禅 取締役 長村 光浩 取締役 河田 晃一 取締役 畑口 力也 取締役 藤田 和司 監査役 市川 類 D ATA O N E の 基 本 D ATA
6. データ・ワンとは Copyright Data One Corp. All Rights Reserved. 5 主要メディアに加え ファミマ・ドコモの オウンドメディアへ 配信可能 DATA MEDIA ANALYTICS 小売購買データ ×会員データを 国内最大級の ボリュームで保有 ブランドリフト セールスリフト ユーザー分析など 広範なニーズに対応 国内最大級 5,700万ID超 国内最大級の 小売オウンドメディア 広告IDベースで分析 ドコモ/dポイントデータも活用 データ メディア 計測・分析 Instagram YouTube TVer Yahoo! 大手ドラッグストア 5社
7. ｚ データ・ワンのデータ基盤 Copyright Data One Corp. All Rights Reserved. 6 02
8. データ・ワンのデータ基盤 Lakehouse Federation Amazon Redshift DWH（Databricksへの移行中） パイプライン / オーケストレーション ワークフロー定義 ECS Fargate ストレージ / データレイク Amazon S3 データレイク（Delta Lake） レイクハウス / SQL実行基盤 フェデレーション BigQuery Snowflake Amazon Aurora データ活用 ダッシュボード AI Text-to-SQL Claude Genie 営業担当者 セルフサービスで データを活用 広告配信システム Copyright © Data One Corp. All Rights Reserved. 7 Redshift Spectrum Read / Write dbt / ScalaがSQL生成
9. ｚ RedshiftからDatabricksへの移行 Copyright Data One Corp. All Rights Reserved. 8 03
10. Redshiftからの移行の背景 パフォーマンスの低下 移行前はRedshiftのクラスタひとつで運用。 重いクエリの処理中は、他のクエリにも影響 インフラコスト増 スケールアップ/アウトで対応していたが、事 業成長に伴う将来的なデータ基盤の 需要増に どこまで耐えられるか不明 Copyright © Data One Corp. All Rights Reserved. 9
11. 移行先の検討 パフォーマンスの向上 インフラコストの削減 移行工数を抑える パフォーマンス・コスト面に加えて、移行工数も重要な検討観点だった 当時はAIによる工数削減もまだ限定的で、社内のエンジニアも自分ひとりだった これらを満たしたのがDatabricks。 PoCではRedshiftで数時間かかったクエリが数分に短縮。 アーキテクチャを大きく変えずに移行でき、Redshiftと相互運用=段階的移行可能な点も決め手となった Copyright © Data One Corp. All Rights Reserved. 10
12. 移行の結果 クエリ処理速度 数倍〜十倍 インフラコスト 約2〜3割削減 移行期間 2ヶ月 Redshift利用時のアーキテクチャは大きく変更せず、Databricksに移行 Copyright © Data One Corp. All Rights Reserved. 11
13. ｚ Genie導入とServerlessの利用 Copyright Data One Corp. All Rights Reserved. 12 04
14. Genie導入 2024年6月に全社導入 自然言語での問い合わせからSQLを生成・実行してくれる。簡易的な視覚化も可能 当時はSonnet 3.5が登場したくらいの時期だが、 その時点でかなり精度が高く、 ビジネスサイドにも展開できるクオリティ だった 全社展開後、すぐに社内で普及し現在まで継続利用されている Genie導入以前 ダッシュボードがたくさんあり、どこに欲しい情報があるか分からない アナリストにデータ抽出を依頼すると、結果をもらえるまで時間がかかる ↓ とりあえずGenieに聞いてみる ※ 現在は、MCP経由でビジネスサイドがClaudeからもDatabricksにクエリできるようにし たため、Genieとの棲み分けを模索中 Copyright © Data One Corp. All Rights Reserved. 13
15. Serverless移行と効果 2025年5月頃から、SQL WarehouseをClassic / ProからServerlessへ移行 移行前 Redshiftからの移行時 ServerlessはPrivate Subnet内のAuroraへのフェデレーションを サポートしていなかった 同サイズのWarehouseで比較すると、時間あたり料金はClassicの約2倍なのに パフォーマンスは同等 → 移行する理由がなかった 転機 2025年5月 改めて試すとClassicより速く、クエリによっては10倍ほど改善 Private Subnet問題も解消されていたため、Serverlessへの移行を決定 現在 現在はほぼ全てServerless + 一部の重い（Serverlessで速くならなかった）ク エリだけClassic Copyright © Data One Corp. All Rights Reserved. 14
16. ｚ リテールメディア事業とDatabricks Copyright Data One Corp. All Rights Reserved. 15 05
17. データ共有の相手ごとに異なるデータ基盤と連携手法 リテールメディア事業では、広告主・小売・パートナーなど様々な会社からデータ受領する必要がある。 しかし相手の環境はバラバラ 相手 利用しているデータ基盤/DB 連携方法 メディアA社 - S3にデータをPushしてくれる メディアB社 BigQuery BigQuery固有ののシェアリング機能, クリーンルーム リテールC社 Snowflake Snowflake固有のシェアリング機能, クリーンルーム リテールD社 Databricks データクリーンルームで安全に共同分析したい 社内 MySQL 自由だが、なるべく楽にやりたい Copyright Data One Corp. All Rights Reserved. 16 BigQueryやSnowflakeなどが提供するシェアリング機能は、同一プラットフォーム内に閉じた連携であれば手軽に行えるが、 プラットフォームをまたぐと連携の難易度が上がる
18. Lakehouse Federation 外部のDB・DWHに、データを移動・複製せず Databricksから直接クエリできる 接続先もUnity Catalogに載るため、 権限管理・リネージを一元化 できる Copyright © Data One Corp. All Rights Reserved. 17
19. Databricks Clean Rooms 互いの生データを開示せずに 、 セキュアな共有環境で共同分析できる 「データは出せないが、突合・分析はしたい」という パートナー各社のニーズ に適合 持ち出せるのは合意した集計結果のみ 、という ガバナンス設計が可能 Copyright © Data One Corp. All Rights Reserved. 18
20. Databricksを中心としたデータ連携 Databricksを中心に自社の各基盤を統合 Snowflake・BigQueryは、各プラットフォームのデータシェアリングで連携されたものを自社内でフェデレーション 自社環境（データ・ワン） 他社環境（パートナー各社） Databricks データ基盤の中心 Aurora 社内DB（MySQL） Snowflake BigQuery Amazon S3 Snowflake Databricks BigQuery データ提供元 S3へファイル連携(csv, json等) S3へWrite Copyright Data One Corp. All Rights Reserved. 19 Lakehouse Federation Lakehouse Federation Lakehouse Federation Redshift Data Sharing Data Sharing S3からRead S3へWrite Databricks Clean Rooms
21. 他プラットフォームからDatabricksで管理しているデータを分析（逆方向の連携） 各プラットフォームのClean Roomを利用する場合など、BigQueryやSnowflakeから「データを出せない」ケースがある。 この場合もDatabricksを中心に構築していれば、ゼロコピーで対応可能 仕組み：Delta Lake UniForm で Iceberg 互換にして公開 Delta LakeとしてWrite Write Read Read Snowflake Icebergとして直接Read Google BigQuery Icebergとして直接Read Copyright © Data One Corp. All Rights Reserved. 20
22. おわりに データ・ワンでは、エンジニア・データアナリストを 募集 しています！ https://data-one.co.jp/recruit/ Copyright Data One Corp. All Rights Reserved. 21