RedshiftからDatabricksに引っ越してみたら、 想像以上に良かった話

「第2回 Youは何しにDatabricksへ！？」でお話いただいたデータ・ワン様の資料です

Transcript

1. 2025.09.25 第2回 Youは何しにDatabricksへ！？ 株式会社データ・ワン 曽根高幹大 RedshiftからDatabricksに 引っ越してみたら、 想像以上に良かった話
2. データ・ワン について 01 2
3. 3 データ・ワンのめざすもの DATAONEは 国内No.1 リテールデータマーケティングカンパニーを目指して、 生活者・広告主・小売事業者 の 三方良しのつながりを支援します
4. Copyright Data One Corp. All Rights Reserved. 4 データ・ワンがご提供するソリューション全体像 co-buy® 購買データ活用Web広告 国内最大規模の購買ID 4,200万ID FamilyMartVision 販促CRMソリューション 国内最大級サイネージ dポイント ファミペイポイント ファミマのクーポン 販促キャンペーン企画 など 購買履歴のある広告ID数・2025年6月時点 さらに今後 12,000店舗へ拡大 1 購買データ×ドコモデータで ターゲティングできる 2 豊富なメディアで 配信できる 3 配信レポートだけでなく 店頭購買計測・ID-POS購買者分析ができる ※購買計測は当社とデータ連携している小売事業者が対象です ※一部の媒体は購買計測に対応しておりません 10,400店舗 1 あらゆる層へ 安定したリーチ 2 ワイド３画面＆ サウンドの効果 3 購買に近い リーセンシー 2週間延べレジ通過数は 最大 5,500万人 (24h) 豊富なデータ連携 全国16,500店 来店客 1,500万/日 会員情報 ID連携 7,000万 購買情報 レシート 会員情報 購買情報 会員情報 2,000 万DL 会員数 1億 アン ケート NEW!! 2025春に拡大 ID-POS分析対応媒体
5. 5 ANALYTICS 媒体 COST 課金 imp imp単価 リーチ リーチ単価 Click CTR CPC 購買数 購買率 購買単価 売上金額 ROI メディアA ¥1,397,821 imp 1,997,622 ¥0.70 188,824 ¥7.40 7,634 4.04% ¥183 16,951 8.98% ¥82.5 ¥2,959,165 211.7% メディアB ¥930,000 imp 782,885 ¥1.19 187,323 ¥4.96 760 0.41% ¥1,224 5,402 2.88% ¥172.2 ¥185,126 19.9% メディアC ¥826,333 imp 661,732 ¥1.25 180,624 ¥4.57 3,608 2.00% ¥229 3,700 2.05% ¥223.3 ¥587,579 71.1% メディアD ¥730,049 imp 199,243 ¥3.66 72,615 ¥10.05 3,525 4.85% ¥207.1 ¥389,721 53.4% 合計 ¥3,884,203 ¥3,641,482 ¥1.07 629,386 ¥6.17 12,002 1.91% ¥324 29,578 4.70% ¥131.3 ¥4,121,591 106.1% Click 購買（14日間） ROI（14日間） COST（税別） imp リーチ Imp/リーチ/クリックといった通常の広告 指標に加え、購買指標/ROIを一覧で集計 媒体/セグメント/クリエイティブの粒度別 で広告の購買への影響を比較可能 媒体、セグメント、 クリエイティブ間の購買効果比較 配信前後のシェア変化 広告接触セグメントと非接触セグメントの 配信前後での購買指標の伸長率を比較 広告接触が購買に寄与したかを可視化 購買者のデモグラ属性や配信前後のシェア 変化、などを可視化 広告接触・非接触による 購買効果比較 非接触者の配信前後購買指標伸長率を 100%とし比較 さまざまな購買計測 広告効果の可視化 購買者像の深堀り 購買計測結果を配信レポートに掲載 広告接触ログの提供を受けられない 媒体の場合は配信群・非配信群で 購買効果を比較します 購買者の属性 リピート購買状況
6. 何が「想像以上」だったのか 02 6
7. 何が「想像以上」だったのか 7 • SQLの実行速度が速い • コストが安い • DWH以外の機能も充実 • どんどん進化していく
8. 移行の 決め手と移行方法 03 8
9. [移行前]Redshiftでのアーキテクチャ 9 データ変換部 • Provisioned Clusterが1つ • ETLワークフローはdigdagで管理 • プログラムからJDBC経由でSQLを発行 • S3にあるデータをRedshift Spectrumでクエリ • MySQLにFederated Queryで接続
10. [移行前]Redshiftで発生していた課題 10 パフォーマンスの低下 インフラコスト増 • 当時は実行に数時間かかるクエリがあった。他のクエリも影響を受けて遅くなる • スケーリングが発生し、コストも増加
11. [移行検討]移行の観点 11 パフォーマンスの向上 インフラコストの削減 移行工数を抑える • コストを上げずに、重いクエリでも高速に処理できる • 重いクエリの処理中でも、他のクエリに影響を与えない方法があるか • 工数をできるだけ少なく移行できること → 既存のアーキテクチャをなるべく維持しつつ移行できること
12. [移行検討] Databricksでの検証結果 12 • コストを上げずにパフォーマンスを上げる → Redshiftと比較して劇的に速くなった クエリによっては数十倍速い → 時間当たりのコストは半額ほど → 並列実行時の処理速度劣化は大きいが、元が速いので許容範囲 影響を小さくしたい場合は追加のwarehouseも利用可 • 利用可能なファイル形式 → Unity Catalogに外部テーブルとして登録することで、 S3に存在するcsvやparquet等のファイルを読める → Lakehouse Federationの利用でMySQLへのクエリ可能
13. [移行検討] Databricksでの検証結果 13 • ETL方法の移行容易性 → JDBCが利用可能 • Redshiftと相互利用可能 → Glue Catalogにテーブル定義、Databricks側でマニュフェストファイルを生成することで RedshiftからDelta Lakeにクエリ可能
14. 移行手順概要 14 • TerraformでWorkspace、Table等を定義 • Redshiftとの相互運用のため、Glue Catalogにdelta lake tableを定義 • SQLの書き換え/JDBCの交換
15. 移行手順 - SQL Warehouseのタイプ選択 15
16. 移行手順 - SQL Warehouseのタイプ選択 16 AuroraにクエリするためのLakehouse FederationはClassicでは利用不可 AuroraはPrivate Subnetに存在するため、Serverlessでは接続不可 → Auroraへのクエリが必要な場合はProを利用 Pro/ServerlessとClassicの価格は約2倍違うものの、性能は2倍までは変わらない → Auroraへのクエリが不要な場合はClassicを利用 ※上記の機能制約は移行実施当時の情報
17. 移行後のアーキテクチャ 17 Redshift利用時との主な変更点 • 用途ごとに複数のSQL Warehouseを利用 • 変換後のデータをParquetからDelta Lakeへ アーキテクチャを大きく変えずに移行できた
18. 移行前後の比較 04 18
19. パフォーマンス 19 クエリの処理速度は平均して数倍~十倍ほど早くなった
20. パフォーマンス 20 移行後に遅くなってしまうクエリもあったが、チューニングで早くなった → Databricksのエンジニアが相談にのってくれる → Photon対応関数を利用したり、 optimizeでテーブルを最適化するのが重要 UTC <-> JSTの変換をINTERVALから from_utc_timestamp/to_utc_timestamp関数に変えただけで 数倍速くなったクエリもあった
21. コスト Classicに加えてProを利用する必要があり、想定よりコスト削減幅は小さくなった → それでもRedshift(Reserved Instance)と比較して約2割削減できた Databricksコストの日々の推移
22. Databricksの仕様・機能の評価(コスト・処理速度以外) 22 • 少し手間はかかるものの、 Redshiftとテーブルを共用できるのは移行・並行運用に便利 • Classic/Proでも自動停止、 クエリが来たら自動起動ができるのでコストの節約につながる → RedshiftではReserved Instanceで24時間起動だったので、それよりは効率的 • Warehouseは簡単に作成・削除できるので、 用途に応じて使い分けなどがしやすい Tableau専用のwarehouseを用意する等
23. Databricksの仕様・機能の評価(コスト・処理速度以外) 23 • テーブルの検索が早い RedshiftやGlueと比較すると圧倒的 • テーブルの権限を一元管理できる 誰に何の権限がついているかを簡単に確認可能 • メタデータを自動で収集・作成してくれる リネージやテーブルの使用履歴など。手動にはなるが、テーブルやカラムの説明も記載可能 Unity Catalogが便利
24. 移行後の 更なる活用 05 24
25. Serverless移行 25 Databricks移行当初と比べるとserverlessが進化しているため、 今年の5月ごろから移行開始 移行当初は、ServerlessではPrivate Subnetに存在するAuroraに接続できなかった → AWS側でNLBの用意等は必要なものの、ServerlessからPrivate Subnetに接続できるように → Proを利用する必要がなくなる
26. Serverless移行 26 移行当初は、ServerlessはClassicの2倍強の価格なのに、クエリの処理速度はあまり変わらなかった (warehouseのサイズが同じ場合) ↓ classicと価格が同程度のサイズ(=小さいサイズ)のserverlessでも、classicよりクエリの処理速度が速くなった クエリによっては10倍ほど速くなったものも。(基本的には同程度か少し速い程度。逆に遅くなるものも一部有り) 処理が速くなる & Classicでは10分だったAuto Stopまでの最小時間が1分になるので無駄なコストも省ける
27. Serverless移行 27 ほぼ全てのクエリをserverlessでの実行に移行し、一部の重いクエリだけサイズの大きいclassicを利用 Redshift時代と比較するとコストは4割ほど減少 最近の利用状況：ほとんどserverless + 少しだけclassicになっている
28. Genie 28 自然言語での問い合わせからSQLの生成・実行してくれる。簡易的な視覚化も可能 去年の6月に全社展開後、すぐに社内で普及し現在まで継続利用されている (Genie導入以前) Tableauのダッシュボードがたくさんあり、どこに欲しい情報があるか分からない アナリストにデータ抽出を依頼すると、結果をもらえるまで時間がかかる ↓ (導入後) とりあえずGenieに聞いてみる 直近のGenie利用状況: 継続的に利用されている
29. 29 データ・ワンでは、エンジニア、データアナリストを募集しています！ おわりに エンジニアの方は こちら データアナリスト の方はこちら