CUEBiC社のデジタルメディア事業を支えるデータ分析基盤の変遷

Transcript

1. ~わずか1年で4回のアーキテクチャー更新~
   CUEBiC社のデジタルメディア事業
   を支えるデータ分析基盤の変遷
   株式会社キュービック
   テクノロジーエキスパートセンター
   Tech Lead 尾﨑勇太 2023.6.21
   開示範囲:公開ドキュメント

   1
   

   View Slide

2. 株式会社キュービックとは?
   2
   株式会社キュービック /CUEBiC Inc.
   社名
   事業
   設立
   資本金
   拠点
   2006 年 10 月 24 日
   31,000,000円
   人員 約 300 名（単体）※インターンを含む
   約 484 名（連結) ※2022年3月現在
   デジタルメディア事業、集客支援事業 ほか
   東京、福岡
   

   View Slide

3. 3
   ■これまでの実績
   創業時より一貫して取り組んできたデジタルメディ
   ア事業を軸に、たしかな成長を続けています。
   ヒト起点のマーケティング×デザインで、高品質な
   サービスやプロダクトを実現。
   それによりステークホルダーの皆さまから厚い信頼
   を獲得し、現在の実績につながっています。
   デジタルメディア業界のトップラ
   ンナーとして成長し続ける
   

   View Slide

4. 4
   ■デジタルメディア事業 ー ビジネスモデル
   

   View Slide

5. 自己紹介
   5
   株式会社キュービック Tech Lead/データエンジニア
   尾﨑 勇太（おざき ゆうた）
   覚え方：尾崎豊(おざきゆたか)と一字違い
   1990年和歌山県白浜町生まれ
   生息地：千葉県松戸市
   スキルセット
   1. マネジメント/品質管理/データ分析
   2. マイナスからゼロ、ゼロイチ
   3. サーバーサイド(WEB/アプリ開発) @waichang111
   経歴の詳細
   はてなブログ
   

   View Slide

6. セッション内容
   6
   1.データ分析基盤の概要と課題
   2.Amazon Redshiftとtrocco®導入の経緯
   3.導入後の変化・効果
   4.今後の展望
   

   View Slide

7. 7
   1.データ分析基盤の概要と課題
   2.Amazon Redshiftとtrocco®導入の経緯
   3.導入後の変化・効果
   4.今後の展望
   

   View Slide

8. 導入時の課題/データウェアハウス構築の目的
   8
   ビジネスインパクト
   ・メディアの売上予測値に誤差が発生：10〜20%程度
   ・集計パフォーマンスの劣化：集計時間が2時間以上
   ・機能改善の費用対効果が低減：半年〜1年(EX コンバージョンアップロード)
   エンジニアリング課題
   ・技術負債/メインメンバーの離脱：不具合以外は仕様凍結
   課題：事業成長に分析基盤が耐えられなくなってきた
   データウェアハウス構築の目的
   事業成長に耐えうるデータ基盤の構築
   ・組織の売上目標のモニタリング精度向上
   ・財務/管理会計データの統合管理ができる
   ・データを起点とした定量的な意思決定ができる
   

   View Slide

9. 既存のデータ分析環境
   9
   生データ
   加工データ
   集計データ
   設定マスタ
   その他マスタ
   クライアント別売上データ
   組織別売上データ
   メディア別売上データ
   媒体別広告費データ
   組織別広告費/成果データ
   広告データ
   成果データ
   CUEBiC
   Analytics
   広告/ASP
   RDS Tableau
   

   View Slide

10. 既存のデータ分析環境でのそれぞれの役割
    10
    CUEBiC Analytics
    ・設定情報の入力
    ・広告レポートのインポート
    ・成果レポートのインポート
    ・広告レポートの集計
    ・成果レポートの集計
    ・設定情報の入力
    ・広告データのインポート
    ・成果データのインポート
    ・広告データの集計
    ・成果データの集計
    ・データの保持
    - 集計設定データ
    - 広告/成果の生データ
    - 広告/成果の集計データ
    ・データの加工
    - 広告データ
    - データの加工
    ・データのビジュアライゼー
    ション
    CUEBiC
    Analytics
    RDS
    Tableau
    

    View Slide

11. 変更アーキテクチャ
    11
    生データ
    加工データ
    集計データ
    クライアント別売上データ
    組織別売上データ
    メディア別売上データ
    媒体別広告費データ
    組織別広告費/成果データ
    

    

    広告集計設定
    成果集計設定
    転送設定
    データマート
    trocco API
    設定マスタ
    その他マスタ
    Federated Query
    Oasis
    広告/ASP
    Tableau
    

    View Slide

12. リニューアル後のデータ分析環境でのそれぞれの役割
    12
    CUEBiC Analytics
    ・データ抽出
    - 広告データ
    - 成果データ
    ・データ転送
    ・データ整形
    ・データの蓄積
    ・データの加工
    ・データの集計
    ・データのビジュアライゼー
    ション
    ・集計設定
    ・ビジネスサイド側が見る
    　ビジュアライゼーション
    ・集計設定データ保存
    ・その他マスタ保存
    Oasis
    Tableau
    

    View Slide

13. 13
    1.データ分析基盤の概要と課題
    2.Amazon Redshiftとtrocco®導入の経緯
    3.導入後の変化・効果
    4.今後の展望
    

    View Slide

14. データ分析リニューアルの背景
    14
    1.DX戦略の一環としてDWH化が計画されていた
    2.CBAはメディアの収益を集計していたが、老朽化が進んでいた
    3.そこでCBAの刷新とDWHのR&Dを並行で行うことに
    14
    尾﨑く〜ん
    なんとかできない？
    えっ?!
    CBA?ETL?DWH?
    ※CBA:CUEBiC Analytics
    と思われたが、メイン推進担当が急遽離脱!!
    

    View Slide

15. 15
    アーキテクチャ変更:４回(マイナーチェンジ含む)
    4月
    R&D
    ①導入計画
    ②troccoトライヤル/導入
    ③AWSさんPOC
    ④リアーキテクト1回目
    ⑤リアーキテクト2回目
    ⑥運用リプレイス計画
    ⑦運用リプレイス始動
    イベント 7月 10月
    開発/改善
    1月
    ⑥
    ⑤
    ①
    2022年 2023年
    1月 2月〜9月
    ②
    ④
    ⑦
    R&D/開発ロードマップ
    ③
    相談
    運用保守
    サポート
    R&D
    開発/改善
    :2回
    :2回
    ★本契約開始
    ★本契約開始
    

    View Slide

16. 導入計画_CUEBiC Analyticsを分解
    16
    16
    広告/成果インポート
    広告/成果集計
    集計設定
    データ収集を外部SaaS化
    代替できそう!
    集計ロジックはローコード化
    成果エクスポート
    BIツール側でローコード化
    爆速キャッチアップ
    CUEBiC
    Analytics
    

    View Slide

17. 導入計画_RDSからデータウェアハウスへの移行を検討
    17
    17
    データ整形/蓄積 データ活用
    データ収集
    ETL DWH BI
    Tableau
    

    View Slide

18. プロジェクト体制
    18
    尾﨑
    Project Manager
    CTO
    Project Owner
    開発者1
    Developer
    開発者2
    Developer DataEngineer
    尾﨑(兼務) 環境設定
    SRE
    primeNumber
    Technical
    Support
    AWS
    Technical
    Support
    CUEBiC
    運用設計
    DX
    運用設計
    事業部
    Oasis
    

    View Slide

19. 19
    プラン変更
    2022年10月troccoをLightプランからStandardプランに変更
    2023年6月Redshift ServerlessをRedshiftのRA3に変更
    4月
    R&D
    ①trocco導入計画
    ②troccoトライヤル/導入
    ③AWSさんPOC
    ④リアーキテクト1回目
    ⑤リアーキテクト2回目
    ⑥運用リプレイス計画
    ⑦運用リプレイス始動
    イベント 7月 10月
    開発/改善
    1月
    ⑥
    ⑤
    ①
    2022年 2023年
    1月 2月〜9月
    ②
    ④
    ⑦
    R&D/開発ロードマップ
    ③
    相談
    運用保守
    サポート
    Serverless→
    Redshift RA3
    ★本契約開始
    ★本契約開始
    Lightプラン→
    Standardプラン
    

    View Slide

20. 既存のアーキテクチャ
    20
    既存 検討 導入 開発 改善
    広告/ASP
    アーキテクチャ
    CUEBiC
    Analytics
    RDS Tableau
    データ抽出/整形/蓄積 データ分析
    データ出力
    

    View Slide

21. 検討時のアーキテクチャ
    21
    既存 検討 導入 開発 改善
    広告/ASP
    アーキテクチャ
    データ抽出 生データ保存 データ分析
    集計ロジック
    データ蓄積
    Tableau
    

    View Slide

22. 導入時のアーキテクチャ
    22
    既存 検討 導入 開発 改善
    広告/ASP
    アーキテクチャ
    データ抽出
    集計ロジック
    データ蓄積
    データ分析
    Tableau
    

    View Slide

23. 開発時のアーキテクチャ
    23
    既存 検討 導入 開発 改善
    広告/ASP
    アーキテクチャ
    データ抽出
    集計設定
    集計ロジック
    データ蓄積
    データ分析
    Oasis
    Tableau
    RDS
    

    View Slide

24. 改善時のアーキテクチャ
    24
    既存 検討 導入 開発 改善
    広告/ASP
    アーキテクチャ
    データ抽出
    集計設定
    集計ロジック
    データ蓄積
    データ分析
    Oasis
    Tableau
    Tableau
    

    View Slide

25. trocco&Redshift導入前後比較
    25
    データ抽出 集計設定 集計ロジック データ蓄積 データ分析
    手動
    Oasis
    CUEBiC
    Analytics
    Tableau
    Tableau
    RDS
    

    View Slide

26. trocco&Redshift導入前
    26
    広告/ASP
    生データ
    加工データ
    集計データ
    設定マスタ
    その他マスタ
    クライアント別売上データ
    組織別売上データ
    メディア別売上データ
    媒体別広告費データ
    組織別広告費/成果データ
    広告データ
    成果データ
    CUEBiC
    Analytics
    RDS
    Tableau
    

    View Slide

27. trocco&Redshift導入後
    27
    生データ
    加工データ
    集計データ
    クライアント別売上データ
    組織別売上データ
    メディア別売上データ
    媒体別広告費データ
    組織別広告費/成果データ
    

    広告集計設定
    成果集計設定
    転送設定
    データマート
    trocco API
    設定マスタ
    その他マスタ
    Federated Query
    Oasis
    広告/ASP
    Tableau
    

    View Slide

28. 28
    1.データ分析基盤の概要と課題
    2.Amazon Redshiftとtrocco®導入の経緯
    3.導入後の変化・効果
    4.今後の展望
    

    View Slide

29. 導入後の解決状況
    29
    ビジネスインパクト
    ・メディアの売上予測値に誤差が発生：10〜20%程度
    ・集計パフォーマンスの劣化：集計時間が2時間以上
    ・機能改善の費用対効果が低減：半年〜1年
    エンジニアリング課題
    ・技術負債/メインメンバーの離脱：不具合以外は仕様凍結
    課題：事業成長に分析基盤が耐えられなくなってきた
    データウェアハウス構築の目的
    事業成長に耐えうるデータ基盤の構築
    ・モニタリング数値の精度向上
    ・財務/管理会計データの統合管理ができる
    ・データを起点とした定量的な意思決定ができる
    事業成長に耐えうるデータ基盤の構築
    ・組織の売上目標のモニタリング精度向上
    ・財務/管理会計データの統合管理ができる
    ・データを起点とした定量的な意思決定ができる
    ▲部分的に改善
    ▲財務会計はスコープ外
    ▲基盤構築のみ
    ⭕5〜10%に改善見込み
    ⭕集計時間が1時間以内に
    ⭕1〜2ヶ月に
    ⭕並行して取り込みが可能に
    

    View Slide

30. 導入後の変化
    30
    DWHのポテンシャルを認識し、機械学習のR&Dにも前向きに
    業務内の課題が顕在化(分析フローの自動化依頼など)
    エンジニア/DX推進
    先端技術検証の社内整備/仮説検証を開始
    ローコードを武器にBPRを推進(顕在化していないマスタの統制など)
    経営層/事業部
    

    View Slide

31. 導入後の効果試算
    31
    運用ミスによる集計誤差を自動化により40%低減
    単価情報の精度向上により20%〜30%向上
    コミュニケーション負荷20%〜30%軽減
    ８人月→４人月
    Rubyエンジニア工数の64%をノーコード/SQLで代替
    DXエンジニアの工数の37.5%を自動化により削減
    エンジニアリング工数
    集計誤差
    

    View Slide

32. リニューアル前後の利用技術

    データ設定 データ整形/集計 アウトプット
    データ収集
    Rubyエンジニア工数の64%をノーコード/SQLで代替
    前
    後
    運用保守/技術負債返済
    運用保守/機能追加
    

    View Slide

33. リニューアル前後の業務フロー

    データ設定 エクスポート 分析
    インポート
    DXエンジニアの工数の37.5%を自動化により削減
    前
    後
    CUEBiC
    Analytics
    Oasis
    CUEBiC
    Analytics
    CUEBiC
    Analytics
    Tableau
    

    View Slide

34. 34
    1.データ分析基盤の概要と課題
    2.Amazon Redshiftとtrocco®導入の経緯
    3.導入後の変化・効果
    4.今後の展望
    

    View Slide

35. 今後は本格的なデータ利活用フェーズへ
    35
    広告/ASP
    成果集計
    集計結果
    モニタリング
    ユーザー行動
    一次情報
    推論結果
    施策統計
    広告/ASP
    Tableau
    

    View Slide

36. GCPで現場課題からデータ活用を先行仮説検証
    36
    Tableau API連携
    クライアント✖集客経路別
    の獲得件数
    統計情報
    分析アルゴリズム
    データ設定/収集 データ整形/集計/分析 データ蓄積
    統計ツール
    分析元データ
    データ活用
    モニタリング
    Tableau
    Cloud SQL
    Google Colab
    

    View Slide

37. 検証結果を移行し、AWSでAuto MLのPOCを計画
    37
    データ移行
    統計情報
    分析元データ
    統計情報
    分析元データ
    機械学習基盤構築
    Cloud SQL
    

    View Slide

38. 最後に
    38
    

    View Slide

39. 大変だったこと
    ・社内に有識者が居ない
    ・自分以外担当者がいない
    ・どうやって進めれば良いか分からない
    ・ベストプラクティスの事例が見つからない
    39
    💡視聴者の皆様へのアドバイス
    Redshiftは分からな
    いなー
    どんな効果があるん
    ですか？
    DWH?
    

    View Slide

40. 社外の事例/有識者を探しましょう
    ・メンターの獲得
    ・セミナー/SNS/書籍で事例の収集
    ・off-jtで知見のキャッチアップ
    40
    💡視聴者の皆様へのアドバイス
    AWSさんはどう言って
    たの?
    A社みたいに効率化で
    きるってこと？
    あーそこがDWHにな
    るってことですね
    

    View Slide

41. 社内の理解者/協力者を増やしましょう
    ・競合のデータ活用フェーズを調査する
    ・データ活用の必要性をストーリーで説明する
    ・データの目的を一緒に考える
    ・小さな課題から一緒に成功体験
    41
    💡視聴者の皆様へのアドバイス
    AWSさんはどう言って
    たの?
    A社みたいに効率化で
    きるってこと？
    あーそこがDWHにな
    るってことですね
    自己理解を深めつつ繰り返し社内共有共し、
    データリテラシーを向上させる
    

    View Slide

42. データドリブンな組織への大きな一歩は
    あなたにかかっているかも!!
    42
    

    View Slide

43. 43
    ご清聴、ありがとうございました
    

    View Slide

44. 対談
    44
    

    View Slide

45. 45
    メンターの探し方
    フォロワー
    OFF JT
    前提情報の把握
    業務知識としてキャッチアップ
    概念理解
    説明、プレ分析できる
    概念検証/相談
    基盤構築から運用まで
    データサイエンティスト協会
    ・スキルチェックリスト
    SNS
    ・QDくん,チャエン
    書籍
    ・データ分析人材になる
    ・実践的データ基盤への処方箋
    ・データサイエンティスト基本スキル84
    セミナー/視聴
    ・TECH PLAY
    ・AWS Summit Online
    ・SkillUpAI
    統計セミナー
    ・和から株式会社
    データサイエンティスト入門
    ・AVILEN
    情報収集
    primeNumberさん
    ・トライアルから運用相談
    AWSさん
    ・POCを実施
    MENTA
    ・分野別に相談
    コミュニティ参加
    

    View Slide

46. 46
    サポート内容
    その他
    定例
    運用業務での関わり
    AWSさん
    ・ベストプラクティスのご紹介
    ・検証課題の解消方法のご提示
    進捗/情報共有 PJ以外での関わり
    primeNumberさん
    ・troccoのトラブルシューティング
    ・仕様/リリース予定のヒアリング
    primeNumberさん
    ・導入/検討フェーズ：月次
    ・開発/改善フェーズ：隔月
    CS/SA技術支援
    primeNumberさん
    ・troccoのセミナーのご紹介
    ・troccoユーザー会へのご招致
    ・コラボイベント
    AWSさん
    ・AWSのGA/セミナーのご紹介
    AWSさん
    ・導入/検討フェーズ：週次or隔週
    ・開発/改善フェーズ：隔月
    

    View Slide

47. 47
    複数プラットフォーム/SaaS事業会社で連携
    相互連携
    情報連携 関係者FB
    計画/検証状況の連携
    課題感のインプット
    開発・改善
    ・ベストプラクティスのアジャスト
    ・事業成長に関わるプラン変更
    各企業内での情報連携
    課題の展開/体制検討
    企業間の連携
    体制/ファクト強化
    導入・検討
    ・事業理解/課題理解
    ・ベストプラクティスのヒアリング
    ・概念検証方法の調整
    導入・検討
    ・課題感/事例/計画の共有
    ・サービスの評価FB
    導入・検討
    ・想定技術スタック
    ・アーキテクチャ
    ・データ管理
    開発・改善
    ・ベストプラクティスの相互連携
    ・3社間での定例の開催
    開発・改善
    ・ベストプラクティスのアジャスト
    ・事業成長に関わるプラン変更
    

    View Slide