Upgrade to Pro — share decks privately, control downloads, hide ads and more …

CUEBiC社のデジタルメディア事業を支えるデータ分析基盤の変遷

CUEBiC Inc.
June 20, 2023
510

 CUEBiC社のデジタルメディア事業を支えるデータ分析基盤の変遷

CUEBiC Inc.

June 20, 2023
Tweet

More Decks by CUEBiC Inc.

Transcript

  1. 株式会社キュービックとは? 2 株式会社キュービック /CUEBiC Inc. 社名 事業 設立 資本金 拠点

    2006 年 10 月 24 日 31,000,000円 人員 約 300 名(単体)※インターンを含む 約 484 名(連結) ※2022年3月現在 デジタルメディア事業、集客支援事業 ほか 東京、福岡
  2. 自己紹介 5 株式会社キュービック Tech Lead/データエンジニア 尾﨑 勇太(おざき ゆうた) 覚え方:尾崎豊(おざきゆたか)と一字違い 1990年和歌山県白浜町生まれ

    生息地:千葉県松戸市 スキルセット 1. マネジメント/品質管理/データ分析 2. マイナスからゼロ、ゼロイチ 3. サーバーサイド(WEB/アプリ開発) @waichang111 経歴の詳細 はてなブログ
  3. 既存のデータ分析環境 9 生データ 加工データ 集計データ 設定マスタ その他マスタ クライアント別売上データ 組織別売上データ メディア別売上データ

    媒体別広告費データ 組織別広告費/成果データ 広告データ 成果データ CUEBiC Analytics 広告/ASP RDS Tableau
  4. 既存のデータ分析環境でのそれぞれの役割 10 CUEBiC Analytics ・設定情報の入力 ・広告レポートのインポート ・成果レポートのインポート ・広告レポートの集計 ・成果レポートの集計 ・設定情報の入力

    ・広告データのインポート ・成果データのインポート ・広告データの集計 ・成果データの集計 ・データの保持 - 集計設定データ - 広告/成果の生データ - 広告/成果の集計データ ・データの加工 - 広告データ - データの加工 ・データのビジュアライゼー ション CUEBiC Analytics RDS Tableau
  5. 変更アーキテクチャ 11 生データ 加工データ 集計データ クライアント別売上データ 組織別売上データ メディア別売上データ 媒体別広告費データ 組織別広告費/成果データ

    
 
 広告集計設定 成果集計設定 転送設定 データマート trocco API 設定マスタ その他マスタ Federated Query Oasis 広告/ASP Tableau
  6. リニューアル後のデータ分析環境でのそれぞれの役割 12 CUEBiC Analytics ・データ抽出 - 広告データ - 成果データ ・データ転送

    ・データ整形 ・データの蓄積 ・データの加工 ・データの集計 ・データのビジュアライゼー ション ・集計設定 ・ビジネスサイド側が見る  ビジュアライゼーション ・集計設定データ保存 ・その他マスタ保存 Oasis Tableau
  7. 15 アーキテクチャ変更:4回(マイナーチェンジ含む) 4月 R&D ①導入計画 ②troccoトライヤル/導入 ③AWSさんPOC ④リアーキテクト1回目 ⑤リアーキテクト2回目 ⑥運用リプレイス計画

    ⑦運用リプレイス始動 イベント 7月 10月 開発/改善 1月 ⑥ ⑤ ① 2022年 2023年 1月 2月〜9月 ② ④ ⑦ R&D/開発ロードマップ ③ 相談 運用保守 サポート R&D 開発/改善 :2回 :2回 ★本契約開始 ★本契約開始
  8. プロジェクト体制 18 尾﨑 Project Manager CTO Project Owner 開発者1 Developer

    開発者2 Developer DataEngineer 尾﨑(兼務) 環境設定 SRE primeNumber Technical Support AWS Technical Support CUEBiC 運用設計 DX 運用設計 事業部 Oasis
  9. 19 プラン変更 2022年10月troccoをLightプランからStandardプランに変更 2023年6月Redshift ServerlessをRedshiftのRA3に変更 4月 R&D ①trocco導入計画 ②troccoトライヤル/導入 ③AWSさんPOC

    ④リアーキテクト1回目 ⑤リアーキテクト2回目 ⑥運用リプレイス計画 ⑦運用リプレイス始動 イベント 7月 10月 開発/改善 1月 ⑥ ⑤ ① 2022年 2023年 1月 2月〜9月 ② ④ ⑦ R&D/開発ロードマップ ③ 相談 運用保守 サポート Serverless→ Redshift RA3 ★本契約開始 ★本契約開始 Lightプラン→ Standardプラン
  10. 既存のアーキテクチャ 20 既存 検討 導入 開発 改善 広告/ASP アーキテクチャ CUEBiC

    Analytics RDS Tableau データ抽出/整形/蓄積 データ分析 データ出力
  11. 検討時のアーキテクチャ 21 既存 検討 導入 開発 改善 広告/ASP アーキテクチャ データ抽出

    生データ保存 データ分析 集計ロジック データ蓄積 Tableau
  12. 開発時のアーキテクチャ 23 既存 検討 導入 開発 改善 広告/ASP アーキテクチャ データ抽出

    集計設定 集計ロジック データ蓄積 データ分析 Oasis Tableau RDS
  13. 改善時のアーキテクチャ 24 既存 検討 導入 開発 改善 広告/ASP アーキテクチャ データ抽出

    集計設定 集計ロジック データ蓄積 データ分析 Oasis Tableau Tableau
  14. trocco&Redshift導入前 26 広告/ASP 生データ 加工データ 集計データ 設定マスタ その他マスタ クライアント別売上データ 組織別売上データ

    メディア別売上データ 媒体別広告費データ 組織別広告費/成果データ 広告データ 成果データ CUEBiC Analytics RDS Tableau
  15. trocco&Redshift導入後 27 生データ 加工データ 集計データ クライアント別売上データ 組織別売上データ メディア別売上データ 媒体別広告費データ 組織別広告費/成果データ

    
 広告集計設定 成果集計設定 転送設定 データマート trocco API 設定マスタ その他マスタ Federated Query Oasis 広告/ASP Tableau
  16. 導入後の解決状況 29 ビジネスインパクト ・メディアの売上予測値に誤差が発生:10〜20%程度 ・集計パフォーマンスの劣化:集計時間が2時間以上 ・機能改善の費用対効果が低減:半年〜1年 エンジニアリング課題 ・技術負債/メインメンバーの離脱:不具合以外は仕様凍結 課題:事業成長に分析基盤が耐えられなくなってきた データウェアハウス構築の目的

    事業成長に耐えうるデータ基盤の構築 ・モニタリング数値の精度向上 ・財務/管理会計データの統合管理ができる ・データを起点とした定量的な意思決定ができる 事業成長に耐えうるデータ基盤の構築 ・組織の売上目標のモニタリング精度向上 ・財務/管理会計データの統合管理ができる ・データを起点とした定量的な意思決定ができる ▲部分的に改善 ▲財務会計はスコープ外 ▲基盤構築のみ ⭕5〜10%に改善見込み ⭕集計時間が1時間以内に ⭕1〜2ヶ月に ⭕並行して取り込みが可能に
  17. 45 メンターの探し方 フォロワー OFF JT 前提情報の把握 業務知識としてキャッチアップ 概念理解 説明、プレ分析できる 概念検証/相談

    基盤構築から運用まで データサイエンティスト協会 ・スキルチェックリスト SNS ・QDくん,チャエン 書籍 ・データ分析人材になる ・実践的データ基盤への処方箋 ・データサイエンティスト基本スキル84 セミナー/視聴 ・TECH PLAY ・AWS Summit Online ・SkillUpAI 統計セミナー ・和から株式会社 データサイエンティスト入門 ・AVILEN 情報収集 primeNumberさん ・トライアルから運用相談 AWSさん ・POCを実施 MENTA ・分野別に相談 コミュニティ参加
  18. 46 サポート内容 その他 定例 運用業務での関わり AWSさん ・ベストプラクティスのご紹介 ・検証課題の解消方法のご提示 進捗/情報共有 PJ以外での関わり

    primeNumberさん ・troccoのトラブルシューティング ・仕様/リリース予定のヒアリング primeNumberさん ・導入/検討フェーズ:月次 ・開発/改善フェーズ:隔月 CS/SA技術支援 primeNumberさん ・troccoのセミナーのご紹介 ・troccoユーザー会へのご招致 ・コラボイベント AWSさん ・AWSのGA/セミナーのご紹介 AWSさん ・導入/検討フェーズ:週次or隔週 ・開発/改善フェーズ:隔月
  19. 47 複数プラットフォーム/SaaS事業会社で連携 相互連携 情報連携 関係者FB 計画/検証状況の連携 課題感のインプット 開発・改善 ・ベストプラクティスのアジャスト ・事業成長に関わるプラン変更

    各企業内での情報連携 課題の展開/体制検討 企業間の連携 体制/ファクト強化 導入・検討 ・事業理解/課題理解 ・ベストプラクティスのヒアリング ・概念検証方法の調整 導入・検討 ・課題感/事例/計画の共有 ・サービスの評価FB 導入・検討 ・想定技術スタック ・アーキテクチャ ・データ管理 開発・改善 ・ベストプラクティスの相互連携 ・3社間での定例の開催 開発・改善 ・ベストプラクティスのアジャスト ・事業成長に関わるプラン変更