CUEBiC社のデジタルメディア事業を支えるデータ分析基盤の変遷

Slide 1

Slide 1 text

~わずか1年で4回のアーキテクチャー更新~ CUEBiC社のデジタルメディア事業を支えるデータ分析基盤の変遷株式会社キュービックテクノロジーエキスパートセンター Tech Lead 尾﨑勇太 2023.6.21 開示範囲:公開ドキュメント  1

Slide 2

Slide 2 text

株式会社キュービックとは? 2 株式会社キュービック /CUEBiC Inc. 社名事業設立資本金拠点 2006 年 10 月 24 日 31,000,000円人員約 300 名（単体）※インターンを含む約 484 名（連結) ※2022年3月現在デジタルメディア事業、集客支援事業ほか東京、福岡

Slide 3

Slide 3 text

3 ■これまでの実績創業時より一貫して取り組んできたデジタルメディア事業を軸に、たしかな成長を続けています。ヒト起点のマーケティング×デザインで、高品質なサービスやプロダクトを実現。それによりステークホルダーの皆さまから厚い信頼を獲得し、現在の実績につながっています。デジタルメディア業界のトップランナーとして成長し続ける

Slide 4

Slide 4 text

4 ■デジタルメディア事業ービジネスモデル

Slide 5

Slide 5 text

自己紹介 5 株式会社キュービック Tech Lead/データエンジニア尾﨑勇太（おざきゆうた）覚え方：尾崎豊(おざきゆたか)と一字違い 1990年和歌山県白浜町生まれ生息地：千葉県松戸市スキルセット 1. マネジメント/品質管理/データ分析 2. マイナスからゼロ、ゼロイチ 3. サーバーサイド(WEB/アプリ開発) @waichang111 経歴の詳細はてなブログ

Slide 6

Slide 6 text

セッション内容 6 1.データ分析基盤の概要と課題 2.Amazon Redshiftとtrocco®導入の経緯 3.導入後の変化・効果 4.今後の展望

Slide 7

Slide 7 text

7 1.データ分析基盤の概要と課題 2.Amazon Redshiftとtrocco®導入の経緯 3.導入後の変化・効果 4.今後の展望

Slide 8

Slide 8 text

導入時の課題/データウェアハウス構築の目的 8 ビジネスインパクト・メディアの売上予測値に誤差が発生：10〜20%程度・集計パフォーマンスの劣化：集計時間が2時間以上・機能改善の費用対効果が低減：半年〜1年(EX コンバージョンアップロード) エンジニアリング課題・技術負債/メインメンバーの離脱：不具合以外は仕様凍結課題：事業成長に分析基盤が耐えられなくなってきたデータウェアハウス構築の目的事業成長に耐えうるデータ基盤の構築・組織の売上目標のモニタリング精度向上・財務/管理会計データの統合管理ができる・データを起点とした定量的な意思決定ができる

Slide 9

Slide 9 text

既存のデータ分析環境 9 生データ加工データ集計データ設定マスタその他マスタクライアント別売上データ組織別売上データメディア別売上データ媒体別広告費データ組織別広告費/成果データ広告データ成果データ CUEBiC Analytics 広告/ASP RDS Tableau

Slide 10

Slide 10 text

既存のデータ分析環境でのそれぞれの役割 10 CUEBiC Analytics ・設定情報の入力・広告レポートのインポート・成果レポートのインポート・広告レポートの集計・成果レポートの集計・設定情報の入力・広告データのインポート・成果データのインポート・広告データの集計・成果データの集計・データの保持 - 集計設定データ - 広告/成果の生データ - 広告/成果の集計データ・データの加工 - 広告データ - データの加工・データのビジュアライゼーション CUEBiC Analytics RDS Tableau

Slide 11

Slide 11 text

変更アーキテクチャ 11 生データ加工データ集計データクライアント別売上データ組織別売上データメディア別売上データ媒体別広告費データ組織別広告費/成果データ     広告集計設定成果集計設定転送設定データマート trocco API 設定マスタその他マスタ Federated Query Oasis 広告/ASP Tableau

Slide 12

Slide 12 text

リニューアル後のデータ分析環境でのそれぞれの役割 12 CUEBiC Analytics ・データ抽出 - 広告データ - 成果データ・データ転送・データ整形・データの蓄積・データの加工・データの集計・データのビジュアライゼーション・集計設定・ビジネスサイド側が見る　ビジュアライゼーション・集計設定データ保存・その他マスタ保存 Oasis Tableau

Slide 13

Slide 13 text

13 1.データ分析基盤の概要と課題 2.Amazon Redshiftとtrocco®導入の経緯 3.導入後の変化・効果 4.今後の展望

Slide 14

Slide 14 text

データ分析リニューアルの背景 14 1.DX戦略の一環としてDWH化が計画されていた 2.CBAはメディアの収益を集計していたが、老朽化が進んでいた 3.そこでCBAの刷新とDWHのR&Dを並行で行うことに 14 尾﨑く〜んなんとかできない？えっ?! CBA?ETL?DWH? ※CBA:CUEBiC Analytics と思われたが、メイン推進担当が急遽離脱!!

Slide 15

Slide 15 text

15 アーキテクチャ変更:４回(マイナーチェンジ含む) 4月 R&D ①導入計画 ②troccoトライヤル/導入 ③AWSさんPOC ④リアーキテクト1回目 ⑤リアーキテクト2回目 ⑥運用リプレイス計画 ⑦運用リプレイス始動イベント 7月 10月開発/改善 1月 ⑥ ⑤ ① 2022年 2023年 1月 2月〜9月 ② ④ ⑦ R&D/開発ロードマップ ③ 相談運用保守サポート R&D 開発/改善 :2回 :2回 ★本契約開始 ★本契約開始

Slide 16

Slide 16 text

導入計画_CUEBiC Analyticsを分解 16 16 広告/成果インポート広告/成果集計集計設定データ収集を外部SaaS化代替できそう! 集計ロジックはローコード化成果エクスポート BIツール側でローコード化爆速キャッチアップ CUEBiC Analytics

Slide 17

Slide 17 text

導入計画_RDSからデータウェアハウスへの移行を検討 17 17 データ整形/蓄積データ活用データ収集 ETL DWH BI Tableau

Slide 18

Slide 18 text

プロジェクト体制 18 尾﨑 Project Manager CTO Project Owner 開発者1 Developer 開発者2 Developer DataEngineer 尾﨑(兼務) 環境設定 SRE primeNumber Technical Support AWS Technical Support CUEBiC 運用設計 DX 運用設計事業部 Oasis

Slide 19

Slide 19 text

19 プラン変更 2022年10月troccoをLightプランからStandardプランに変更 2023年6月Redshift ServerlessをRedshiftのRA3に変更 4月 R&D ①trocco導入計画 ②troccoトライヤル/導入 ③AWSさんPOC ④リアーキテクト1回目 ⑤リアーキテクト2回目 ⑥運用リプレイス計画 ⑦運用リプレイス始動イベント 7月 10月開発/改善 1月 ⑥ ⑤ ① 2022年 2023年 1月 2月〜9月 ② ④ ⑦ R&D/開発ロードマップ ③ 相談運用保守サポート Serverless→ Redshift RA3 ★本契約開始 ★本契約開始 Lightプラン→ Standardプラン

Slide 20

Slide 20 text

既存のアーキテクチャ 20 既存検討導入開発改善広告/ASP アーキテクチャ CUEBiC Analytics RDS Tableau データ抽出/整形/蓄積データ分析データ出力

Slide 21

Slide 21 text

検討時のアーキテクチャ 21 既存検討導入開発改善広告/ASP アーキテクチャデータ抽出生データ保存データ分析集計ロジックデータ蓄積 Tableau

Slide 22

Slide 22 text

導入時のアーキテクチャ 22 既存検討導入開発改善広告/ASP アーキテクチャデータ抽出集計ロジックデータ蓄積データ分析 Tableau

Slide 23

Slide 23 text

開発時のアーキテクチャ 23 既存検討導入開発改善広告/ASP アーキテクチャデータ抽出集計設定集計ロジックデータ蓄積データ分析 Oasis Tableau RDS

Slide 24

Slide 24 text

改善時のアーキテクチャ 24 既存検討導入開発改善広告/ASP アーキテクチャデータ抽出集計設定集計ロジックデータ蓄積データ分析 Oasis Tableau Tableau

Slide 25

Slide 25 text

trocco&Redshift導入前後比較 25 データ抽出集計設定集計ロジックデータ蓄積データ分析手動 Oasis CUEBiC Analytics Tableau Tableau RDS

Slide 26

Slide 26 text

trocco&Redshift導入前 26 広告/ASP 生データ加工データ集計データ設定マスタその他マスタクライアント別売上データ組織別売上データメディア別売上データ媒体別広告費データ組織別広告費/成果データ広告データ成果データ CUEBiC Analytics RDS Tableau

Slide 27

Slide 27 text

trocco&Redshift導入後 27 生データ加工データ集計データクライアント別売上データ組織別売上データメディア別売上データ媒体別広告費データ組織別広告費/成果データ   広告集計設定成果集計設定転送設定データマート trocco API 設定マスタその他マスタ Federated Query Oasis 広告/ASP Tableau

Slide 28

Slide 28 text

28 1.データ分析基盤の概要と課題 2.Amazon Redshiftとtrocco®導入の経緯 3.導入後の変化・効果 4.今後の展望

Slide 29

Slide 29 text

導入後の解決状況 29 ビジネスインパクト・メディアの売上予測値に誤差が発生：10〜20%程度・集計パフォーマンスの劣化：集計時間が2時間以上・機能改善の費用対効果が低減：半年〜1年エンジニアリング課題・技術負債/メインメンバーの離脱：不具合以外は仕様凍結課題：事業成長に分析基盤が耐えられなくなってきたデータウェアハウス構築の目的事業成長に耐えうるデータ基盤の構築・モニタリング数値の精度向上・財務/管理会計データの統合管理ができる・データを起点とした定量的な意思決定ができる事業成長に耐えうるデータ基盤の構築・組織の売上目標のモニタリング精度向上・財務/管理会計データの統合管理ができる・データを起点とした定量的な意思決定ができる ▲部分的に改善 ▲財務会計はスコープ外 ▲基盤構築のみ ⭕5〜10%に改善見込み ⭕集計時間が1時間以内に ⭕1〜2ヶ月に ⭕並行して取り込みが可能に

Slide 30

Slide 30 text

導入後の変化 30 DWHのポテンシャルを認識し、機械学習のR&Dにも前向きに業務内の課題が顕在化(分析フローの自動化依頼など) エンジニア/DX推進先端技術検証の社内整備/仮説検証を開始ローコードを武器にBPRを推進(顕在化していないマスタの統制など) 経営層/事業部

Slide 31

Slide 31 text

導入後の効果試算 31 運用ミスによる集計誤差を自動化により40%低減単価情報の精度向上により20%〜30%向上コミュニケーション負荷20%〜30%軽減８人月→４人月 Rubyエンジニア工数の64%をノーコード/SQLで代替 DXエンジニアの工数の37.5%を自動化により削減エンジニアリング工数集計誤差

Slide 32

Slide 32 text

リニューアル前後の利用技術  データ設定データ整形/集計アウトプットデータ収集 Rubyエンジニア工数の64%をノーコード/SQLで代替前後運用保守/技術負債返済運用保守/機能追加

Slide 33

Slide 33 text

リニューアル前後の業務フロー  データ設定エクスポート分析インポート DXエンジニアの工数の37.5%を自動化により削減前後 CUEBiC Analytics Oasis CUEBiC Analytics CUEBiC Analytics Tableau

Slide 34

Slide 34 text

34 1.データ分析基盤の概要と課題 2.Amazon Redshiftとtrocco®導入の経緯 3.導入後の変化・効果 4.今後の展望

Slide 35

Slide 35 text

今後は本格的なデータ利活用フェーズへ 35 広告/ASP 成果集計集計結果モニタリングユーザー行動一次情報推論結果施策統計広告/ASP Tableau

Slide 36

Slide 36 text

GCPで現場課題からデータ活用を先行仮説検証 36 Tableau API連携クライアント✖集客経路別の獲得件数統計情報分析アルゴリズムデータ設定/収集データ整形/集計/分析データ蓄積統計ツール分析元データデータ活用モニタリング Tableau Cloud SQL Google Colab

Slide 37

Slide 37 text

検証結果を移行し、AWSでAuto MLのPOCを計画 37 データ移行統計情報分析元データ統計情報分析元データ機械学習基盤構築 Cloud SQL

Slide 38

Slide 38 text

最後に 38

Slide 39

Slide 39 text

大変だったこと・社内に有識者が居ない・自分以外担当者がいない・どうやって進めれば良いか分からない・ベストプラクティスの事例が見つからない 39 💡視聴者の皆様へのアドバイス Redshiftは分からないなーどんな効果があるんですか？ DWH?

Slide 40

Slide 40 text

社外の事例/有識者を探しましょう・メンターの獲得・セミナー/SNS/書籍で事例の収集・oﬀ-jtで知見のキャッチアップ 40 💡視聴者の皆様へのアドバイス AWSさんはどう言ってたの? A社みたいに効率化できるってこと？あーそこがDWHになるってことですね

Slide 41

Slide 41 text

社内の理解者/協力者を増やしましょう・競合のデータ活用フェーズを調査する・データ活用の必要性をストーリーで説明する・データの目的を一緒に考える・小さな課題から一緒に成功体験 41 💡視聴者の皆様へのアドバイス AWSさんはどう言ってたの? A社みたいに効率化できるってこと？あーそこがDWHになるってことですね自己理解を深めつつ繰り返し社内共有共し、データリテラシーを向上させる

Slide 42

Slide 42 text

データドリブンな組織への大きな一歩はあなたにかかっているかも!! 42

Slide 43

Slide 43 text

43 ご清聴、ありがとうございました

Slide 44

Slide 44 text

対談 44

Slide 45

Slide 45 text

45 メンターの探し方フォロワー OFF JT 前提情報の把握業務知識としてキャッチアップ概念理解説明、プレ分析できる概念検証/相談基盤構築から運用までデータサイエンティスト協会・スキルチェックリスト SNS ・QDくん,チャエン書籍・データ分析人材になる・実践的データ基盤への処方箋・データサイエンティスト基本スキル84 セミナー/視聴・TECH PLAY ・AWS Summit Online ・SkillUpAI 統計セミナー・和から株式会社データサイエンティスト入門・AVILEN 情報収集 primeNumberさん・トライアルから運用相談 AWSさん・POCを実施 MENTA ・分野別に相談コミュニティ参加

Slide 46

Slide 46 text

46 サポート内容その他定例運用業務での関わり AWSさん・ベストプラクティスのご紹介・検証課題の解消方法のご提示進捗/情報共有 PJ以外での関わり primeNumberさん・troccoのトラブルシューティング・仕様/リリース予定のヒアリング primeNumberさん・導入/検討フェーズ：月次・開発/改善フェーズ：隔月 CS/SA技術支援 primeNumberさん・troccoのセミナーのご紹介・troccoユーザー会へのご招致・コラボイベント AWSさん・AWSのGA/セミナーのご紹介 AWSさん・導入/検討フェーズ：週次or隔週・開発/改善フェーズ：隔月

Slide 47

Slide 47 text

47 複数プラットフォーム/SaaS事業会社で連携相互連携情報連携関係者FB 計画/検証状況の連携課題感のインプット開発・改善・ベストプラクティスのアジャスト・事業成長に関わるプラン変更各企業内での情報連携課題の展開/体制検討企業間の連携体制/ファクト強化導入・検討・事業理解/課題理解・ベストプラクティスのヒアリング・概念検証方法の調整導入・検討・課題感/事例/計画の共有・サービスの評価FB 導入・検討・想定技術スタック・アーキテクチャ・データ管理開発・改善・ベストプラクティスの相互連携・3社間での定例の開催開発・改善・ベストプラクティスのアジャスト・事業成長に関わるプラン変更