CUEBiC社のデジタルメディア事業を支えるデータ分析基盤の変遷

Transcript

1. ~わずか1年で4回のアーキテクチャー更新~ CUEBiC社のデジタルメディア事業 を支えるデータ分析基盤の変遷 株式会社キュービック テクノロジーエキスパートセンター Tech Lead 尾﨑勇太 2023.6.21 開示範囲:公開ドキュメント
 1
2. 株式会社キュービックとは? 2 株式会社キュービック /CUEBiC Inc. 社名 事業 設立 資本金 拠点 2006 年 10 月 24 日 31,000,000円 人員 約 300 名（単体）※インターンを含む 約 484 名（連結) ※2022年3月現在 デジタルメディア事業、集客支援事業 ほか 東京、福岡
3. 3 ▪これまでの実績 創業時より一貫して取り組んできたデジタルメディ ア事業を軸に、たしかな成長を続けています。 ヒト起点のマーケティング×デザインで、高品質な サービスやプロダクトを実現。 それによりステークホルダーの皆さまから厚い信頼 を獲得し、現在の実績につながっています。 デジタルメディア業界のトップラ ンナーとして成長し続ける
4. 4 ▪デジタルメディア事業 ー ビジネスモデル
5. 自己紹介 5 株式会社キュービック Tech Lead/データエンジニア 尾﨑 勇太（おざき ゆうた） 覚え方：尾崎豊(おざきゆたか)と一字違い 1990年和歌山県白浜町生まれ 生息地：千葉県松戸市 スキルセット 1. マネジメント/品質管理/データ分析 2. マイナスからゼロ、ゼロイチ 3. サーバーサイド(WEB/アプリ開発) @waichang111 経歴の詳細 はてなブログ
6. セッション内容 6 1.データ分析基盤の概要と課題 2.Amazon Redshiftとtrocco®導入の経緯 3.導入後の変化・効果 4.今後の展望
7. 7 1.データ分析基盤の概要と課題 2.Amazon Redshiftとtrocco®導入の経緯 3.導入後の変化・効果 4.今後の展望
8. 導入時の課題/データウェアハウス構築の目的 8 ビジネスインパクト ・メディアの売上予測値に誤差が発生：10〜20%程度 ・集計パフォーマンスの劣化：集計時間が2時間以上 ・機能改善の費用対効果が低減：半年〜1年(EX コンバージョンアップロード) エンジニアリング課題 ・技術負債/メインメンバーの離脱：不具合以外は仕様凍結 課題：事業成長に分析基盤が耐えられなくなってきた データウェアハウス構築の目的 事業成長に耐えうるデータ基盤の構築 ・組織の売上目標のモニタリング精度向上 ・財務/管理会計データの統合管理ができる ・データを起点とした定量的な意思決定ができる
9. 既存のデータ分析環境 9 生データ 加工データ 集計データ 設定マスタ その他マスタ クライアント別売上データ 組織別売上データ メディア別売上データ 媒体別広告費データ 組織別広告費/成果データ 広告データ 成果データ CUEBiC Analytics 広告/ASP RDS Tableau
10. 既存のデータ分析環境でのそれぞれの役割 10 CUEBiC Analytics ・設定情報の入力 ・広告レポートのインポート ・成果レポートのインポート ・広告レポートの集計 ・成果レポートの集計 ・設定情報の入力 ・広告データのインポート ・成果データのインポート ・広告データの集計 ・成果データの集計 ・データの保持 - 集計設定データ - 広告/成果の生データ - 広告/成果の集計データ ・データの加工 - 広告データ - データの加工 ・データのビジュアライゼー ション CUEBiC Analytics RDS Tableau
11. 変更アーキテクチャ 11 生データ 加工データ 集計データ クライアント別売上データ 組織別売上データ メディア別売上データ 媒体別広告費データ 組織別広告費/成果データ 
 
 広告集計設定 成果集計設定 転送設定 データマート trocco API 設定マスタ その他マスタ Federated Query Oasis 広告/ASP Tableau
12. リニューアル後のデータ分析環境でのそれぞれの役割 12 CUEBiC Analytics ・データ抽出 - 広告データ - 成果データ ・データ転送 ・データ整形 ・データの蓄積 ・データの加工 ・データの集計 ・データのビジュアライゼー ション ・集計設定 ・ビジネスサイド側が見る 　ビジュアライゼーション ・集計設定データ保存 ・その他マスタ保存 Oasis Tableau
13. 13 1.データ分析基盤の概要と課題 2.Amazon Redshiftとtrocco®導入の経緯 3.導入後の変化・効果 4.今後の展望
14. データ分析リニューアルの背景 14 1.DX戦略の一環としてDWH化が計画されていた 2.CBAはメディアの収益を集計していたが、老朽化が進んでいた 3.そこでCBAの刷新とDWHのR&Dを並行で行うことに 14 尾﨑く〜ん なんとかできない？ えっ?! CBA?ETL?DWH? ※CBA:CUEBiC Analytics と思われたが、メイン推進担当が急遽離脱!!
15. 15 アーキテクチャ変更:４回(マイナーチェンジ含む) 4月 R&D ①導入計画 ②troccoトライヤル/導入 ③AWSさんPOC ④リアーキテクト1回目 ⑤リアーキテクト2回目 ⑥運用リプレイス計画 ⑦運用リプレイス始動 イベント 7月 10月 開発/改善 1月 ⑥ ⑤ ① 2022年 2023年 1月 2月〜9月 ② ④ ⑦ R&D/開発ロードマップ ③ 相談 運用保守 サポート R&D 開発/改善 :2回 :2回 ★本契約開始 ★本契約開始
16. 導入計画_CUEBiC Analyticsを分解 16 16 広告/成果インポート 広告/成果集計 集計設定 データ収集を外部SaaS化 代替できそう! 集計ロジックはローコード化 成果エクスポート BIツール側でローコード化 爆速キャッチアップ CUEBiC Analytics
17. 導入計画_RDSからデータウェアハウスへの移行を検討 17 17 データ整形/蓄積 データ活用 データ収集 ETL DWH BI Tableau
18. プロジェクト体制 18 尾﨑 Project Manager CTO Project Owner 開発者1 Developer 開発者2 Developer DataEngineer 尾﨑(兼務) 環境設定 SRE primeNumber Technical Support AWS Technical Support CUEBiC 運用設計 DX 運用設計 事業部 Oasis
19. 19 プラン変更 2022年10月troccoをLightプランからStandardプランに変更 2023年6月Redshift ServerlessをRedshiftのRA3に変更 4月 R&D ①trocco導入計画 ②troccoトライヤル/導入 ③AWSさんPOC ④リアーキテクト1回目 ⑤リアーキテクト2回目 ⑥運用リプレイス計画 ⑦運用リプレイス始動 イベント 7月 10月 開発/改善 1月 ⑥ ⑤ ① 2022年 2023年 1月 2月〜9月 ② ④ ⑦ R&D/開発ロードマップ ③ 相談 運用保守 サポート Serverless→ Redshift RA3 ★本契約開始 ★本契約開始 Lightプラン→ Standardプラン
20. 既存のアーキテクチャ 20 既存 検討 導入 開発 改善 広告/ASP アーキテクチャ CUEBiC Analytics RDS Tableau データ抽出/整形/蓄積 データ分析 データ出力
21. 検討時のアーキテクチャ 21 既存 検討 導入 開発 改善 広告/ASP アーキテクチャ データ抽出 生データ保存 データ分析 集計ロジック データ蓄積 Tableau
22. 導入時のアーキテクチャ 22 既存 検討 導入 開発 改善 広告/ASP アーキテクチャ データ抽出 集計ロジック データ蓄積 データ分析 Tableau
23. 開発時のアーキテクチャ 23 既存 検討 導入 開発 改善 広告/ASP アーキテクチャ データ抽出 集計設定 集計ロジック データ蓄積 データ分析 Oasis Tableau RDS
24. 改善時のアーキテクチャ 24 既存 検討 導入 開発 改善 広告/ASP アーキテクチャ データ抽出 集計設定 集計ロジック データ蓄積 データ分析 Oasis Tableau Tableau
25. trocco&Redshift導入前後比較 25 データ抽出 集計設定 集計ロジック データ蓄積 データ分析 手動 Oasis CUEBiC Analytics Tableau Tableau RDS
26. trocco&Redshift導入前 26 広告/ASP 生データ 加工データ 集計データ 設定マスタ その他マスタ クライアント別売上データ 組織別売上データ メディア別売上データ 媒体別広告費データ 組織別広告費/成果データ 広告データ 成果データ CUEBiC Analytics RDS Tableau
27. trocco&Redshift導入後 27 生データ 加工データ 集計データ クライアント別売上データ 組織別売上データ メディア別売上データ 媒体別広告費データ 組織別広告費/成果データ 
 広告集計設定 成果集計設定 転送設定 データマート trocco API 設定マスタ その他マスタ Federated Query Oasis 広告/ASP Tableau
28. 28 1.データ分析基盤の概要と課題 2.Amazon Redshiftとtrocco®導入の経緯 3.導入後の変化・効果 4.今後の展望
29. 導入後の解決状況 29 ビジネスインパクト ・メディアの売上予測値に誤差が発生：10〜20%程度 ・集計パフォーマンスの劣化：集計時間が2時間以上 ・機能改善の費用対効果が低減：半年〜1年 エンジニアリング課題 ・技術負債/メインメンバーの離脱：不具合以外は仕様凍結 課題：事業成長に分析基盤が耐えられなくなってきた データウェアハウス構築の目的 事業成長に耐えうるデータ基盤の構築 ・モニタリング数値の精度向上 ・財務/管理会計データの統合管理ができる ・データを起点とした定量的な意思決定ができる 事業成長に耐えうるデータ基盤の構築 ・組織の売上目標のモニタリング精度向上 ・財務/管理会計データの統合管理ができる ・データを起点とした定量的な意思決定ができる ▲部分的に改善 ▲財務会計はスコープ外 ▲基盤構築のみ ⭕5〜10%に改善見込み ⭕集計時間が1時間以内に ⭕1〜2ヶ月に ⭕並行して取り込みが可能に
30. 導入後の変化 30 DWHのポテンシャルを認識し、機械学習のR&Dにも前向きに 業務内の課題が顕在化(分析フローの自動化依頼など) エンジニア/DX推進 先端技術検証の社内整備/仮説検証を開始 ローコードを武器にBPRを推進(顕在化していないマスタの統制など) 経営層/事業部
31. 導入後の効果試算 31 運用ミスによる集計誤差を自動化により40%低減 単価情報の精度向上により20%〜30%向上 コミュニケーション負荷20%〜30%軽減 ８人月→４人月 Rubyエンジニア工数の64%をノーコード/SQLで代替 DXエンジニアの工数の37.5%を自動化により削減 エンジニアリング工数 集計誤差
32. リニューアル前後の利用技術
 データ設定 データ整形/集計 アウトプット データ収集 Rubyエンジニア工数の64%をノーコード/SQLで代替 前 後 運用保守/技術負債返済 運用保守/機能追加
33. リニューアル前後の業務フロー
 データ設定 エクスポート 分析 インポート DXエンジニアの工数の37.5%を自動化により削減 前 後 CUEBiC Analytics Oasis CUEBiC Analytics CUEBiC Analytics Tableau
34. 34 1.データ分析基盤の概要と課題 2.Amazon Redshiftとtrocco®導入の経緯 3.導入後の変化・効果 4.今後の展望
35. 今後は本格的なデータ利活用フェーズへ 35 広告/ASP 成果集計 集計結果 モニタリング ユーザー行動 一次情報 推論結果 施策統計 広告/ASP Tableau
36. GCPで現場課題からデータ活用を先行仮説検証 36 Tableau API連携 クライアント✖集客経路別 の獲得件数 統計情報 分析アルゴリズム データ設定/収集 データ整形/集計/分析 データ蓄積 統計ツール 分析元データ データ活用 モニタリング Tableau Cloud SQL Google Colab
37. 検証結果を移行し、AWSでAuto MLのPOCを計画 37 データ移行 統計情報 分析元データ 統計情報 分析元データ 機械学習基盤構築 Cloud SQL
38. 最後に 38
39. 大変だったこと ・社内に有識者が居ない ・自分以外担当者がいない ・どうやって進めれば良いか分からない ・ベストプラクティスの事例が見つからない 39 💡視聴者の皆様へのアドバイス Redshiftは分からな いなー どんな効果があるん ですか？ DWH?
40. 社外の事例/有識者を探しましょう ・メンターの獲得 ・セミナー/SNS/書籍で事例の収集 ・off-jtで知見のキャッチアップ 40 💡視聴者の皆様へのアドバイス AWSさんはどう言って たの? A社みたいに効率化で きるってこと？ あーそこがDWHにな るってことですね
41. 社内の理解者/協力者を増やしましょう ・競合のデータ活用フェーズを調査する ・データ活用の必要性をストーリーで説明する ・データの目的を一緒に考える ・小さな課題から一緒に成功体験 41 💡視聴者の皆様へのアドバイス AWSさんはどう言って たの? A社みたいに効率化で きるってこと？ あーそこがDWHにな るってことですね 自己理解を深めつつ繰り返し社内共有共し、 データリテラシーを向上させる
42. データドリブンな組織への大きな一歩は あなたにかかっているかも!! 42
43. 43 ご清聴、ありがとうございました
44. 対談 44
45. 45 メンターの探し方 フォロワー OFF JT 前提情報の把握 業務知識としてキャッチアップ 概念理解 説明、プレ分析できる 概念検証/相談 基盤構築から運用まで データサイエンティスト協会 ・スキルチェックリスト SNS ・QDくん,チャエン 書籍 ・データ分析人材になる ・実践的データ基盤への処方箋 ・データサイエンティスト基本スキル84 セミナー/視聴 ・TECH PLAY ・AWS Summit Online ・SkillUpAI 統計セミナー ・和から株式会社 データサイエンティスト入門 ・AVILEN 情報収集 primeNumberさん ・トライアルから運用相談 AWSさん ・POCを実施 MENTA ・分野別に相談 コミュニティ参加
46. 46 サポート内容 その他 定例 運用業務での関わり AWSさん ・ベストプラクティスのご紹介 ・検証課題の解消方法のご提示 進捗/情報共有 PJ以外での関わり primeNumberさん ・troccoのトラブルシューティング ・仕様/リリース予定のヒアリング primeNumberさん ・導入/検討フェーズ：月次 ・開発/改善フェーズ：隔月 CS/SA技術支援 primeNumberさん ・troccoのセミナーのご紹介 ・troccoユーザー会へのご招致 ・コラボイベント AWSさん ・AWSのGA/セミナーのご紹介 AWSさん ・導入/検討フェーズ：週次or隔週 ・開発/改善フェーズ：隔月
47. 47 複数プラットフォーム/SaaS事業会社で連携 相互連携 情報連携 関係者FB 計画/検証状況の連携 課題感のインプット 開発・改善 ・ベストプラクティスのアジャスト ・事業成長に関わるプラン変更 各企業内での情報連携 課題の展開/体制検討 企業間の連携 体制/ファクト強化 導入・検討 ・事業理解/課題理解 ・ベストプラクティスのヒアリング ・概念検証方法の調整 導入・検討 ・課題感/事例/計画の共有 ・サービスの評価FB 導入・検討 ・想定技術スタック ・アーキテクチャ ・データ管理 開発・改善 ・ベストプラクティスの相互連携 ・3社間での定例の開催 開発・改善 ・ベストプラクティスのアジャスト ・事業成長に関わるプラン変更