Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【キュービック】データ利活用を見据えた分析基盤リニューアルの進め方

CUEBiC Inc.
April 27, 2023
410

 【キュービック】データ利活用を見据えた分析基盤リニューアルの進め方

CUEBiC Inc.

April 27, 2023
Tweet

More Decks by CUEBiC Inc.

Transcript

  1. 限られた予算・時間の中でいかにプロジェクトを成功させたのか
    データ利活用を見据えた
    分析基盤リニューアルの進め方
    株式会社キュービック
    テクノロジーエキスパートセンター
    Tech Lead 尾﨑勇太
    2023.4.27
    開示範囲:公開ドキュメント

    1

    View Slide

  2. 株式会社キュービックとは?
    2
    株式会社キュービック /CUEBiC Inc.
    社名
    事業
    設立
    資本金
    拠点
    2006 年 10 月 24 日
    31,000,000円
    人員 約 300 名(単体)※インターンを含む
    約 484 名(連結) ※2022年3月現在
    デジタルメディア事業、集客支援事業 ほか
    東京、福岡

    View Slide

  3. 自己紹介
    3
    株式会社キュービック Tech Lead/データエンジニア
    尾﨑 勇太(おざき ゆうた)
    覚え方:尾崎豊(おざきゆたか)と一字違い
    1990年和歌山県白浜町生まれ
    生息地:千葉県松戸市
    スキルセット
    1. マネジメント/品質管理/データ分析
    2. マイナスからゼロ、ゼロイチ
    3. サーバーサイド(WEB/アプリ開発) @waichang111
    経歴の詳細はこちらをご参照ください
    和歌山県民の取扱説明書はこちらをご参照ください
    最近解放しました
    はてなブログもやってます

    View Slide

  4. セッション内容
    4
    1.データ分析基盤の概要と課題
    2.Amazon Redshiftとtrocco®導入の経緯
    3.導入後の変化・効果
    4.今後の展望

    View Slide

  5. データ分析基盤の概要と課題
    5

    View Slide

  6. 導入時の課題/データウェアハウス構築の目的
    6
    ビジネスインパクト
    ・メディアの売上予測値に誤差が発生:10〜20%程度
    ・集計パフォーマンスの劣化:集計時間が2時間以上
    ・機能改善の費用対効果が低減:半年〜1年(EX コンバージョンアップロード)
    エンジニアリング課題
    ・技術負債/メインメンバーの離脱:不具合以外は仕様凍結
    課題:事業成長に分析基盤が耐えられなくなってきた
    データウェアハウス構築の目的
    事業成長に耐えうるデータ基盤の構築
    ・組織の売上目標のモニタリング精度向上
    ・財務/管理会計データの統合管理ができる
    ・データを起点とした定量的な意思決定ができる

    View Slide

  7. 既存のデータ分析環境
    7
    広告/ASP
    生データ
    加工データ
    集計データ
    設定マスタ
    その他マスタ
    クライアント別売上データ
    組織別売上データ
    メディア別売上データ
    媒体別広告費データ
    組織別広告費/成果データ
    広告データ
    成果データ
    CUEBiC Analytics

    View Slide

  8. 既存のデータ分析環境でのそれぞれの役割
    8
    CUEBiC Analytics
    ・設定情報の入力
    ・広告レポートのインポート
    ・成果レポートのインポート
    ・広告レポートの集計
    ・成果レポートの集計
    CUEBiC Analytics
    ・設定情報の入力
    ・広告データのインポート
    ・成果データのインポート
    ・広告データの集計
    ・成果データの集計
    ・データの保持
    - 集計設定データ
    - 広告/成果の生データ
    - 広告/成果の集計データ
    ・データの加工
    - 広告データ
    - データの加工
    ・データのビジュアライゼー
    ション

    View Slide

  9. リニューアル後のデータ分析環境
    9
    生データ
    加工データ
    集計データ
    設定マスタ
    その他マスタ
    クライアント別売上データ
    組織別売上データ
    メディア別売上データ
    媒体別広告費データ
    組織別広告費/成果データ
    ユーザーインターフェース(Oasis)


    広告集計設定
    成果集計設定
    転送設定
    データマート
    trocco API
    広告/ASP

    View Slide

  10. リニューアル後のデータ分析環境でのそれぞれの役割
    10
    CUEBiC Analytics
    ・データ抽出
    - 広告データ
    - 成果データ
    ・データ転送
    ・データ整形
    ・データの蓄積
    ・データの加工
    ・データの集計
    ・データのビジュアライゼー
    ション
    ・集計設定
    ユーザーインターフェース(Oasis)
    ・ビジネスサイド側が見るビ
    ジュアライゼーション

    View Slide

  11. Amazon Redshiftとtrocco®導入の経緯
    11

    View Slide

  12. データウェアハウスを構築する目的
    12
    SaaS>分析基盤>DWH>Tableauのデータ連携フロー確立
    ● 複数SaaSに散らばったデータを統合管理する
    ● 管理/財務会計データをDWHに継続的にデータの蓄積を行う
    ● BIツールにて各部門がファクトの確認、戦略戦術策定を行う
    ユースケースと期待される効果
    ● 企業課題の可視化/早期課題解決
    ● ビジネスサイドの定量データ把握/戦略実行(KPI/KGI/売上予測)
    ● バックオフィス業務の合理化/効率化/ミスの低減
    ※管理会計:自社の経営に活かすために作成する、社内向けの会計
    ※財務会計:企業外部の利害関係者に対して、企業の財務状況を報告するために行う会計

    View Slide

  13. データ分析リニューアルの背景
    13
    1.DX戦略の一環としてDWH化が計画されていた
    2.CBAはメディアの収益を集計していたが、老朽化が進んでいた
    3.そこでCBAの刷新とDWHのR&Dを並行で行うことに
    13
    尾﨑く〜ん
    なんとかできない?
    えっ?!
    CBA?ETL?DWH?
    ※CBA:CUEBiC Analytics
    と思われたが、メイン推進担当が急遽離脱!!

    View Slide

  14. CUEBiC Analyticsを分解
    14
    14
    広告/成果インポート
    広告/成果集計
    集計設定
    データ収集を外部SaaS化
    代替できそう!
    集計ロジックはローコード化
    CUEBiC Analytics
    成果エクスポート
    BIツール側でローコード化
    爆速キャッチアップ

    View Slide

  15. RDSからデータウェアハウスへの移行を検討
    15
    15
    データ整形/蓄積 データ活用
    データ収集
    ETL DWH BI

    View Slide

  16. R&Dでデータ連携フローを検証
    16
    16
    広告媒体と親和性のあったtroccoをフロントに設定
    データフロー/サービスは検証を行いつつ確定

    View Slide

  17. データウェアハウス導入前後比較
    17
    CUEBiC
    Analytics
    Oasis

    データ抽出 集計設定 集計ロジック データ蓄積 データ分析
    手動

    View Slide

  18. 導入後の変化・効果
    18

    View Slide

  19. 導入後の解決状況
    19
    ビジネスインパクト
    ・メディアの売上予測値に誤差が発生:10〜20%程度
    ・集計パフォーマンスの劣化:集計時間が2時間以上
    ・機能改善の費用対効果が低減:半年〜1年
    エンジニアリング課題
    ・技術負債/メインメンバーの離脱:不具合以外は仕様凍結
    課題:事業成長に分析基盤が耐えられなくなってきた
    データウェアハウス構築の目的
    事業成長に耐えうるデータ基盤の構築
    ・モニタリング数値の精度向上
    ・財務/管理会計データの統合管理ができる
    ・データを起点とした定量的な意思決定ができる
    事業成長に耐えうるデータ基盤の構築
    ・組織の売上目標のモニタリング精度向上
    ・財務/管理会計データの統合管理ができる
    ・データを起点とした定量的な意思決定ができる
    ▲部分的に改善
    ▲管理会計はスコープ外
    ▲基盤構築のみ
    ⭕5〜10%に改善見込み
    ⭕集計時間が1時間以内に
    ⭕1〜2ヶ月に
    ⭕並行して取り込みが可能に

    View Slide

  20. 導入後の変化
    20
    DWHのポテンシャルを認識し、機械学習のR&Dにも前向きに
    業務内の課題が顕在化(分析フローの自動化依頼など)
    エンジニア/DX推進
    先端技術検証の社内整備/仮説検証を開始
    ローコードを武器にBPRを推進(顕在化していないマスタの統制など)
    経営層/事業部

    View Slide

  21. 導入後の効果試算
    21
    運用ミスによる集計誤差を自動化により40%低減
    単価情報の精度向上により20%〜30%向上
    コミュニケーション負荷20%〜30%軽減
    8人月→4人月
    Rubyエンジニア工数の64%をノーコード/SQLで代替
    DXエンジニアの工数の37.5%を自動化により削減
    エンジニアリング工数
    集計誤差

    View Slide

  22. リニューアル前後の利用技術

    データ設定 データ整形/集計 アウトプット
    データ収集
    Rubyエンジニア工数の64%をノーコード/SQLで代替


    運用保守/技術負債返済
    運用保守/機能追加

    View Slide

  23. CBA

    リニューアル前後の業務フロー

    データ設定 エクスポート 分析
    インポート
    DXエンジニアの工数の37.5%を自動化により削減


    CBA

    CBA

    Oasis


    View Slide

  24. 今後の展望
    24

    View Slide

  25. 今後の課題
    25
    現状
    CUEBic Analyticsのデータ収集/集計対象のメインはメディアの広告と成果データ
    であり、その範囲内でデータウェアハウスへのリニューアルを実施中
    あるべき姿
    サイトの動向や売上といったモノの分析ではなく、
    カスタマーを分析し最適なユーザ体験を提供できる状態
    問題(現状とあるべき姿のGAP)
    ユーザーの一次情報などは蓄積/分析できていない
    課題(問題の解決策)
    中長期計画としてCubic Analyticsではリーチできていない
    情報収集+機械学習などの分析基盤構築を推進する
    問題が解消されることで
    あるべき姿に近づく

    View Slide

  26. 今後は本格的なデータ利活用フェーズへ
    26
    広告/ASP
    成果集計
    集計結果
    モニタリング
    ユーザー行動
    一次情報
    推論結果
    施策統計
    広告/ASP

    View Slide

  27. 27
    ご清聴、ありがとうございました

    View Slide

  28. 対談
    28

    View Slide

  29. 29
    R&Dから導入までの予算承認
    検証のゲートウェイが3ヶ月起き・・・
    経営へのレポート提出回数はトータルで5回・・・・
    💡リプレイスの過程で一番苦労したこと
    4月
    R&D
    ①trocco導入計画
    ②troccoトライヤル導入
    ③リアーキテクト1回目
    ④リアーキテクト2回目
    ⑤運用リプレイス計画
    ⑥運用リプレイス始動
    イベント 7月 10月
    導入/開発
    1月


    AWS社
    POC

    2022年 2023年
    1月 2月〜9月



    ★経営レポート1回目
    ★経営レポート2回目
    ★経営レポート3回目
    ★経営レポート4回目
    ★経営レポート5回目

    View Slide

  30. 30
    💡導入時にやっておいてよかったこと
    1.社外で有識者を探そう
    ・他社事例を取りに行こう
    2.社内データ利活用ステップを進めよう
    ・DWH構築のその先は・・・?
    3.2年先までのアーキテクチャーを引こう
    ・リプレイス中に事業フェーズが変わっても大丈夫?
    ・運用者目線じゃなくてエンジニアで恣意的に進めていない?

    View Slide

  31. 31
    💡社内データ利活用ステップを進めよう
    4月
    R&D
    ①trocco導入計画
    ②troccoトライヤル導入
    ③リアーキテクト1回目
    ④リアーキテクト2回目
    ⑤運用リプレイス計画
    ⑥運用リプレイス始動
    イベント 7月 10月
    導入
    開発
    1月


    AWS社
    POC

    2022年 2023年
    1月 2月〜9月



    ★経営レポート1回目
    ★経営レポート2回目
    ★経営レポート3回目
    ★経営レポート4回目
    ★経営レポート5回目
    データ
    利活用
    ⑦等級/役割定義
    ⑧人材育成要件
    ⑨データ利活用概要策定
    ⑩データロードマップ策定
    ⑪データ利活用戦略策定
    ⑫先行仮説検証


    ⑨ ⑩


    View Slide

  32. 32
    💡削減された工数で今度は何に時間を使っていきたいか
    R&D
    データエンジニア
    初期構築
    1.Post CBAをベースに機械学習基盤を構築
    2.機械学習基盤を通したデータの利活用分析
    1.機械学習前の課題抽出
    /定義
    2.分析データの収集
    3.仮説をプレ分析にて検証
    4.有効仮説を元に機械学習を追加開発
    5.データの分析
    6.分析のレポート
    off-jt+先端技術検証
    データサイエンティスト
    新規開発/運用
    機械学習基盤を構築 スペシャリスト登用

    View Slide

  33. 33
    💡やり直すなら気をつけたいこと
    33
    1.本当に解決したい課題を打ち明けよう
    ・アップセルの営業を警戒しすぎていない?
    ・課題を打ち明けてフォロワーなってもらおう
    2.社内調整
    ・R&Dをやりながら運用計画って実際難しい
    ・でも引いちゃえ。予算承認も一気に取っちゃえ
    3.泥臭さを忘れない
    ・全部自動化を目指さない。急がば回れ
    ・無理ならスクリプトを仕込んでしまえ

    View Slide