限られた予算・時間の中でいかにプロジェクトを成功させたのかデータ利活用を見据えた分析基盤リニューアルの進め方株式会社キュービックテクノロジーエキスパートセンターTech Lead 尾﨑勇太2023.4.27開示範囲:公開ドキュメント 1
View Slide
株式会社キュービックとは?2株式会社キュービック /CUEBiC Inc.社名事業設立資本金拠点2006 年 10 月 24 日31,000,000円人員 約 300 名（単体）※インターンを含む約 484 名（連結) ※2022年3月現在デジタルメディア事業、集客支援事業 ほか東京、福岡
自己紹介3株式会社キュービック Tech Lead/データエンジニア尾﨑 勇太（おざき ゆうた）覚え方：尾崎豊(おざきゆたか)と一字違い1990年和歌山県白浜町生まれ生息地：千葉県松戸市スキルセット1. マネジメント/品質管理/データ分析2. マイナスからゼロ、ゼロイチ3. サーバーサイド(WEB/アプリ開発) @waichang111経歴の詳細はこちらをご参照ください和歌山県民の取扱説明書はこちらをご参照ください最近解放しましたはてなブログもやってます
セッション内容41.データ分析基盤の概要と課題2.Amazon Redshiftとtrocco®導入の経緯3.導入後の変化・効果4.今後の展望
データ分析基盤の概要と課題5
導入時の課題/データウェアハウス構築の目的6ビジネスインパクト・メディアの売上予測値に誤差が発生：10〜20%程度・集計パフォーマンスの劣化：集計時間が2時間以上・機能改善の費用対効果が低減：半年〜1年(EX コンバージョンアップロード)エンジニアリング課題・技術負債/メインメンバーの離脱：不具合以外は仕様凍結課題：事業成長に分析基盤が耐えられなくなってきたデータウェアハウス構築の目的事業成長に耐えうるデータ基盤の構築・組織の売上目標のモニタリング精度向上・財務/管理会計データの統合管理ができる・データを起点とした定量的な意思決定ができる
既存のデータ分析環境7広告/ASP生データ加工データ集計データ設定マスタその他マスタクライアント別売上データ組織別売上データメディア別売上データ媒体別広告費データ組織別広告費/成果データ広告データ成果データCUEBiC Analytics
既存のデータ分析環境でのそれぞれの役割8CUEBiC Analytics・設定情報の入力・広告レポートのインポート・成果レポートのインポート・広告レポートの集計・成果レポートの集計CUEBiC Analytics・設定情報の入力・広告データのインポート・成果データのインポート・広告データの集計・成果データの集計・データの保持- 集計設定データ- 広告/成果の生データ- 広告/成果の集計データ・データの加工- 広告データ- データの加工・データのビジュアライゼーション
リニューアル後のデータ分析環境9生データ加工データ集計データ設定マスタその他マスタクライアント別売上データ組織別売上データメディア別売上データ媒体別広告費データ組織別広告費/成果データユーザーインターフェース(Oasis) 広告集計設定成果集計設定転送設定データマートtrocco API広告/ASP
リニューアル後のデータ分析環境でのそれぞれの役割10CUEBiC Analytics・データ抽出- 広告データ- 成果データ・データ転送・データ整形・データの蓄積・データの加工・データの集計・データのビジュアライゼーション・集計設定ユーザーインターフェース(Oasis)・ビジネスサイド側が見るビジュアライゼーション
Amazon Redshiftとtrocco®導入の経緯11
データウェアハウスを構築する目的12SaaS>分析基盤>DWH>Tableauのデータ連携フロー確立● 複数SaaSに散らばったデータを統合管理する● 管理/財務会計データをDWHに継続的にデータの蓄積を行う● BIツールにて各部門がファクトの確認、戦略戦術策定を行うユースケースと期待される効果● 企業課題の可視化/早期課題解決● ビジネスサイドの定量データ把握/戦略実行(KPI/KGI/売上予測)● バックオフィス業務の合理化/効率化/ミスの低減※管理会計:自社の経営に活かすために作成する、社内向けの会計※財務会計:企業外部の利害関係者に対して、企業の財務状況を報告するために行う会計
データ分析リニューアルの背景131.DX戦略の一環としてDWH化が計画されていた2.CBAはメディアの収益を集計していたが、老朽化が進んでいた3.そこでCBAの刷新とDWHのR&Dを並行で行うことに13尾﨑く〜んなんとかできない？えっ?!CBA?ETL?DWH?※CBA:CUEBiC Analyticsと思われたが、メイン推進担当が急遽離脱!!
CUEBiC Analyticsを分解1414広告/成果インポート広告/成果集計集計設定データ収集を外部SaaS化代替できそう!集計ロジックはローコード化CUEBiC Analytics成果エクスポートBIツール側でローコード化爆速キャッチアップ
RDSからデータウェアハウスへの移行を検討1515データ整形/蓄積 データ活用データ収集ETL DWH BI
R&Dでデータ連携フローを検証1616広告媒体と親和性のあったtroccoをフロントに設定データフロー/サービスは検証を行いつつ確定
データウェアハウス導入前後比較17CUEBiCAnalyticsOasis データ抽出 集計設定 集計ロジック データ蓄積 データ分析手動
導入後の変化・効果18
導入後の解決状況19ビジネスインパクト・メディアの売上予測値に誤差が発生：10〜20%程度・集計パフォーマンスの劣化：集計時間が2時間以上・機能改善の費用対効果が低減：半年〜1年エンジニアリング課題・技術負債/メインメンバーの離脱：不具合以外は仕様凍結課題：事業成長に分析基盤が耐えられなくなってきたデータウェアハウス構築の目的事業成長に耐えうるデータ基盤の構築・モニタリング数値の精度向上・財務/管理会計データの統合管理ができる・データを起点とした定量的な意思決定ができる事業成長に耐えうるデータ基盤の構築・組織の売上目標のモニタリング精度向上・財務/管理会計データの統合管理ができる・データを起点とした定量的な意思決定ができる▲部分的に改善▲管理会計はスコープ外▲基盤構築のみ⭕5〜10%に改善見込み⭕集計時間が1時間以内に⭕1〜2ヶ月に⭕並行して取り込みが可能に
導入後の変化20DWHのポテンシャルを認識し、機械学習のR&Dにも前向きに業務内の課題が顕在化(分析フローの自動化依頼など)エンジニア/DX推進先端技術検証の社内整備/仮説検証を開始ローコードを武器にBPRを推進(顕在化していないマスタの統制など)経営層/事業部
導入後の効果試算21運用ミスによる集計誤差を自動化により40%低減単価情報の精度向上により20%〜30%向上コミュニケーション負荷20%〜30%軽減８人月→４人月Rubyエンジニア工数の64%をノーコード/SQLで代替DXエンジニアの工数の37.5%を自動化により削減エンジニアリング工数集計誤差
リニューアル前後の利用技術 データ設定 データ整形/集計 アウトプットデータ収集Rubyエンジニア工数の64%をノーコード/SQLで代替前後運用保守/技術負債返済運用保守/機能追加
CBA リニューアル前後の業務フロー データ設定 エクスポート 分析インポートDXエンジニアの工数の37.5%を自動化により削減前後CBA CBA Oasis
今後の展望24
今後の課題25現状CUEBic Analyticsのデータ収集/集計対象のメインはメディアの広告と成果データであり、その範囲内でデータウェアハウスへのリニューアルを実施中あるべき姿サイトの動向や売上といったモノの分析ではなく、カスタマーを分析し最適なユーザ体験を提供できる状態問題(現状とあるべき姿のGAP)ユーザーの一次情報などは蓄積/分析できていない課題(問題の解決策)中長期計画としてCubic Analyticsではリーチできていない情報収集+機械学習などの分析基盤構築を推進する問題が解消されることであるべき姿に近づく
今後は本格的なデータ利活用フェーズへ26広告/ASP成果集計集計結果モニタリングユーザー行動一次情報推論結果施策統計広告/ASP
27ご清聴、ありがとうございました
対談28
29R&Dから導入までの予算承認検証のゲートウェイが3ヶ月起き・・・経営へのレポート提出回数はトータルで5回・・・・💡リプレイスの過程で一番苦労したこと4月R&D①trocco導入計画②troccoトライヤル導入③リアーキテクト1回目④リアーキテクト2回目⑤運用リプレイス計画⑥運用リプレイス始動イベント 7月 10月導入/開発1月⑤④AWS社POC①2022年 2023年1月 2月〜9月②③⑥★経営レポート1回目★経営レポート2回目★経営レポート3回目★経営レポート4回目★経営レポート5回目
30💡導入時にやっておいてよかったこと1.社外で有識者を探そう・他社事例を取りに行こう2.社内データ利活用ステップを進めよう・DWH構築のその先は・・・?3.２年先までのアーキテクチャーを引こう・リプレイス中に事業フェーズが変わっても大丈夫?・運用者目線じゃなくてエンジニアで恣意的に進めていない？
31💡社内データ利活用ステップを進めよう4月R&D①trocco導入計画②troccoトライヤル導入③リアーキテクト1回目④リアーキテクト2回目⑤運用リプレイス計画⑥運用リプレイス始動イベント 7月 10月導入開発1月⑤④AWS社POC①2022年 2023年1月 2月〜9月②③⑥★経営レポート1回目★経営レポート2回目★経営レポート3回目★経営レポート4回目★経営レポート5回目データ利活用⑦等級/役割定義⑧人材育成要件⑨データ利活用概要策定⑩データロードマップ策定⑪データ利活用戦略策定⑫先行仮説検証⑦⑧⑨ ⑩⑪⑫
32💡削減された工数で今度は何に時間を使っていきたいかR&Dデータエンジニア初期構築1.Post CBAをベースに機械学習基盤を構築2.機械学習基盤を通したデータの利活用分析1.機械学習前の課題抽出/定義2.分析データの収集3.仮説をプレ分析にて検証4.有効仮説を元に機械学習を追加開発5.データの分析6.分析のレポートoff-jt+先端技術検証データサイエンティスト新規開発/運用機械学習基盤を構築 スペシャリスト登用
33💡やり直すなら気をつけたいこと331.本当に解決したい課題を打ち明けよう・アップセルの営業を警戒しすぎていない？・課題を打ち明けてフォロワーなってもらおう2.社内調整・R&Dをやりながら運用計画って実際難しい・でも引いちゃえ。予算承認も一気に取っちゃえ3.泥臭さを忘れない・全部自動化を目指さない。急がば回れ・無理ならスクリプトを仕込んでしまえ
cuebic9bic
jacobian
panda_program
lauravandoore
revolveconf
quramy
tenderlove
chrislema
eileencodes
sachag
jonyablonski
sonatard
frogandcode