使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs

本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。
https://techplay.jp/event/940296

データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツール名を思い浮かべるかもしれません。しかし、ビジネス価値を生み出すデータ基盤を開発するためには良いツールを選定するだけでなく、「どの技術をいつのタイミングで導入するか」「関係者をどのように巻き込むか」といった観点も重要です。この発表では、製造業のDXを進めるCADDiが直面したデータの課題と、利用状況に合わせて段階的にデータ基盤を拡充していった過程についてご紹介します。

Transcript

1. © CADDi Inc. © CADDi Inc. 1 使われないものを作るな！ 出⼝から作るデータ分析基盤 キャディ株式会社 鈴⽊天⾳ 播磨尚志
2. © CADDi Inc. 2 「データ分析基盤を作ってください」 と⾔われて 最初に何を考えますか？
3. © CADDi Inc. 3
4. © CADDi Inc. 4 ツールが思い浮かんだ⼈は要注意
5. © CADDi Inc. 5 ⼤事なのは「ニーズ」
6. © CADDi Inc. 6 ⼤事なのは「ニーズ」 という話をします
7. © CADDi Inc. 7 設計 調達 製造 販売 CADDi Drawer サプライチェーンにまつわる上流‧下流のデータを相互に補完し合う CADDi について簡単に紹介します CADDi Manufacturing 部品調達プラットフォーム 調達‧⽣産機能の⼀括請負による モノからサプライチェーンを変⾰ technology knowledge 図⾯データ活⽤クラウド 図⾯とその周辺データの資産化による データからサプライチェーンを変⾰
8. © CADDi Inc. 鈴⽊ 天⾳ • Drawer のデータマネジメント • DS → MLE → PdM → データエンジニア • たまに⾼校⽣に AI を教えています • Kaggle Master • 最近 LoL の世界⼤会がアツすぎる 播磨 尚志 • Manufacturing のデータマネジメント • コンサル → 事業会社へ • 協⼒会社のQCD改善標準化 → データエンジニア • 趣味は⼦育て/ゲーム/⽇曜⼤⼯/⾃転⾞ よろしくお願いします 8
9. © CADDi Inc. CADDi Drawer のデータ活⽤の歴史 9 〜 2023年9⽉ 2023年10⽉〜12⽉ 2024年1⽉〜3⽉ 2024年4⽉〜 ⼀⾔で⾔うと ごく⼀部が利⽤ データ基盤 爆速⽴ち上げ 仕組み整備と 利⽤者拡⼤ データで新しい 価値を届ける 導⼊ツール BigQuery trocco Looker Studio dbt データ エンジニア数 0 1 2 4
10. © CADDi Inc. CADDi Drawer のデータ活⽤の歴史 10 〜 2023年9⽉ 2023年10⽉〜12⽉ 2024年1⽉〜3⽉ 2024年4⽉〜 ⼀⾔で⾔うと ごく⼀部が利⽤ データ基盤 爆速⽴ち上げ 仕組み整備と 利⽤者拡⼤ データで新しい 価値を届ける 導⼊ツール BigQuery trocco Looker Studio dbt データ エンジニア数 0 1 2 4 このあたりの話をします
11. © CADDi Inc. © CADDi Inc. 「使われるデータ基盤」 を作ろう 11
12. © CADDi Inc. 存在するデータを⽚っ端からデータ基盤に⼊れたら？ 12 プロダクトのデータベースは当然連携するとして、Salesforceのデータも あったら便利そうだな。このチームではスプシでデータ管理してるからそ れも⼊れたほうがいいのかな。ログもあると分析の幅が広がるかな…… 後で追加するの⾯倒そうだし使いそうなデータは全部⼊れよう！
13. © CADDi Inc. そして来る問い合わせの嵐 13 Salesforceのデータおかしくない？ これじゃ分析できないよ ユーザーの⾏動分析したいんだけど SQLの書き⽅わからないから助けて ここの集計ロジックどうなってます？ うちの部署の数値と違うんだけど ⽬的のテーブル⾒つからないし いまいち使いづらいな……
14. © CADDi Inc. まずはデータに関するニーズを調べよう 14 • 誰も使わないものを作るのが⼀番⽣産性が低い • 想像で作ったものはたいてい使われない • 使いにくいという印象を持たれると野良データが増えてつらい
15. © CADDi Inc. CADDi Drawer のデータ活⽤の歴史 15 〜 2023年9⽉ 2023年10⽉〜12⽉ 2024年1⽉〜3⽉ 2024年4⽉〜 ⼀⾔で⾔うと ごく⼀部が利⽤ データ基盤 爆速⽴ち上げ 仕組み整備と 利⽤者拡⼤ データで新しい 価値を届ける 導⼊ツール BigQuery trocco Looker Studio dbt データ エンジニア数 0 1 2 4
16. © CADDi Inc. ニーズを知るため、各チームへのヒアリングを⾏う 16 職種を問わずヒアリングをし、情報の流れを調べる • 「普段の仕事で使っているツールを教えて下さい」 • 「このKPIの元となる数値ってどこにありますか？」 • 「KPIは誰がどれくらいの頻度で確認してます？」 • 「いま何の分析に⼯数を使っていますか？」 網羅的に聞くより、⽇常的に使⽤するものを優先的に探る ヒアリングを進める過程で 各チームの中にデータと向き合う仲間を作る
17. © CADDi Inc. ヒアリングでわかったこと 17 • みんなデータを⾒ようとはしている ☺ • 最新の数値を報告するため⼯数を多く使っている ◦ スプレッドシートでの分析が中⼼ ◦ データソースからスプシに ⽣データを⼿でコピペしているケースも存在 • 数値の引⽤‧孫引きが多く存在し、 数値の正しさを保証することが難しい
18. © CADDi Inc. どこから着⼿するかを決める 18 • メンバーが⽇常業務で使っているデータ • リーダーの意思決定に必要なデータ を中⼼に着⼿する優先順位を決める ボトムアップとトップダウン、 両⽅のユースケースをカバーすると理解が得やすい
19. © CADDi Inc. ユースケースの優先度の⾒極め 19 実際の物を取り扱う事業では、会計/契約に近いユースケースが確度が⾼そう 事例1 Bad 事例 • 案件の進捗管理（ステータス別の滞留リードタイム計測） • 会計/契約から遠いユースケース • そこそこ⼯数を投⼊して整備するも、業務側の運⽤変更に伴い消滅 事例2 Good 事例 • 良品率の分析、サプライパートナーの分析 • 会計/契約から近いユースケース • 導⼊後も安定して活⽤される
20. © CADDi Inc. 最終的に実現したいすがた 20 売上の数値が欲しい すごい データ基盤 図⾯数上限超えそうな顧客に連絡したい エラー出てないか監視したい うまく使えてない⼈をフォローしたい
21. © CADDi Inc. 既にニーズがあるデータを爆速で追加して提供する 21 売上の数値が欲しい 売上出したいなら Salesforce が必要だなぁ 分析しましたよ！ これ使ってみてください
22. © CADDi Inc. 既にニーズがあるデータを爆速で追加して提供する 22 売上の数値が欲しい • 別の場所で使いそうだから共通化しよう • 整理された形でモデリングしよう などの雑念を捨てるのが⼤事 SaaS も活⽤し速く価値を届けることに集中 売上出したいなら Salesforce が必要だなぁ 分析しましたよ！ これ使ってみてください
23. © CADDi Inc. 個別対応をしながら、少しずつデータソースを増やす 23 図⾯数上限超えそうな顧客に連絡したい 図⾯数はプロダクトの データベースに⼊ってるな データ置いておきました！ これ使ってみてください
24. © CADDi Inc. 繰り返すと、求められているデータだけが⼊った状態に 24 売上の数値が欲しい 図⾯数上限超えそうな顧客に連絡したい エラー出てないか監視したい うまく使えてない⼈をフォローしたい
25. © CADDi Inc. 新たなニーズも集まってくる 25 売上の数値が欲しいと思ってたけど 図⾯数もわかるんだ！それなら もっと活⽤してもらえる顧客がわかるかも 図⾯数上限超えそうな顧客に連絡したい 最近の傾向から予測したいんだけど 図⾯数以外の数値は使えないかな？ エラー出てないか監視したい 顧客の図⾯枚数によって インフラの負荷ってどれくらい違う？ うまく使えてない⼈をフォローしたい ユーザーの職種ってわからない？
26. © CADDi Inc. 「使える！」を増やし、データ基盤への信頼を⾼める 26 売上の数値が欲しいと思ってたけど 図⾯数もわかるんだ！それなら もっと活⽤してもらえる顧客がわかるかも 図⾯数上限超えそうな顧客に連絡したい 最近の傾向から予測したいんだけど 図⾯数以外の数値は使えないかな？ エラー出てないか監視したい 顧客の図⾯枚数によって インフラの負荷ってどれくらい違う？ うまく使えてない⼈をフォローしたい ユーザーの職種ってわからない？ データソースの幅を増やす ユースケースの幅を増やす
27. © CADDi Inc. ここまでのまとめ 27 1. ニーズがあることが確定しているところから作ろう ◦ 誰も使わないものを作るのが⼀番⽣産性が低い ◦ 各チームとの関係づくりを兼ねて職種問わずヒアリング 2. 早すぎる最適化を避けよう ◦ SaaSも活⽤しながら、速く価値を届ける ◦ ユーザーの信頼を貯めながら少しずつデータ基盤を育てる
28. © CADDi Inc. © CADDi Inc. 「使われているデータ基盤」の その先へ 28
29. © CADDi Inc. CADDi Drawer のデータ活⽤の歴史 29 〜 2023年9⽉ 2023年10⽉〜12⽉ 2024年1⽉〜3⽉ 2024年4⽉〜 ⼀⾔で⾔うと ごく⼀部が利⽤ データ基盤 爆速⽴ち上げ 仕組み整備と 利⽤者拡⼤ データで新しい 価値を届ける 導⼊ツール BigQuery trocco Looker Studio dbt データ エンジニア数 0 1 2 4
30. © CADDi Inc. 30 リファクタリングで データの流路をシンプルに
31. © CADDi Inc. データレイヤー｜レイヤーごとにテーブルの役割を変える 31 集計‧分析 データレイク 各地のデータを コピーしたテーブル データマート ユーザーが⾒たい軸で 分析した結果のテーブル
32. © CADDi Inc. 改善を続ける中で共通の分析が⾒えてきたら 32 データレイク 各地のデータを コピーしたテーブル データマート ユーザーが⾒たい軸で 分析した結果のテーブル 分析結果を別の分析で 利⽤したくなったら 共通の分析が出てきたシグナル
33. © CADDi Inc. 共通の分析が⾒えてきたら、DWH 層を作る 33 データレイク 各地のデータを コピーしたテーブル データマート ユーザーが⾒たい軸で 分析した結果のテーブル データウェアハウス 共通して使える データを⼊れたテーブル
34. © CADDi Inc. 必要に応じて層を追加していく 34 データレイク 各地のデータを コピーしたテーブル データマート ユーザーが⾒たい軸で 分析した結果のテーブル データウェアハウス 共通して使える データを⼊れたテーブル インターフェース 通貨の換算など最低限の 整形をしたテーブル
35. © CADDi Inc. 35 データ基盤をモニタリングして 信頼性を保つ
36. © CADDi Inc. データテストでデータの信頼性を⾼める 36 間違ったデータを提供することの悪影響は⼤きい • データ分析のUXが低下 • 間違った分析に基づく意思決定の失敗 dbt test でテストを書いて品質を担保 • 売上テーブルの⾦額カラムは⽋損があってはいけない • テナントテーブルの id カラムは重複があってはいけない • 契約テーブルの顧客 id カラムは顧客テーブルの id カラム に含まれている値でないといけない など
37. © CADDi Inc. 汚いデータを綺麗にするなら根本から 37 データテストを書くうちに「そんなわけない」データがたくさん⾒つかる • 売上に負の値？ • 同名のテナントが複数存在する！？ • 完全に同⼀な⾏が121件存在する？？！？！？！？ データ基盤の中でクレンジングしたくなるが、極⼒⼊⼝から綺麗にする データを作っている⼈と連携せずに⼩⼿先で綺麗にしてもいずれ問題が再発する ⾃動でのデータテストを中⼼に⼈の営みを変えていくことが重要
38. © CADDi Inc. データの品質をモニタリングする 38 Elementary を利⽤してデータテストをモニタリングする データ基盤が健全であることを担保しつつ改善サイクルを回す
39. © CADDi Inc. データリネージを⾒て重要なテーブルを⾒極める 39 dbt Docs や Elementary でデータリネージを可視化 利⽤されていないテーブルは撤退して、重要なテーブルに運⽤⼯数を割く → 結果的にデータの品質も上がる
40. © CADDi Inc. 使われるデータ基盤を保つサイクル 40 ニーズのあるデータを データ基盤に追加 共通点が⾒えてきたら リファクタリング 不要なテーブルを消して 持ち物を減らす データ基盤の状況を モニタリング
41. © CADDi Inc. まとめ 41 1. ニーズから始めよう ◦ 仲間づくりを兼ねて各チームにヒアリングしよう ◦ 素早くニーズを検証し、データが使われている状態に持っていこう 2. 使われるようになってから改善をしよう ◦ 共通で使われる処理が⾒えてきたらリファクタリングしよう ◦ テストとモニタリングを駆使して信頼性を⾼めよう