データ組織ゼロから投資を得るまでの軌跡と未来図 〜AIの前にやるべきこと〜 / Building a Data Organization from Scratch: The Journey to Securing Investment and a Vision for the Future

2025年11月6日に開催された「Data Engineering Summit」の登壇資料です。
https://data-engineering-summit.findy-tools.io/2025

Transcript

1. AIの前にやるべきこと データ組織ゼロから 投資を得るまでの軌跡と未来図 2025.11.06 Data Engineering Summit 本江 雄⼈
2. ⾃⼰紹介 名前: 本江 雄⼈（ほんごう ゆうと） 現職: データチーム ⽴ち上げ〜運⽤ 現在に⾄る - データ基盤の運⽤ - 社内データの収集と活⽤ 経歴: - ソフトウェアエンジニア, Git導⼊, Unit Test導⼊ 等 - スクラムマスター, PjM, 開発統括, フロー効率改善 等 - （現職） データチーム⽴ち上げ、データ基盤運⽤ 最近勉強したこと: （データとAIをコツコツ勉強中） - 個⼈情報保護⼠（2025~） - データサイエンティスト検定（2024~） - G検定（2024~） © kaonavi, inc. 1
3. ⾃⼰紹介 弊社での取組の資料: - 2024.04.16 DevOps Days Tokyo 2024 「カオナビの利⽤実績データをアウトカムにつなげる旅」 - 2024.12.12 Qiita 「AI活⽤による ⼈的資本データ収集の効率化 に挑戦」 - 2025.05.01 Qiita 「データ活⽤の裾野を広げる：mcp-snowflake-serverの  導⼊と データ分析の変化への期待」 - 2025.10.30 kaonavi Tech Talk #21 「データとAIで明らかになる、私達の課題  ~Snowflake MCP, Salesforce MCP に触れて~」 - 2025.11.04 Data Engineering Summit 前夜祭 LT 「データモデリングにもUnitTestみたいなのないの？🤔」 © kaonavi, inc. 2
4. はじめに Data Engineering Summitのテーマ「⽣成AI時代のデータ基盤構築」に対して 本⽇の内容は「AI-Ready」のさらに⼿前、 「AI-ReadyになるためのReady」といった位置づけの話 「必要な⼈（利⽤するAI）」が「必要なデータ」に「必要なタイミング」で「安全‧容易に」 データ活⽤できるというデータ整備が前提として必要だと考えます © kaonavi, inc. 3
5. はじめに 2023年から2025年に向けた取り組みの変遷 2023年 ⼊社 Snowflake PoC 2024年 収集データ拡⼤ 活⽤提案 2025年 活⽤推進 データ基盤の再構築 © kaonavi, inc. 4 kaonaviの利⽤実績 Salesforce営業情報 GitLab,RedMine 開発状況可視化 Marketo,GA4 マーケティング情報 データエンジニアリング 投資獲得 PoC死回避
6. はじめに データ基盤‧データ組織がない状態から、 どのようにボトムアップで社内にデータ活⽤を広め、 データ整備に対する投資をもらったかの１事例を発表します © kaonavi, inc. 5
7. はじめに 「AI活⽤が叫ばれてるけど、データ基盤ない！」 「社内にデータ活⽤‧管理チームがないが、やりたい！」 etc… という⽅への勇気になれば幸いです © kaonavi, inc. 6
8. Agenda 1 1歩⽬：データ組織‧基盤「ゼロ」からのデータが⾒れる状態へ 2 2歩⽬：暗中模索の⾏脚 データ活⽤の総量を増やす 3 3歩⽬：技術的負債解消のため データ基盤再構築の投資獲得とさらなる成⻑のための整備 4 現状の課題解決のための新データ基盤 5 未来へ向けて 活⽤拡⼤のためのディメンショナルモデリング導⼊とその後 © kaonavi, inc. 7
9. 01 1歩⽬ データ組織‧基盤「ゼロ」からの データが⾒れる状態へ © kaonavi, inc. 8
10. ⼊社直後 開発プロセス課題ヒアリング ⼊社時の肩書は「DevOpsエンジニア」、プロセス課題を主体的に解決する役割を期待される © kaonavi, inc. 9 2024.04.16 DevOps Days Tokyo 2024 「カオナビの利用実績をアウトカムへつなげる旅」
11. 2つ部署の「⾒れない」問題 ▪ 開発（製品の企画‧開発）側の「みれない」問題 - 新機能の開発が急務な状況により、既存機能の価値評価のプロセスが⼀部消失 - 特殊契約顧客の課題により、容易にデータにアクセスできない状況（権限、インフラ） © kaonavi, inc. 10 2024.04.16 DevOps Days Tokyo 2024 「カオナビの利用実績をアウトカムへつなげる旅」
12. 2つ部署の「⾒れない」問題 ▪ ビジネス（カスタマーサクセス‧販促）側の「⾒れない」問題 - 新機能が多くリリースされるにも関わらず、顧客の利⽤状況を把握ができないため、 より製品を活⽤してもらうための作戦⽴てが困難 © kaonavi, inc. 11 2024.04.16 DevOps Days Tokyo 2024 「カオナビの利用実績をアウトカムへつなげる旅」
13. 1歩⽬：データを⾒れる状態にする © kaonavi, inc. 12 確実にヤバい データ課題の解決 × データ基盤の導⼊(PoC)
14. データ課題解決とデータ基盤導⼊ © kaonavi, inc. 13 データ課題解決の際に、データ基盤の導⼊をしてしまうことが⼤事だと考える ❄Snowflake データソース 転送・マスク ・フィルタ データ蓄積 データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB データ加工 … AWS 転送・加工 キュー処理 ニアリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット 機能A ダッシュボード 機能B ダッシュボード 番外編@Salesforce α社 各機能の利用状況 開発チーム A 開発チーム B CS・販促 当時のデータの流れの概要図 インフラ 個人情報マスク 分析不可データ除外
15. データ課題解決とデータ基盤導⼊ © kaonavi, inc. 14 データ課題解決の際に、データ基盤の導⼊をしてしまうことが⼤事だと考える ❄Snowflake データソース 転送・マスク ・フィルタ データ蓄積 データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB … AWS 転送・加工 キュー処理 ニアリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット 機能A ダッシュボード 機能B ダッシュボード 番外編@Salesforce α社 各機能の利用状況 開発チーム A 開発チーム B CS・販促 当時のデータの流れの概要図 インフラ 個人情報マスク 分析不可データ除外 複数部署が見る前提であったので、 Salesforceへの直接集計バッチにならず サイロ打破のためのデータ基盤が誕生 データ加工
16. データ組織「ゼロ」からの１歩⽬ © kaonavi, inc. 15 データ課題の解決 × データ基盤の導⼊ ゼロ 活 ⽤ 参考: まずデータ活用の総量を増やせ、話はそれからだ 1歩⽬
17. 02 2歩⽬ 暗中模索の⾏脚 データ活⽤の総量を増やす © kaonavi, inc. 16
18. 今あるデータでサンプルの⼤量作成 取得したデータを元に「こういうのがあったらいいのでは？」をひたすら形にする © kaonavi, inc. 17 　運用 　テスト 　開発 企画 　Churned 　Customer 　Field 　Inside Lead 私の社会⼈経験（フロー効率改善‧ECサイトのCV改善）が強くこびり付いており…パイプライン管理に少々固執… - リードタイム - フェーズごとの案件在庫 - リードタイム - フェーズごとの案件在庫 ▪ 開発フェーズ ▪ 営業‧顧客管理フェーズ
19. 採⽤されないダッシュボードたち… © kaonavi, inc. 18 今あるデータでサンプルの⼤量作成
20. 暗中模索の⾏脚 “刺さらない”データ活⽤サンプル ななめ1on1という他部署役職者とMTGができる制度を活⽤し、 当時ほとんどの部の部⻑とMTGを実施し、データ基盤の活⽤の営業を実施 © kaonavi, inc. 19 作ったダッシュボードのサンプルが 全くもって“刺さらない”
21. 暗中模索の⾏脚 “刺さらない”データ活⽤サンプル The Model 型 に近い組織構造であり、各部⾨KPIを分離し専⾨性を⾼める狙いのため、 いま思えば、パイプラインの可視化は筋が悪い（不急なもの）と振り返ることができる © kaonavi, inc. 20 　Churned 　Customer 　Field 　Inside 　　Lead ▪ 営業‧顧客管理フェーズ マーケティング部 インサイド セールス部 営業部 カスタマーサクセス部 認知 - 想起‧ブランド数値 - SEO流⼊ - 広告流⼊‧広告費 - CVR - タッチ数 - 案件化数 - 受注数 - アップセル - チャーンレート 担当組織 KPI
22. 2種類の分析「データ駆動型」「レポート駆動型」 © kaonavi, inc. 21 「アジャイル データモデリング」 1.2.1 データ駆動型分析 , 1.2.2 レポート駆動型分析 より
23. 2種類の分析「データ駆動型」「レポート駆動型」 「データ駆動分析」という状態であり、レポート等の利⽤者の理解が不⼗分な状態であった © kaonavi, inc. 22 データ駆動型分析 業務データソースを分析することで要件を定める ユーザーの意⾒が先でないため、データ要件の優先 順位やスコープを判断できず、時間と費⽤がかかる 「システムを作れば、きっとユーザーくる」 IT部⾨スタッフのコンフォートゾーンの中で完結 レポート駆動型分析 ユーザーがレポートに何を求めているかを読み解く ことによって要件を定める 何度もMTGを重ね、ステークホルダーが抱える緊急 度の⾼いレポート要件に集中し、効率的に開発がで きるように優先順位をつけ実施していく 「アジャイル データモデリング」 1.2.1 データ駆動型分析 , 1.2.2 レポート駆動型分析 より
24. 暗中模索の⾏脚の先に… 盲⽬的に“刺さらない”レポートを作成しては発信し 盲⽬的に「こういうデータがあれば嬉しいだろう」 と新規データの取得を実施し続けていた 今思えばかなり効率が悪い… © kaonavi, inc. 23
25. 暗中模索の⾏脚の先に… 盲⽬的に“刺さらない”レポートを作成しては発信していたし、 盲⽬的に「こういうデータがあれば嬉しいだろう」と新規データの取得を実施し続けていた © kaonavi, inc. 24 「本江さん、データやってくれるんだって？」 という認知が広がり データの悩み‧解決したいことを 相談してくれる⼈がでてきた
26. 暗中模索の⾏脚の先に… 暗中模索の⾏脚のおかげで、「レポート駆動型分析」の案件が舞い込むようになる © kaonavi, inc. 25 データ駆動型分析 業務データソースを分析することで要件を定める ユーザーの意⾒が先でないため、データ要件の優先 順位やスコープを判断できず、時間と費⽤がかかる 「システムを作れば、きっとユーザーくる」 IT部⾨スタッフのコンフォートゾーンの中で完結 レポート駆動型分析 ユーザーがレポートに何を求めているかを読み解く ことによって要件を定める 何度もMTGを重ね、ステークホルダーが抱える緊急 度の⾼いレポート要件に集中し、効率的に開発がで きるように優先順位をつけ実施していく 「アジャイル データモデリング」 1.2.1 データ駆動型分析 , 1.2.2 レポート駆動型分析 より
27. 暗中模索の⾏脚の先に… ⼿に⼊れた仲間 欲しいレポートや悩みを共有してくれて、実現してきたもの（⼀部抜粋） © kaonavi, inc. 26 プロダクト 企画 ‧製品KPIのモニタリング ‧各機能の利⽤状況   （⽉1レポート） ‧各オプションの売上貢献  （⽉１レポート） プロダクト 開発 ‧チームの健康診断  L リードタイム  L リリース数  L チームサーベイ ‧CI/CDの実⾏時間監視‧調整 ‧パフォーマンス分析  L レスポンスタイム  L バッチ実⾏状況 事業企画‧BizOps‧CS ‧新機能リリース直後からの  利⽤状況連携  ‧アップセル予測分析 ‧ファネル分析   L 顧客規模軸  L プラン軸  L etc. マーケティング ‧リード状況の可視化 ‧製品LPページの改善のため  の既存顧客分析 ‧各オプションの売上貢献      ‧ファネル分析 ‧各機能の利⽤状況 経営‧上層部
28. 暗中模索の⾏脚の先に… ⼿に⼊れた仲間 欲しいレポートや悩みを共有してくれて、実現してきたもの（⼀部抜粋） © kaonavi, inc. 27 プロダクト 企画 ‧製品KPIのモニタリング ‧各機能の利⽤状況   （⽉1レポート） ‧各オプションの売上貢献  （⽉１レポート） プロダクト 開発 ‧チームの健康診断  L リードタイム  L リリース数  L チームサーベイ ‧CI/CDの実⾏時間監視‧調整 ‧パフォーマンス分析  L レスポンスタイム  L バッチ実⾏状況 事業企画‧BizOps‧CS ‧新機能リリース直後からの  利⽤状況連携  ‧アップセル予測分析 ‧ファネル分析   L 顧客規模軸  L プラン軸  L etc. マーケティング ‧リード状況の可視化 ‧製品LPページの改善のため  の既存顧客分析 ‧各オプションの売上貢献      ‧ファネル分析 ‧各機能の利⽤状況 経営‧上層部 きっかけの データ案件
29. 暗中模索の⾏脚の先に… ⼿に⼊れた仲間 Snowflakeのユーザー数が、2年間で約250ユーザー増加 🎉 © kaonavi, inc. 28
30. 2歩⽬：データ活⽤の総量を増やす © kaonavi, inc. 29 データ活⽤の 認知拡⼤でも案件獲得でもいいから とにかく⾜で稼げ （この際、鶏卵※は気にしない！） ※「データ駆動型分析」「レポート駆動型分析」のこと 活⽤
31. データ組織「ゼロ」からの2歩⽬ © kaonavi, inc. 30 データ課題の解決 × データ基盤の導⼊ ゼロ 活 ⽤ データ活⽤ ⾜で稼ぐ 活⽤ 1歩⽬ 2歩⽬ データが⾒れる データ活⽤の 総量を増やす 参考: まずデータ活用の総量を増やせ、話はそれからだ
32. 03 3歩⽬ 技術的負債解消のため データ基盤再構築の投資獲得と さらなる成⻑のための整備 © kaonavi, inc. 31
33. 既存アセットに頼り切り、技術的負債が蓄積 PoC期間に最短でデータ活⽤を⽬指した結果、役割分掌‧データ格納粒度の違う魔境の完成 © kaonavi, inc. 32 ❄Snowflake 運用インフラ 転送・マスク ・フィルタ データ蓄積（生） データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB AWS 転送・加工 キュー処理 ニアリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A 集計データ 機能B 集計データ 機能A ダッシュボード 機能B ダッシュボード 番外編@Salesforce α社 各機能の利用状況 個人情報マスク 分析不可データ除外 インフラ チーム データ加工 データ分析チーム データ分析チーム 元データ アプリ ケーション Salesforce Salesforce オブジェクトデータ GitLab RedMine GitLab CI GitLab 集計データ RedMine DBデータ 開発生産性 可視化 RedMine 中間集計 営業・顧客情報 民主化 社内ツールチーム インフラ チーム バッチサーバー インフラチーム インフラ チーム
34. 既存アセットに頼り切り、技術的負債が蓄積 © kaonavi, inc. 33 さすがにやばい データ活⽤続ける阻害要因じゃん… ってことぐらいは私でも気がつきます…
35. 既存アセットに頼り切り、技術的負債が蓄積 PoC期間に最短でデータ活⽤を⽬指した結果、役割分掌‧データ格納粒度の違う魔境の完成 © kaonavi, inc. 34 ❄Snowflake 運用インフラ 転送・マスク ・フィルタ データ蓄積（生） データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB AWS 転送・加工 キュー処理 ニアリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A 集計データ 機能B 集計データ 機能A ダッシュボード 機能B ダッシュボード 番外編@Salesforce α社 各機能の利用状況 個人情報マスク 分析不可データ除外 データ加工 データ分析チーム データ分析チーム 元データ アプリ ケーション Salesforce Salesforce オブジェクトデータ GitLab RedMine GitLab CI GitLab 集計データ RedMine DBデータ 開発生産性 可視化 RedMine 中間集計 営業・顧客情報 民主化 データ分析チーム 社内ツールチーム バッチサーバー インフラチーム インフラ チーム インフラ チーム 顧客数・アクセスも順調に増加 将来確実に本番負荷 インフラ チーム
36. 既存アセットに頼り切り、技術的負債が蓄積 PoC期間に最短でデータ活⽤を⽬指した結果、役割分掌‧データ格納粒度の違う魔境の完成 © kaonavi, inc. 35 ❄Snowflake 運用インフラ 転送・マスク ・フィルタ データ蓄積（生） データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB AWS 転送・加工 キュー処理 ニアリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A 集計データ 機能B 集計データ 機能A ダッシュボード 機能B ダッシュボード 番外編@Salesforce α社 各機能の利用状況 個人情報マスク 分析不可データ除外 データ加工 データ分析チーム データ分析チーム 元データ アプリ ケーション Salesforce Salesforce オブジェクトデータ GitLab RedMine GitLab CI GitLab 集計データ RedMine DBデータ 開発生産性 可視化 RedMine 中間集計 営業・顧客情報 民主化 データ分析チーム 社内ツールチーム バッチサーバー インフラチーム 生データを格納してないと 再集計・再実行が容易じゃない （他チームとの調整が必要） インフラ チーム インフラ チーム インフラ チーム
37. 既存アセットに頼り切り、技術的負債が蓄積 PoC期間に最短でデータ活⽤を⽬指した結果、役割分掌‧データ格納粒度の違う魔境の完成 © kaonavi, inc. 36 ❄Snowflake 運用インフラ 転送・マスク ・フィルタ データ蓄積（生） データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB AWS 転送・加工 キュー処理 ニアリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A 集計データ 機能B 集計データ 機能A ダッシュボード 機能B ダッシュボード 番外編@Salesforce α社 各機能の利用状況 個人情報マスク 分析不可データ除外 データ加工 データ分析チーム データ分析チーム 元データ アプリ ケーション Salesforce Salesforce オブジェクトデータ GitLab RedMine GitLab CI GitLab 集計データ RedMine DBデータ 開発生産性 可視化 RedMine 中間集計 営業・顧客情報 民主化 データ分析チーム 社内ツールチーム バッチサーバー インフラチーム ドメイン知識・抽出・移送/取込・加工・提供 全フェーズでの属人化が発生 インフラ チーム インフラ チーム インフラ チーム Aさんの担当 Bさんの担当（権限等の問題） Aさんの担当
38. 新基盤構築（PoC終了‧本導⼊）に向けた投資獲得 技術的負債の解消（更にはSnowflakeのPoC終了‧本導⼊の宣⾔）を⽬的とし、情報まとめ © kaonavi, inc. 37 いままで推進してきた データ活⽤の貢献度 新基盤の運⽤コスト VS
39. いままで推進してきたデータ活⽤の貢献度 © kaonavi, inc. 38 提供‧運⽤装着されたダッシュボード等に関して、⽉額の価値換算を実施 考慮項⽬例 - 閲覧⼈数 - 意思決定に⽤いられるか否か - 業務が不可となった場合の損失
40. 新基盤の運⽤コスト © kaonavi, inc. 39 インフラのコスト増加だけでなく、 新基盤となることによりデータ活⽤案件の作業がどの程度改善されるかも考慮
41. 新基盤構築（PoC終了‧本導⼊）に向けた投資獲得 技術的負債の解消（更にはSnowflakeのPoC終了‧本導⼊の宣⾔）を⽬的とし、情報まとめ © kaonavi, inc. 40 新基盤構築後の - イニシャルコスト - ランニング価値（円/⽉） （データ活⽤価値 - インフラコスト + 作業効率化価値）
42. 3歩⽬：将来のための整備 © kaonavi, inc. 41 投資を獲得し、 さらなる成⻑のための整備を 活⽤ 整備 最適化
43. データ組織「ゼロ」からの3歩⽬ © kaonavi, inc. 42 データ課題の解決 × データ基盤の導⼊ ゼロ 活 ⽤ データ活⽤ ⾜で稼ぐ 活⽤ 1歩⽬ 2歩⽬ データが⾒れる データ活⽤の 総量を増やす 3歩⽬ 将来のための 投資の獲得 活⽤ 投資獲得と さらなる成⻑のため の整備 整備 最適化 参考: まずデータ活用の総量を増やせ、話はそれからだ
44. 活⽤ これから先 © kaonavi, inc. 43 データ活⽤ ⾜と技術で稼ぐ 活⽤ 2n歩⽬ データ活⽤の 総量を増やす 2n+1歩⽬ 将来のための 投資の獲得 整備 最適化 整備 最適化 活⽤ 参考: まずデータ活用の総量を増やせ、話はそれからだ 投資獲得と さらなる成⻑のため の整備
45. 04 現状の課題解決のための 新データ基盤 © kaonavi, inc. 44
46. おさらい © kaonavi, inc. 45
47. 新データ基盤 © kaonavi, inc. 46 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI （Python） JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow （Python,SQL） dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション いままでの魔境が、整理されました！
48. 新データ基盤 © kaonavi, inc. 47 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI （Python） JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow （Python,SQL） dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション 集計時に本番環境は叩かない いままでの魔境が、整理されました！
49. 新データ基盤 © kaonavi, inc. 48 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI （Python） JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow （Python,SQL） dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション 生データを保持し 再集計・再実行をしやすく いままでの魔境が、整理されました！
50. 新データ基盤 © kaonavi, inc. 49 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI （Python） JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow （Python,SQL） dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション 同一リポジトリ・同様の処理にて 属人化排除の一部を担う いままでの魔境が、整理されました！
51. 新データ基盤 © kaonavi, inc. 50 めっちゃ簡単に紹介しましたが - もともとの仕組みからの脱却の相談（主に製品側のインフラの⽅ - 法務の⽅との確認のやりとり - 個⼈情報保護法の学習をし、個⼈情報保護⼠になりました… - Snowflakeの営業の⽅と規約のやりとり - 新データ基盤のインフラ構築 - FY25の予算の通過と予実管理 - SaaS毎に異なる課題にぶつかる - AppFlowでMarketo同期でバグを踏む（最近修正完了の連絡きた… - AppFlowにGitLabの分析で必要なメトリクスがとれない… - もちろんデータソース毎に異なる課題にぶつかる - 毎⽇全件取得できるもの - 毎⽇差分取得じゃないと現実的ではないもの… - hogefuga いままでの魔境が、整理されました！
52. 新データ基盤 © kaonavi, inc. 51 関わっている皆様に助けられて、なんとか⾛りきれそうです… （ちょっと息切れしている） （泥臭い話が好きな⽅は、ぜひ個⼈的でもイベント等でもお話しましょう…、登壇依頼もおまちしております󰢛）
53. 05未来へ向けて 活⽤拡⼤のための ディメンショナルモデリング導⼊ と その後 © kaonavi, inc. 52
54. 活⽤ 新データ基盤構築後 © kaonavi, inc. 53 データ活⽤ ⾜と技術で稼ぐ 活⽤ 2n歩⽬ データ活⽤の 総量を増やす 2n+1歩⽬ 将来のための 投資の獲得 整備 最適化 整備 最適化 活⽤ 参考: まずデータ活用の総量を増やせ、話はそれからだ 投資獲得と さらなる成⻑のため の整備 主戦場を再度、データ活⽤の総量の増加にしていきたい
55. © kaonavi, inc. 54 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI （Python） JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow （Python,SQL） dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション 主戦場を再度、データ活⽤の総量の増加にしていきたい このエリア 新データ基盤構築後
56. 近い未来はディメンショナルモデリングの追加‧改善 © kaonavi, inc. 55 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI （Python） JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow （Python,SQL） dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション 主戦場を再度、データ活⽤の総量の増加にしていきたい ここ ⼤事
57. © kaonavi, inc. 56 データまわりの知識はまだまだ⾜りない… 新基盤プロジェクト前 データ経験者の⼈数 0⼈ 現在 3⼈ 近い未来はディメンショナルモデリングの追加‧改善
58. © kaonavi, inc. 57 アジャイル データモデリング 輪読会 プロジェクト開始前からスタートし １周読了 近い未来はディメンショナルモデリングの追加‧改善
59. © kaonavi, inc. 58 Claude Code Claude Code × Snowflake MCP 実装時の即時FBと設計改善 近い未来はディメンショナルモデリングの追加‧改善 2025.11.04 Data Engineering Summit 前夜祭 「データモデリングにも Unit Testみたいのないの？ 🤔」
60. © kaonavi, inc. 59 ディメンショナルモデリング後 の動作品質に期待 2025.10.30 kaonavi Tech Talk #21 「データと AIで明らかになる、私達の課題 ~Snowflake MCP, Salesforce MCP に触れて ~」 Snowflake MCP による ⾃然⾔語での分析 近い未来はディメンショナルモデリングの追加‧改善
61. 活⽤ 未来への動き © kaonavi, inc. 60 データ活⽤ ⾜と技術で稼ぐ 活⽤ 2n歩⽬ データ活⽤の 総量を増やす 整備 最適化 主戦場を再度、データ活⽤の総量の増加にしていくために、⼤事にしたいこと ⾜ 技術 ？ ？
62. 未来への動き…⾜ © kaonavi, inc. 61 ステークホルダーを理解し、緊急‧重要な課題に集中したい ※ 提供する成果物の形はレポートとは限らない。   ディメンショナルモデリングしたデータだけかもしれないし、機械学習ロジックかもしれないし、AIツールかもしれない
63. 未来への動き … 技術 © kaonavi, inc. 62 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI （Python） JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow （Python,SQL） dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション 主戦場を再度、データ活⽤の総量の増加にしていきたい このエリア 機械学習 AI BI 分析MCP セマンティックレイヤー 永遠にやることがありそう… dbt on Snowflake まだ見ぬ ビジネス貢献 新しい データソース 非構造化データ データカタログ
64. 活⽤ 未来への動き © kaonavi, inc. 63 データ活⽤ ⾜と技術で稼ぐ 活⽤ 2n歩⽬ データ活⽤の 総量を増やす 整備 最適化 データ活⽤を増やすため、⾜‧技術 共に⼤事にできるチームを作り上げていきたいと思う ⾜ 技術 （データだけでなく） ビジネス‧プロセスの理解 ステークホルダーとの関係構築 数多ある情報のキャッチ 課題解決‧価値向上の⼿段 ×
65. 06 まとめ © kaonavi, inc. 65
66. まとめ © kaonavi, inc. 42 データ課題の解決 × データ基盤の導⼊ ゼロ 活 ⽤ データ活⽤ ⾜で稼ぐ 活⽤ 1歩⽬ 2歩⽬ データが⾒れる データ活⽤の 総量を増やす 3歩⽬ 将来のための 投資の獲得 活⽤ 投資獲得と さらなる成⻑のため の整備 整備 最適化 参考: まずデータ活用の総量を増やせ、話はそれからだ
67. 活⽤ まとめ © kaonavi, inc. 53 データ活⽤ ⾜と技術で稼ぐ 活⽤ 2n歩⽬ データ活⽤の 総量を増やす 2n+1歩⽬ 将来のための 投資の獲得 整備 最適化 整備 最適化 活⽤ 参考: まずデータ活用の総量を増やせ、話はそれからだ 投資獲得と さらなる成⻑のため の整備
68. 07 さいごに © kaonavi, inc. 65
69. ここまで2年半…
70. ここまで2年半…
71. データ活⽤⽂化の浸透 トップダウンが⼤事
72. トップダウンじゃないと ⽂化は変えられないか？ そんなことない
74. データはとんでもない広さの ビジネスエリアに関与する 攻め 守り 新規事業 ⽴案 既存事業 改善案 プロセス 改善 モニタリング AI 機械 学習 データ モデリング データ カタログ ETL インフラ 運⽤ 法務/規約 データ ガバナンス いろんな 活⽤
75. データやってるって ⾃分の意思で なにかを好転させる機会が 無限にある
76. いま孤独に戦ってる⽅ 1歩踏み出してみてください
77. 仲間は近くにいると思います