Slide 1

Slide 1 text

AIの前にやるべきこと データ組織ゼロから 投資を得るまでの軌跡と未来図 2025.11.06 Data Engineering Summit 本江 雄⼈

Slide 2

Slide 2 text

⾃⼰紹介 名前: 本江 雄⼈(ほんごう ゆうと) 現職: データチーム ⽴ち上げ〜運⽤ 現在に⾄る - データ基盤の運⽤ - 社内データの収集と活⽤ 経歴: - ソフトウェアエンジニア, Git導⼊, Unit Test導⼊ 等 - スクラムマスター, PjM, 開発統括, フロー効率改善 等 - (現職) データチーム⽴ち上げ、データ基盤運⽤ 最近勉強したこと: (データとAIをコツコツ勉強中) - 個⼈情報保護⼠(2025~) - データサイエンティスト検定(2024~) - G検定(2024~) © kaonavi, inc. 1

Slide 3

Slide 3 text

⾃⼰紹介 弊社での取組の資料: - 2024.04.16 DevOps Days Tokyo 2024 「カオナビの利⽤実績データをアウトカムにつなげる旅」 - 2024.12.12 Qiita 「AI活⽤による ⼈的資本データ収集の効率化 に挑戦」 - 2025.05.01 Qiita 「データ活⽤の裾野を広げる:mcp-snowflake-serverの  導⼊と データ分析の変化への期待」 - 2025.10.30 kaonavi Tech Talk #21 「データとAIで明らかになる、私達の課題  ~Snowflake MCP, Salesforce MCP に触れて~」 - 2025.11.04 Data Engineering Summit 前夜祭 LT 「データモデリングにもUnitTestみたいなのないの?🤔」 © kaonavi, inc. 2

Slide 4

Slide 4 text

はじめに Data Engineering Summitのテーマ「⽣成AI時代のデータ基盤構築」に対して 本⽇の内容は「AI-Ready」のさらに⼿前、 「AI-ReadyになるためのReady」といった位置づけの話 「必要な⼈(利⽤するAI)」が「必要なデータ」に「必要なタイミング」で「安全‧容易に」 データ活⽤できるというデータ整備が前提として必要だと考えます © kaonavi, inc. 3

Slide 5

Slide 5 text

はじめに 2023年から2025年に向けた取り組みの変遷 2023年 ⼊社 Snowflake PoC 2024年 収集データ拡⼤ 活⽤提案 2025年 活⽤推進 データ基盤の再構築 © kaonavi, inc. 4 kaonaviの利⽤実績 Salesforce営業情報 GitLab,RedMine 開発状況可視化 Marketo,GA4 マーケティング情報 データエンジニアリング 投資獲得 PoC死回避

Slide 6

Slide 6 text

はじめに データ基盤‧データ組織がない状態から、 どのようにボトムアップで社内にデータ活⽤を広め、 データ整備に対する投資をもらったかの1事例を発表します © kaonavi, inc. 5

Slide 7

Slide 7 text

はじめに 「AI活⽤が叫ばれてるけど、データ基盤ない!」 「社内にデータ活⽤‧管理チームがないが、やりたい!」 etc… という⽅への勇気になれば幸いです © kaonavi, inc. 6

Slide 8

Slide 8 text

Agenda 1 1歩⽬:データ組織‧基盤「ゼロ」からのデータが⾒れる状態へ 2 2歩⽬:暗中模索の⾏脚 データ活⽤の総量を増やす 3 3歩⽬:技術的負債解消のため データ基盤再構築の投資獲得とさらなる成⻑のための整備 4 現状の課題解決のための新データ基盤 5 未来へ向けて 活⽤拡⼤のためのディメンショナルモデリング導⼊とその後 © kaonavi, inc. 7

Slide 9

Slide 9 text

01 1歩⽬ データ組織‧基盤「ゼロ」からの データが⾒れる状態へ © kaonavi, inc. 8

Slide 10

Slide 10 text

⼊社直後 開発プロセス課題ヒアリング ⼊社時の肩書は「DevOpsエンジニア」、プロセス課題を主体的に解決する役割を期待される © kaonavi, inc. 9 2024.04.16 DevOps Days Tokyo 2024 「カオナビの利用実績をアウトカムへつなげる旅」

Slide 11

Slide 11 text

2つ部署の「⾒れない」問題 ■ 開発(製品の企画‧開発)側の「みれない」問題 - 新機能の開発が急務な状況により、既存機能の価値評価のプロセスが⼀部消失 - 特殊契約顧客の課題により、容易にデータにアクセスできない状況(権限、インフラ) © kaonavi, inc. 10 2024.04.16 DevOps Days Tokyo 2024 「カオナビの利用実績をアウトカムへつなげる旅」

Slide 12

Slide 12 text

2つ部署の「⾒れない」問題 ■ ビジネス(カスタマーサクセス‧販促)側の「⾒れない」問題 - 新機能が多くリリースされるにも関わらず、顧客の利⽤状況を把握ができないため、 より製品を活⽤してもらうための作戦⽴てが困難 © kaonavi, inc. 11 2024.04.16 DevOps Days Tokyo 2024 「カオナビの利用実績をアウトカムへつなげる旅」

Slide 13

Slide 13 text

1歩⽬:データを⾒れる状態にする © kaonavi, inc. 12 確実にヤバい データ課題の解決 × データ基盤の導⼊(PoC)

Slide 14

Slide 14 text

データ課題解決とデータ基盤導⼊ © kaonavi, inc. 13 データ課題解決の際に、データ基盤の導⼊をしてしまうことが⼤事だと考える ❄Snowflake データソース 転送・マスク ・フィルタ データ蓄積 データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB データ加工 … AWS 転送・加工 キュー処理 ニアリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット 機能A ダッシュボード 機能B ダッシュボード 番外編@Salesforce α社 各機能の利用状況 開発チーム A 開発チーム B CS・販促 当時のデータの流れの概要図 インフラ 個人情報マスク 分析不可データ除外

Slide 15

Slide 15 text

データ課題解決とデータ基盤導⼊ © kaonavi, inc. 14 データ課題解決の際に、データ基盤の導⼊をしてしまうことが⼤事だと考える ❄Snowflake データソース 転送・マスク ・フィルタ データ蓄積 データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB … AWS 転送・加工 キュー処理 ニアリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット 機能A ダッシュボード 機能B ダッシュボード 番外編@Salesforce α社 各機能の利用状況 開発チーム A 開発チーム B CS・販促 当時のデータの流れの概要図 インフラ 個人情報マスク 分析不可データ除外 複数部署が見る前提であったので、 Salesforceへの直接集計バッチにならず サイロ打破のためのデータ基盤が誕生 データ加工

Slide 16

Slide 16 text

データ組織「ゼロ」からの1歩⽬ © kaonavi, inc. 15 データ課題の解決 × データ基盤の導⼊ ゼロ 活 ⽤ 参考: まずデータ活用の総量を増やせ、話はそれからだ 1歩⽬

Slide 17

Slide 17 text

02 2歩⽬ 暗中模索の⾏脚 データ活⽤の総量を増やす © kaonavi, inc. 16

Slide 18

Slide 18 text

今あるデータでサンプルの⼤量作成 取得したデータを元に「こういうのがあったらいいのでは?」をひたすら形にする © kaonavi, inc. 17  運用  テスト  開発 企画  Churned  Customer  Field  Inside Lead 私の社会⼈経験(フロー効率改善‧ECサイトのCV改善)が強くこびり付いており…パイプライン管理に少々固執… - リードタイム - フェーズごとの案件在庫 - リードタイム - フェーズごとの案件在庫 ■ 開発フェーズ ■ 営業‧顧客管理フェーズ

Slide 19

Slide 19 text

採⽤されないダッシュボードたち… © kaonavi, inc. 18 今あるデータでサンプルの⼤量作成

Slide 20

Slide 20 text

暗中模索の⾏脚 “刺さらない”データ活⽤サンプル ななめ1on1という他部署役職者とMTGができる制度を活⽤し、 当時ほとんどの部の部⻑とMTGを実施し、データ基盤の活⽤の営業を実施 © kaonavi, inc. 19 作ったダッシュボードのサンプルが 全くもって“刺さらない”

Slide 21

Slide 21 text

暗中模索の⾏脚 “刺さらない”データ活⽤サンプル The Model 型 に近い組織構造であり、各部⾨KPIを分離し専⾨性を⾼める狙いのため、 いま思えば、パイプラインの可視化は筋が悪い(不急なもの)と振り返ることができる © kaonavi, inc. 20  Churned  Customer  Field  Inside   Lead ■ 営業‧顧客管理フェーズ マーケティング部 インサイド セールス部 営業部 カスタマーサクセス部 認知 - 想起‧ブランド数値 - SEO流⼊ - 広告流⼊‧広告費 - CVR - タッチ数 - 案件化数 - 受注数 - アップセル - チャーンレート 担当組織 KPI

Slide 22

Slide 22 text

2種類の分析「データ駆動型」「レポート駆動型」 © kaonavi, inc. 21 「アジャイル データモデリング」 1.2.1 データ駆動型分析 , 1.2.2 レポート駆動型分析 より

Slide 23

Slide 23 text

2種類の分析「データ駆動型」「レポート駆動型」 「データ駆動分析」という状態であり、レポート等の利⽤者の理解が不⼗分な状態であった © kaonavi, inc. 22 データ駆動型分析 業務データソースを分析することで要件を定める ユーザーの意⾒が先でないため、データ要件の優先 順位やスコープを判断できず、時間と費⽤がかかる 「システムを作れば、きっとユーザーくる」 IT部⾨スタッフのコンフォートゾーンの中で完結 レポート駆動型分析 ユーザーがレポートに何を求めているかを読み解く ことによって要件を定める 何度もMTGを重ね、ステークホルダーが抱える緊急 度の⾼いレポート要件に集中し、効率的に開発がで きるように優先順位をつけ実施していく 「アジャイル データモデリング」 1.2.1 データ駆動型分析 , 1.2.2 レポート駆動型分析 より

Slide 24

Slide 24 text

暗中模索の⾏脚の先に… 盲⽬的に“刺さらない”レポートを作成しては発信し 盲⽬的に「こういうデータがあれば嬉しいだろう」 と新規データの取得を実施し続けていた 今思えばかなり効率が悪い… © kaonavi, inc. 23

Slide 25

Slide 25 text

暗中模索の⾏脚の先に… 盲⽬的に“刺さらない”レポートを作成しては発信していたし、 盲⽬的に「こういうデータがあれば嬉しいだろう」と新規データの取得を実施し続けていた © kaonavi, inc. 24 「本江さん、データやってくれるんだって?」 という認知が広がり データの悩み‧解決したいことを 相談してくれる⼈がでてきた

Slide 26

Slide 26 text

暗中模索の⾏脚の先に… 暗中模索の⾏脚のおかげで、「レポート駆動型分析」の案件が舞い込むようになる © kaonavi, inc. 25 データ駆動型分析 業務データソースを分析することで要件を定める ユーザーの意⾒が先でないため、データ要件の優先 順位やスコープを判断できず、時間と費⽤がかかる 「システムを作れば、きっとユーザーくる」 IT部⾨スタッフのコンフォートゾーンの中で完結 レポート駆動型分析 ユーザーがレポートに何を求めているかを読み解く ことによって要件を定める 何度もMTGを重ね、ステークホルダーが抱える緊急 度の⾼いレポート要件に集中し、効率的に開発がで きるように優先順位をつけ実施していく 「アジャイル データモデリング」 1.2.1 データ駆動型分析 , 1.2.2 レポート駆動型分析 より

Slide 27

Slide 27 text

暗中模索の⾏脚の先に… ⼿に⼊れた仲間 欲しいレポートや悩みを共有してくれて、実現してきたもの(⼀部抜粋) © kaonavi, inc. 26 プロダクト 企画 ‧製品KPIのモニタリング ‧各機能の利⽤状況   (⽉1レポート) ‧各オプションの売上貢献  (⽉1レポート) プロダクト 開発 ‧チームの健康診断  L リードタイム  L リリース数  L チームサーベイ ‧CI/CDの実⾏時間監視‧調整 ‧パフォーマンス分析  L レスポンスタイム  L バッチ実⾏状況 事業企画‧BizOps‧CS ‧新機能リリース直後からの  利⽤状況連携  ‧アップセル予測分析 ‧ファネル分析   L 顧客規模軸  L プラン軸  L etc. マーケティング ‧リード状況の可視化 ‧製品LPページの改善のため  の既存顧客分析 ‧各オプションの売上貢献      ‧ファネル分析 ‧各機能の利⽤状況 経営‧上層部

Slide 28

Slide 28 text

暗中模索の⾏脚の先に… ⼿に⼊れた仲間 欲しいレポートや悩みを共有してくれて、実現してきたもの(⼀部抜粋) © kaonavi, inc. 27 プロダクト 企画 ‧製品KPIのモニタリング ‧各機能の利⽤状況   (⽉1レポート) ‧各オプションの売上貢献  (⽉1レポート) プロダクト 開発 ‧チームの健康診断  L リードタイム  L リリース数  L チームサーベイ ‧CI/CDの実⾏時間監視‧調整 ‧パフォーマンス分析  L レスポンスタイム  L バッチ実⾏状況 事業企画‧BizOps‧CS ‧新機能リリース直後からの  利⽤状況連携  ‧アップセル予測分析 ‧ファネル分析   L 顧客規模軸  L プラン軸  L etc. マーケティング ‧リード状況の可視化 ‧製品LPページの改善のため  の既存顧客分析 ‧各オプションの売上貢献      ‧ファネル分析 ‧各機能の利⽤状況 経営‧上層部 きっかけの データ案件

Slide 29

Slide 29 text

暗中模索の⾏脚の先に… ⼿に⼊れた仲間 Snowflakeのユーザー数が、2年間で約250ユーザー増加 🎉 © kaonavi, inc. 28

Slide 30

Slide 30 text

2歩⽬:データ活⽤の総量を増やす © kaonavi, inc. 29 データ活⽤の 認知拡⼤でも案件獲得でもいいから とにかく⾜で稼げ (この際、鶏卵※は気にしない!) ※「データ駆動型分析」「レポート駆動型分析」のこと 活⽤

Slide 31

Slide 31 text

データ組織「ゼロ」からの2歩⽬ © kaonavi, inc. 30 データ課題の解決 × データ基盤の導⼊ ゼロ 活 ⽤ データ活⽤ ⾜で稼ぐ 活⽤ 1歩⽬ 2歩⽬ データが⾒れる データ活⽤の 総量を増やす 参考: まずデータ活用の総量を増やせ、話はそれからだ

Slide 32

Slide 32 text

03 3歩⽬ 技術的負債解消のため データ基盤再構築の投資獲得と さらなる成⻑のための整備 © kaonavi, inc. 31

Slide 33

Slide 33 text

既存アセットに頼り切り、技術的負債が蓄積 PoC期間に最短でデータ活⽤を⽬指した結果、役割分掌‧データ格納粒度の違う魔境の完成 © kaonavi, inc. 32 ❄Snowflake 運用インフラ 転送・マスク ・フィルタ データ蓄積(生) データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB AWS 転送・加工 キュー処理 ニアリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A 集計データ 機能B 集計データ 機能A ダッシュボード 機能B ダッシュボード 番外編@Salesforce α社 各機能の利用状況 個人情報マスク 分析不可データ除外 インフラ チーム データ加工 データ分析チーム データ分析チーム 元データ アプリ ケーション Salesforce Salesforce オブジェクトデータ GitLab RedMine GitLab CI GitLab 集計データ RedMine DBデータ 開発生産性 可視化 RedMine 中間集計 営業・顧客情報 民主化 社内ツールチーム インフラ チーム バッチサーバー インフラチーム インフラ チーム

Slide 34

Slide 34 text

既存アセットに頼り切り、技術的負債が蓄積 © kaonavi, inc. 33 さすがにやばい データ活⽤続ける阻害要因じゃん… ってことぐらいは私でも気がつきます…

Slide 35

Slide 35 text

既存アセットに頼り切り、技術的負債が蓄積 PoC期間に最短でデータ活⽤を⽬指した結果、役割分掌‧データ格納粒度の違う魔境の完成 © kaonavi, inc. 34 ❄Snowflake 運用インフラ 転送・マスク ・フィルタ データ蓄積(生) データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB AWS 転送・加工 キュー処理 ニアリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A 集計データ 機能B 集計データ 機能A ダッシュボード 機能B ダッシュボード 番外編@Salesforce α社 各機能の利用状況 個人情報マスク 分析不可データ除外 データ加工 データ分析チーム データ分析チーム 元データ アプリ ケーション Salesforce Salesforce オブジェクトデータ GitLab RedMine GitLab CI GitLab 集計データ RedMine DBデータ 開発生産性 可視化 RedMine 中間集計 営業・顧客情報 民主化 データ分析チーム 社内ツールチーム バッチサーバー インフラチーム インフラ チーム インフラ チーム 顧客数・アクセスも順調に増加 将来確実に本番負荷 インフラ チーム

Slide 36

Slide 36 text

既存アセットに頼り切り、技術的負債が蓄積 PoC期間に最短でデータ活⽤を⽬指した結果、役割分掌‧データ格納粒度の違う魔境の完成 © kaonavi, inc. 35 ❄Snowflake 運用インフラ 転送・マスク ・フィルタ データ蓄積(生) データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB AWS 転送・加工 キュー処理 ニアリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A 集計データ 機能B 集計データ 機能A ダッシュボード 機能B ダッシュボード 番外編@Salesforce α社 各機能の利用状況 個人情報マスク 分析不可データ除外 データ加工 データ分析チーム データ分析チーム 元データ アプリ ケーション Salesforce Salesforce オブジェクトデータ GitLab RedMine GitLab CI GitLab 集計データ RedMine DBデータ 開発生産性 可視化 RedMine 中間集計 営業・顧客情報 民主化 データ分析チーム 社内ツールチーム バッチサーバー インフラチーム 生データを格納してないと 再集計・再実行が容易じゃない (他チームとの調整が必要) インフラ チーム インフラ チーム インフラ チーム

Slide 37

Slide 37 text

既存アセットに頼り切り、技術的負債が蓄積 PoC期間に最短でデータ活⽤を⽬指した結果、役割分掌‧データ格納粒度の違う魔境の完成 © kaonavi, inc. 36 ❄Snowflake 運用インフラ 転送・マスク ・フィルタ データ蓄積(生) データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB AWS 転送・加工 キュー処理 ニアリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A 集計データ 機能B 集計データ 機能A ダッシュボード 機能B ダッシュボード 番外編@Salesforce α社 各機能の利用状況 個人情報マスク 分析不可データ除外 データ加工 データ分析チーム データ分析チーム 元データ アプリ ケーション Salesforce Salesforce オブジェクトデータ GitLab RedMine GitLab CI GitLab 集計データ RedMine DBデータ 開発生産性 可視化 RedMine 中間集計 営業・顧客情報 民主化 データ分析チーム 社内ツールチーム バッチサーバー インフラチーム ドメイン知識・抽出・移送/取込・加工・提供 全フェーズでの属人化が発生 インフラ チーム インフラ チーム インフラ チーム Aさんの担当 Bさんの担当(権限等の問題) Aさんの担当

Slide 38

Slide 38 text

新基盤構築(PoC終了‧本導⼊)に向けた投資獲得 技術的負債の解消(更にはSnowflakeのPoC終了‧本導⼊の宣⾔)を⽬的とし、情報まとめ © kaonavi, inc. 37 いままで推進してきた データ活⽤の貢献度 新基盤の運⽤コスト VS

Slide 39

Slide 39 text

いままで推進してきたデータ活⽤の貢献度 © kaonavi, inc. 38 提供‧運⽤装着されたダッシュボード等に関して、⽉額の価値換算を実施 考慮項⽬例 - 閲覧⼈数 - 意思決定に⽤いられるか否か - 業務が不可となった場合の損失

Slide 40

Slide 40 text

新基盤の運⽤コスト © kaonavi, inc. 39 インフラのコスト増加だけでなく、 新基盤となることによりデータ活⽤案件の作業がどの程度改善されるかも考慮

Slide 41

Slide 41 text

新基盤構築(PoC終了‧本導⼊)に向けた投資獲得 技術的負債の解消(更にはSnowflakeのPoC終了‧本導⼊の宣⾔)を⽬的とし、情報まとめ © kaonavi, inc. 40 新基盤構築後の - イニシャルコスト - ランニング価値(円/⽉) (データ活⽤価値 - インフラコスト + 作業効率化価値)

Slide 42

Slide 42 text

3歩⽬:将来のための整備 © kaonavi, inc. 41 投資を獲得し、 さらなる成⻑のための整備を 活⽤ 整備 最適化

Slide 43

Slide 43 text

データ組織「ゼロ」からの3歩⽬ © kaonavi, inc. 42 データ課題の解決 × データ基盤の導⼊ ゼロ 活 ⽤ データ活⽤ ⾜で稼ぐ 活⽤ 1歩⽬ 2歩⽬ データが⾒れる データ活⽤の 総量を増やす 3歩⽬ 将来のための 投資の獲得 活⽤ 投資獲得と さらなる成⻑のため の整備 整備 最適化 参考: まずデータ活用の総量を増やせ、話はそれからだ

Slide 44

Slide 44 text

活⽤ これから先 © kaonavi, inc. 43 データ活⽤ ⾜と技術で稼ぐ 活⽤ 2n歩⽬ データ活⽤の 総量を増やす 2n+1歩⽬ 将来のための 投資の獲得 整備 最適化 整備 最適化 活⽤ 参考: まずデータ活用の総量を増やせ、話はそれからだ 投資獲得と さらなる成⻑のため の整備

Slide 45

Slide 45 text

04 現状の課題解決のための 新データ基盤 © kaonavi, inc. 44

Slide 46

Slide 46 text

おさらい © kaonavi, inc. 45

Slide 47

Slide 47 text

新データ基盤 © kaonavi, inc. 46 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI (Python) JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow (Python,SQL) dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション いままでの魔境が、整理されました!

Slide 48

Slide 48 text

新データ基盤 © kaonavi, inc. 47 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI (Python) JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow (Python,SQL) dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション 集計時に本番環境は叩かない いままでの魔境が、整理されました!

Slide 49

Slide 49 text

新データ基盤 © kaonavi, inc. 48 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI (Python) JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow (Python,SQL) dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション 生データを保持し 再集計・再実行をしやすく いままでの魔境が、整理されました!

Slide 50

Slide 50 text

新データ基盤 © kaonavi, inc. 49 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI (Python) JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow (Python,SQL) dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション 同一リポジトリ・同様の処理にて 属人化排除の一部を担う いままでの魔境が、整理されました!

Slide 51

Slide 51 text

新データ基盤 © kaonavi, inc. 50 めっちゃ簡単に紹介しましたが - もともとの仕組みからの脱却の相談(主に製品側のインフラの⽅ - 法務の⽅との確認のやりとり - 個⼈情報保護法の学習をし、個⼈情報保護⼠になりました… - Snowflakeの営業の⽅と規約のやりとり - 新データ基盤のインフラ構築 - FY25の予算の通過と予実管理 - SaaS毎に異なる課題にぶつかる - AppFlowでMarketo同期でバグを踏む(最近修正完了の連絡きた… - AppFlowにGitLabの分析で必要なメトリクスがとれない… - もちろんデータソース毎に異なる課題にぶつかる - 毎⽇全件取得できるもの - 毎⽇差分取得じゃないと現実的ではないもの… - hogefuga いままでの魔境が、整理されました!

Slide 52

Slide 52 text

新データ基盤 © kaonavi, inc. 51 関わっている皆様に助けられて、なんとか⾛りきれそうです… (ちょっと息切れしている) (泥臭い話が好きな⽅は、ぜひ個⼈的でもイベント等でもお話しましょう…、登壇依頼もおまちしております󰢛)

Slide 53

Slide 53 text

05未来へ向けて 活⽤拡⼤のための ディメンショナルモデリング導⼊ と その後 © kaonavi, inc. 52

Slide 54

Slide 54 text

活⽤ 新データ基盤構築後 © kaonavi, inc. 53 データ活⽤ ⾜と技術で稼ぐ 活⽤ 2n歩⽬ データ活⽤の 総量を増やす 2n+1歩⽬ 将来のための 投資の獲得 整備 最適化 整備 最適化 活⽤ 参考: まずデータ活用の総量を増やせ、話はそれからだ 投資獲得と さらなる成⻑のため の整備 主戦場を再度、データ活⽤の総量の増加にしていきたい

Slide 55

Slide 55 text

© kaonavi, inc. 54 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI (Python) JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow (Python,SQL) dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション 主戦場を再度、データ活⽤の総量の増加にしていきたい このエリア 新データ基盤構築後

Slide 56

Slide 56 text

近い未来はディメンショナルモデリングの追加‧改善 © kaonavi, inc. 55 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI (Python) JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow (Python,SQL) dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション 主戦場を再度、データ活⽤の総量の増加にしていきたい ここ ⼤事

Slide 57

Slide 57 text

© kaonavi, inc. 56 データまわりの知識はまだまだ⾜りない… 新基盤プロジェクト前 データ経験者の⼈数 0⼈ 現在 3⼈ 近い未来はディメンショナルモデリングの追加‧改善

Slide 58

Slide 58 text

© kaonavi, inc. 57 アジャイル データモデリング 輪読会 プロジェクト開始前からスタートし 1周読了 近い未来はディメンショナルモデリングの追加‧改善

Slide 59

Slide 59 text

© kaonavi, inc. 58 Claude Code Claude Code × Snowflake MCP 実装時の即時FBと設計改善 近い未来はディメンショナルモデリングの追加‧改善 2025.11.04 Data Engineering Summit 前夜祭 「データモデリングにも Unit Testみたいのないの? 🤔」

Slide 60

Slide 60 text

© kaonavi, inc. 59 ディメンショナルモデリング後 の動作品質に期待 2025.10.30 kaonavi Tech Talk #21 「データと AIで明らかになる、私達の課題 ~Snowflake MCP, Salesforce MCP に触れて ~」 Snowflake MCP による ⾃然⾔語での分析 近い未来はディメンショナルモデリングの追加‧改善

Slide 61

Slide 61 text

活⽤ 未来への動き © kaonavi, inc. 60 データ活⽤ ⾜と技術で稼ぐ 活⽤ 2n歩⽬ データ活⽤の 総量を増やす 整備 最適化 主戦場を再度、データ活⽤の総量の増加にしていくために、⼤事にしたいこと ⾜ 技術 ? ?

Slide 62

Slide 62 text

未来への動き…⾜ © kaonavi, inc. 61 ステークホルダーを理解し、緊急‧重要な課題に集中したい ※ 提供する成果物の形はレポートとは限らない。   ディメンショナルモデリングしたデータだけかもしれないし、機械学習ロジックかもしれないし、AIツールかもしれない

Slide 63

Slide 63 text

未来への動き … 技術 © kaonavi, inc. 62 ❄Snowflake extruct S3 RAW _loaded_at ダッシュボード ユースケース fluentbit 製品DB JSON CSV出力 製品 利用実績 顧客情報 SOURCE データ分析チーム データソース アプリ Salesforce GitLab ※ RedMine 開発 生産性 ステークホルダー S3 CSV AppFlow Marketo GA4 (to BQ) GitLab CI (Python) JSON JSON JSON JSON JSON JSON CSV JSON JSON JSON JSON JSON WAREHOUSE MART Tableau _loaded_at, SCHEME EVOLUTION _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body _loaded_at, body … … … 展開 展開 展開 展開 展開 展開 展開 dim fact 卍 AirFlow (Python,SQL) dim fact dim fact dim fact dim fact dim fact dim fact Salesforce レプリケーション 主戦場を再度、データ活⽤の総量の増加にしていきたい このエリア 機械学習 AI BI 分析MCP セマンティックレイヤー 永遠にやることがありそう… dbt on Snowflake まだ見ぬ ビジネス貢献 新しい データソース 非構造化データ データカタログ

Slide 64

Slide 64 text

活⽤ 未来への動き © kaonavi, inc. 63 データ活⽤ ⾜と技術で稼ぐ 活⽤ 2n歩⽬ データ活⽤の 総量を増やす 整備 最適化 データ活⽤を増やすため、⾜‧技術 共に⼤事にできるチームを作り上げていきたいと思う ⾜ 技術 (データだけでなく) ビジネス‧プロセスの理解 ステークホルダーとの関係構築 数多ある情報のキャッチ 課題解決‧価値向上の⼿段 ×

Slide 65

Slide 65 text

06 まとめ © kaonavi, inc. 65

Slide 66

Slide 66 text

まとめ © kaonavi, inc. 42 データ課題の解決 × データ基盤の導⼊ ゼロ 活 ⽤ データ活⽤ ⾜で稼ぐ 活⽤ 1歩⽬ 2歩⽬ データが⾒れる データ活⽤の 総量を増やす 3歩⽬ 将来のための 投資の獲得 活⽤ 投資獲得と さらなる成⻑のため の整備 整備 最適化 参考: まずデータ活用の総量を増やせ、話はそれからだ

Slide 67

Slide 67 text

活⽤ まとめ © kaonavi, inc. 53 データ活⽤ ⾜と技術で稼ぐ 活⽤ 2n歩⽬ データ活⽤の 総量を増やす 2n+1歩⽬ 将来のための 投資の獲得 整備 最適化 整備 最適化 活⽤ 参考: まずデータ活用の総量を増やせ、話はそれからだ 投資獲得と さらなる成⻑のため の整備

Slide 68

Slide 68 text

07 さいごに © kaonavi, inc. 65

Slide 69

Slide 69 text

ここまで2年半…

Slide 70

Slide 70 text

ここまで2年半…

Slide 71

Slide 71 text

データ活⽤⽂化の浸透 トップダウンが⼤事

Slide 72

Slide 72 text

トップダウンじゃないと ⽂化は変えられないか? そんなことない

Slide 73

Slide 73 text

No content

Slide 74

Slide 74 text

データはとんでもない広さの ビジネスエリアに関与する 攻め 守り 新規事業 ⽴案 既存事業 改善案 プロセス 改善 モニタリング AI 機械 学習 データ モデリング データ カタログ ETL インフラ 運⽤ 法務/規約 データ ガバナンス いろんな 活⽤

Slide 75

Slide 75 text

データやってるって ⾃分の意思で なにかを好転させる機会が 無限にある

Slide 76

Slide 76 text

いま孤独に戦ってる⽅ 1歩踏み出してみてください

Slide 77

Slide 77 text

仲間は近くにいると思います

Slide 78

Slide 78 text

No content