開発チーム外からの支援 データを民主化し、顧客・ユーザー視点で アプローチする土壌を作る 2024.04.16 DevOpsDays 発表 「カオナビの利用実績データをアウトカムにつなげる旅」改変版 プラットフォーム本部　ソフトウェアサービスグループ　本江 雄人 © kaonavi, inc.

本江 雄人 ▼ 株式会社カオナビ　DevOpsエンジニア - PjM・開発ディレクター - プロセス改善・課題解決 - データマネジメント ▼ 経歴 1社目 ：エンジニアとしてのプロダクト開発 　エンジニア、スクラムマスター 2社目 ：開発チーム内外の課題解決、開発統括、IT戦略 　スクラムマスター、PjM・開発ディレクター 　、プロセス改善・課題解決、組織情報連携の設計 3社目 ：現職 登壇者 自己紹介 © kaonavi, inc. 2 ほんごう　ゆうと

INDEX 1 . データ民主化に取り組むきっかけ 2 .実際の課題や制約を確認していく 3 .民主化に向けてデータエンジニアリングを実施 4 .データの民主化からどのような変化が起きたか © kaonavi, inc. 3 5 .これから取り組んでいくこと

開発チーム プラットフォームチームのお話 まえおき © kaonavi, inc. 4 企画 仕様・外部設計 内部設計 開発 テスト リリース コーディング レビュー インサイト QC 自動 運用 開発チーム 本番運用 チーム … 横断支援チーム （私所属） ｺ ｺ サポート、 サービス提供

開発チーム プラットフォームチームのお話 まえおき © kaonavi, inc. 5 企画 仕様・外部設計 内部設計 開発 テスト リリース コーディング レビュー インサイト QC 自動 運用 開発チーム 本番運用 チーム … 横断支援チーム （私所属） ｺ ｺ サポート、 サービス提供

データ民主化に取り組むきっかけ © kaonavi, inc. 6

プロセス改善の人として入社し、挨拶ついでに組織課題ヒアリング データ民主化に取り組むきっかけ © kaonavi, inc. 7 企画 仕様・外部設計 内部設計 開発 テスト リリース コーディング レビュー インサイト QC 自動 運用 ■ 価値のあるものを定義する力が足りてない Aさん ■ 顧客に本当に喜ばれる機能を　作っているか自信がない Bさん ■ hoge Eさん ■ hoge ■ hoge Cさん ■ hoge Dさん ■ hoge ■ hoge Mng SM Mng Mng Fさん Mng Mng ■ hoge ■ hoge ■ hoge ■ hoge …

プロセス改善の人として入社し、挨拶ついでに組織課題ヒアリング データ民主化に取り組むきっかけ © kaonavi, inc. 8 企画 仕様・外部設計 内部設計 開発 テスト リリース コーディング レビュー インサイト QC 自動 運用 ■ 価値のあるものを定義する力が足りてない Aさん ■ 顧客に本当に喜ばれる機能を　作っているか自信がない Bさん ■ hoge Eさん ■ hoge ■ hoge Cさん ■ hoge Dさん ■ hoge ■ hoge Mng SM Mng Mng Fさん Mng Mng ■ hoge ■ hoge ■ hoge ■ hoge … CIの時間短縮

プロセス改善の人として入社し、挨拶ついでに組織課題ヒアリング データ民主化に取り組むきっかけ © kaonavi, inc. 9 企画 仕様・外部設計 内部設計 開発 テスト リリース コーディング レビュー インサイト QC 自動 運用 ■ 価値のあるものを定義する力が足りてない Aさん ■ 顧客に本当に喜ばれる機能を　作っているか自信がない Bさん ■ hoge Eさん ■ hoge ■ hoge Cさん ■ hoge Dさん ■ hoge ■ hoge Mng SM Mng Mng Fさん Mng Mng ■ hoge ■ hoge ■ hoge ■ hoge … 「顧客に喜ばれる、 価値のある機能とは？」 　という言葉が気になって た

PO、PdM、開発チームが「価値」について不安を持っていた背景 データ民主化に取り組むきっかけ © kaonavi, inc. 10 １ 要望やニーズが増加し、新機能の開発に注力していた ２ データ参照しづらく、モニタリング・価値評価自体が手間であった 多くの顧客に利用していただき、多くのフィードバックや期待をいただいていた。それに応えるべく、 サバイバルモードに近い組織状況下でリリースを目指していた反面、既存機能の価値評価が置き去りに。 詳細は後ろのページにて。

実際の課題や制約を確認していく © kaonavi, inc. 11

開発チーム 本番のデータやログを見ていいのは、権限保有者のみ 実際の課題や制約を確認していく © kaonavi, inc. 12 企画 仕様・外部設計 内部設計 開発 テスト リリース コーディング レビュー インサイト QC 自動 運用 開発チーム 本番運用 チーム … 横断支援チーム （私所属） ｺ ｺ サポート、 サービス提供

なぜ分析用途で、簡単にデータを閲覧してはならないのか 実際の課題や制約を確認していく © kaonavi, inc. 13 １ 個人情報に対する匿名対応 ２ 例外的に分析用途に利用できないデータの除外が必要であること 個人情報を、参照する人にとって匿名情報とする必要があること。 一部例外的に、契約観点などで分析目的でデータ利用をしてはいけないという対象のデータがある。 そのデータを除外した状態でなければ、集計等を実施してはならない。

開発チーム 本番運用チームは、集計だけでなく様々な依頼を一手に受けているため 気軽にモニタリング等ができる状態ではなかった 実際の課題や制約を深堀りしていく © kaonavi, inc. 14 開発チーム 本番運用 チーム … その他、カスタマーサクセス等 依頼 依頼 依頼 依頼 依頼 依頼 依頼 依頼 依頼 依頼

一方、その頃… 実際の課題や制約を確認していく © kaonavi, inc. 15

一方、その頃…　どんどん新機能リリースされていってます 実際の課題や制約を確認していく © kaonavi, inc. 16 再掲 １ 要望やニーズが増加し、新機能の開発に注力していた

カスタマーサクセス部が、顧客の新機能の利用状況がわからず… より製品を活用してもらうアプローチに苦労をしていた 実際の課題や制約を確認していく © kaonavi, inc. 17 ＜（このお客様、機能A契約頂いてるよな…） ＜ ご契約して頂いた機能A、ご活用いただいていますか？ 活用できてないですよー！＞ ＜ そうですか！ ＜ （事前にわかっていれば、1歩踏み込んだフォロー 　の準備できたかも！ ） カスタマーサクセス α社　担当者様

対象者：開発チーム、カスタマーサクセス担当者等、社内のみんなが データ：製品の機能ごとの利用状況のデータを 大前提：データを閲覧するのに問題・心配がない状態でみれること 実際の課題や制約を確認していく © kaonavi, inc. 18 再掲 再掲

対象者：開発チーム、カスタマーサクセス担当者等、社内みんな データ：製品の機能ごとの利用状況のデータを 大前提：データを閲覧するのに問題・心配がない状態でみれること 実際の課題や制約を確認していく © kaonavi, inc. 19 再掲 再掲 民 主 化 民 主 化

民主化に向けて データエンジニアリング 実施 © kaonavi, inc. 20

実際にデータエンジニアリング実施 © kaonavi, inc. 21 これを

実際にデータエンジニアリング実施 © kaonavi, inc. 22 こう 開発チーム 開発チーム 開発チーム 本番運用 チーム … カスタマーサクセス 組織の壁 制約の 壁 個人情報マスク 分析不可データ除外 安全なデータのみを保持 した 場所の作成 安全なものをみんなが見れる→「民主化」 いつでも見ていいよ いつでも見ていいよ

　GitLab 実際にデータエンジニアリング実施 © kaonavi, inc. 23 データの流れ データソース 転送・マスク ・フィルタ データ蓄積 データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB Salesforce … AWS 転送・加工 キュー処理 ほぼリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット 機能A ダッシュボード 機能B ダッシュボード 番外編 @Salesforce α社 各機能の利用状況 開発チーム 開発チーム カスタマーサクセス Redmine・JIRA β社 各機能の利用状況

実際にデータエンジニアリング実施 © kaonavi, inc. 24 データ蓄積場所に問題のあるデータ自体を入れないことに データソース 転送・マスク ・フィルタ データ蓄積 データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB … AWS 転送・加工 キュー処理 ほぼリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット 機能A ダッシュボード 機能B ダッシュボード 番外編 @Salesforce α社 各機能の利用状況 開発チーム 開発チーム カスタマーサクセス β社 各機能の利用状況 　GitLab Salesforce Redmine・JIRA

Snowflake 守備範囲 実際にデータエンジニアリング実施 © kaonavi, inc. 25 データ基盤自体はSnowflake（データフルマネージツール）を利用 データソース 転送・マスク ・フィルタ データ蓄積 データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB … AWS 転送・加工 キュー処理 ほぼリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット 機能A ダッシュボード 機能B ダッシュボード 番外編 @Salesforce α社 各機能の利用状況 開発チーム 開発チーム カスタマーサクセス β社 各機能の利用状況 GitLab Salesforce

Snowflake 守備範囲 実際にデータエンジニアリング実施 © kaonavi, inc. 26 Snowflakeは便利 （例） 全機能 アクセスログ （例） 異常検知など ダッシュボード閲覧 ダッシュボード閲覧 アドホック分析 ※ 弊社では利用は無いが、法務等と確認しながら 　 最適な方法を選択するのをおすすめ AWS GCP 様々なプラット フォームとの連携 ※ データマネジメント初期の利用が 　 少ない時期に助けられる SnowSQL クライアント データ蓄積 データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット 機能A ダッシュボード 機能B ダッシュボード 中間層の融通効く 需要に応じた コンピューティング （課金ポイント） メタデータ管理、クレジット管理、セキュリティ管理 管理者想定の便利機能 データマスク機能 AI系（ML、LLM）機能 構造化データ 半構造化データ 扱いやすい

データの可視化から どのような変化が起きたか © kaonavi, inc. 27

①カスタマーサクセス部の顧客フォローの質の向上 © kaonavi, inc. 28 カスタマーサクセス部が、顧客のフォローを積極的におこない 顧客に寄り添いフォローする機会を創出できた ＜（このお客様、機能Aの利用状況はこうか…） ＜ ご契約して頂いた機能A、お手伝いできることありますか？ おねがいしたいですー！＞ ＜ 承知しました！では… ＜ （フォローを主体的に推進できた…） カスタマーサクセス α社　担当者様

①カスタマーサクセス部の顧客フォローの質の向上 © kaonavi, inc. 29 顧客視点で、機能導入に困っていることを検知することまでは実現 データソース 転送・マスク ・フィルタ データ蓄積 機能A アクセスログ 機能B アクセスログ 製品DB AWS 転送・加工 キュー処理 ほぼリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット カスタマーサクセス カスタマーサクセス ↑ データスチュワード ↑ 私たち データエンジニア ↑ 価値提供 を担う人が 顧客フォロー Salesforce α社 各機能の利用状況 β社 各機能の利用状況 機能A: ☀ - MAU ◯人 - データ ◯件 機能A: ☂ - MAU ◯人 - データ ◯件 閲覧 閲覧 お客様 お客様 サポート サポート

②各機能のモニタリング用ダッシュボードがさまざま作成 © kaonavi, inc. 30 各機能の数値が常にモニタリングできる状態になり、 ユーザー視点での仮説を考え、機能改善案の立案の補助となっている 再掲 安心データなので いつでも みていいよ

③その他、ダッシュボードがさまざま作成 © kaonavi, inc. 31 収集データ　： 各機能の利用状況ログ・Salesforceオブジェクト・GitLab情報 データソース 機能A アクセスログ 機能B アクセスログ 製品DB … GitLab Salesforce 今回、 話して いない

③その他、ダッシュボードがさまざま作成 © kaonavi, inc. 32 収集データ　： 各機能の利用状況ログ・Salesforceオブジェクト・GitLab情報 データソース 機能A アクセスログ 機能B アクセスログ 製品DB … GitLab Salesforce 今回、 話して いない 役員の月次報告、部署間跨いでの共通閲覧、個別チームのみ閲覧等 粒度はさまざまであり、意思決定への積極活用もまちまちではあるが データドリブンな意思決定をする文化を醸成する1歩目

その他 © kaonavi, inc. 33 ▶ PO、PdM、PMM 「 各機能ごとの戦略は、データ判断し立案していこう」 　 　→　企画スキルの一部として定義され、より活用していく流れ ▶ 開発チーム 「ドッグフーディングでもらう定性の意見、データ見て裏付けできた」 　→　定性・定量を見ての仮説の質を上げている事例 データ参照のサイロをなくし、アクセスするハードルが下がったことで 直接の依頼でない、自発的な活用の事例がどんどん増えている

これから取り組んでいくこと © kaonavi, inc. 34

これから取り組んでいくこと © kaonavi, inc. 35 さまざまな意思決定へとアプローチ（と仲間探し） 意思決定や アクション データ スチュワード データ エンジニアリング 顧客サポートの 質向上 カスタマーサクセス Salesforce 担当 各機能の 進化の方向性決定 PO、PMM、PdM kaonavi製品利用状況 顧客のオプション契約状況 開発コンディション とプロセス改善 開発チーム 4keys、SPACE アジャイルメトリクス 仲間 データソース 製品利用状況 顧客のオプション契約状況 製品 Salesforce 製品 Salesforce Gitlab JIRA、Redmine ︙ 私達 製品コンディション の民主化と対処 インフラチーム 開発チーム 製品、インフラ監視 GitLab、︙ スロークエリ、エラー率 ︙

これから取り組んでいくこと © kaonavi, inc. 36 さまざまな意思決定へとアプローチ（と仲間探し） 意思決定や アクション データ スチュワード データ エンジニアリング 顧客サポートの 質向上 カスタマーサクセス Salesforce 担当 各機能の 進化の方向性決定 PO、PMM、PdM kaonavi製品利用状況 顧客のオプション契約状況 開発コンディション とプロセス改善 開発チーム 4keys、SPACE アジャイルメトリクス 仲間 データソース 製品利用状況 顧客のオプション契約状況 製品 Salesforce 製品 Salesforce Gitlab JIRA、Redmine ︙ 私達 製品コンディション の民主化と対処 インフラチーム 開発チーム 製品、インフラ監視 GitLab、︙ スロークエリ、エラー率 ︙ 顧客視点 ユーザー 視点

これから取り組んでいくこと © kaonavi, inc. 37 さまざまな意思決定へとアプローチ（と仲間探し） 意思決定や アクション データ スチュワード データ エンジニアリング 顧客サポートの 質向上 カスタマーサクセス Salesforce 担当 各機能の 進化の方向性決定 PO、PMM、PdM kaonavi製品利用状況 顧客のオプション契約状況 開発コンディション とプロセス改善 開発チーム 4keys、SPACE アジャイルメトリクス 仲間 データソース 製品利用状況 顧客のオプション契約状況 製品 Salesforce 製品 Salesforce Gitlab JIRA、Redmine ︙ 私達 製品コンディション の民主化と対処 インフラチーム 開発チーム 製品、インフラ監視 GitLab、︙ スロークエリ、エラー率 ︙ より顧客・ユーザー視点を もった意思決定ができる 文化の形成を目指す 顧客視点 ユーザー 視点

これから取り組んでいくこと © kaonavi, inc. 38 事業ドメインの深い理解 × データサイエンスアプローチ カオナビ各機能の利用状況、契約内容が顧客ごとにわかったな ログに関しては総量取得してまとまってるな

これから取り組んでいくこと © kaonavi, inc. 39 事業ドメインの深い理解 × データサイエンスアプローチ カオナビ各機能の利用状況、契約内容が顧客ごとにわかったな ログに関しては総量取得してまとまってるな 可視化・データ収集できたものを活用して → カオナビ全体を活用できている顧客って、どういう顧客？（重要な特徴量ある？ → クリティカル前にシステム異常検知できないか → なにかもっと価値提供できないか

より、顧客・ユーザーによいサービスが提供できる （また、その意思決定を補助する） ものを優先的に実施していこうと思います

ご清聴ありがとうございました！ 元の発表は Speaker Deckにあります