カオナビの利用実績をアウトカムへつなげる旅 / example-of-data-management-startup-in-kaonavi

DevOpsDays2024 2024.04.16　登壇の際の発表資料です。
[イベントページのURL]
https://www.devopsdaystokyo.org/

カオナビの利用実績をアウトカムへつなげる旅と題した、データマネジメントとデータの活用事例の紹介です。

Transcript

1. カオナビの利用実績データを アウトカムにつなげる旅 2024.04.16 | プラットフォーム本部　ソフトウェアサービスグループ　本江 雄人 © kaonavi, inc.
2. 本江 雄人 ▼ 株式会社カオナビ　DevOpsエンジニア - PjM・開発ディレクター - プロセス改善・課題解決 - データマネジメント ▼ 経歴 1社目 ：エンジニアとしてのプロダクト開発 　エンジニア、スクラムマスター 2社目 ：開発チーム内外の課題解決、開発統括、IT戦略 　スクラムマスター、PjM・開発ディレクター 　、プロセス改善・課題解決、組織情報連携の設計 3社目 ：現職 登壇者 自己紹介 © kaonavi, inc. 2 ほんごう　ゆうと
3. DevOpsDays 2023 で刺激を受けた発表 4keys導入のリアル　〜ひと通りやってみてわかったこと〜 ファクトから始める改善アプローチ EP2 〜 Four Keys の先にある アウトカムに向き合ってみた 〜
4. 本江 雄人 ▼ 株式会社カオナビ　DevOpsエンジニア - PjM・開発ディレクター - プロセス改善・課題解決 - データマネジメント（初心者！） ▼ 経歴 1社目 ：エンジニアとしてのプロダクト開発 　エンジニア、スクラムマスター 2社目 ：開発チーム内外の課題解決、開発統括、IT戦略 　スクラムマスター、PjM・開発ディレクター 　、プロセス改善・課題解決、組織情報連携の設計 3社目 ：現職 登壇者 自己紹介 © kaonavi, inc. 4 ほんごう　ゆうと
5. カテゴリ ：データマネジメント、データ基盤 対象者 ：データマネジメントに興味のある方 　　L データ活用をこれからしたい 　　L データ集めてるけど、活かしきれてない エンジニアの知識などは不要な内容となっています データ活用のお話のひとつとして気軽にお聞きください 本登壇 内容 © kaonavi, inc. 5
6. INDEX 1 . データマネジメントに取り組むきっかけ 2 .実際の課題や制約を確認していく 3 .データエンジニアリングを実施 4 .データスチュワードとの協業、アウトカムへつなげていく © kaonavi, inc. 6 5 .データマネジメントの一端を担っての振り返り 6 .これから取り組んでいくこと
7. データマネジメントに取り組むきっかけ © kaonavi, inc. 7
8. プロセス改善の人として入社し、挨拶ついでに組織課題ヒアリング データマネジメントに取り組むきっかけ © kaonavi, inc. 8 企画 仕様・外部設計 内部設計 開発 テスト リリース コーディング レビュー インサイト QC 自動 運用 ▪ 価値のあるものを定義する力が足りてない Aさん ▪ 顧客に本当に喜ばれる機能を　作っているか自信がない Bさん ▪ hoge Eさん ▪ hoge ▪ hoge Cさん ▪ hoge Dさん ▪ hoge ▪ hoge Mng SM Mng Mng Fさん Mng Mng ▪ hoge ▪ hoge ▪ hoge ▪ hoge …
9. プロセス改善の人として入社し、挨拶ついでに組織課題ヒアリング データマネジメントに取り組むきっかけ © kaonavi, inc. 9 企画 仕様・外部設計 内部設計 開発 テスト リリース コーディング レビュー インサイト QC 自動 運用 ▪ 価値のあるものを定義する力が足りてない Aさん ▪ 顧客に本当に喜ばれる機能を　作っているか自信がない Bさん ▪ hoge Eさん ▪ hoge ▪ hoge Cさん ▪ hoge Dさん ▪ hoge ▪ hoge Mng SM Mng Mng Fさん Mng Mng ▪ hoge ▪ hoge ▪ hoge ▪ hoge … CIの時間短縮
10. プロセス改善の人として入社し、挨拶ついでに組織課題ヒアリング データマネジメントに取り組むきっかけ © kaonavi, inc. 10 企画 仕様・外部設計 内部設計 開発 テスト リリース コーディング レビュー インサイト QC 自動 運用 ▪ 価値のあるものを定義する力が足りてない Aさん ▪ 顧客に本当に喜ばれる機能を　作っているか自信がない Bさん ▪ hoge Eさん ▪ hoge ▪ hoge Cさん ▪ hoge Dさん ▪ hoge ▪ hoge Mng SM Mng Mng Fさん Mng Mng ▪ hoge ▪ hoge ▪ hoge ▪ hoge … 「顧客に喜ばれる、 価値のある機能とは？」 　という言葉が気になってた
11. PO、PdM、開発チームが「価値」について不安を持っていた背景 データマネジメントに取り組むきっかけ © kaonavi, inc. 11 １ 要望やニーズが増加し、新機能の開発に注力していた ２ データ参照しづらく、モニタリング・価値評価自体が手間であった 多くの顧客に利用していただき、多くのフィードバックや期待をいただいていた。それに応えるべく、 サバイバルモードに近い組織状況下でリリースを目指していた反面、既存機能の価値評価が置き去りに。 詳細は後ろのページにて。
12. 実際の課題や制約を確認していく © kaonavi, inc. 12
13. 質問 「いまのチームは、本番のログ見れますか？」
14. 開発チーム 本番のデータやログを見ていいのは、権限保有者のみ 実際の課題や制約を確認していく © kaonavi, inc. 14 企画 仕様・外部設計 内部設計 開発 テスト リリース コーディング レビュー インサイト QC 自動 運用 開発チーム 本番運用 チーム … 横断支援チーム （私所属） ｺ ｺ サポート、 サービス提供
15. なぜ分析用途で、簡単にデータを閲覧してはならないのか 実際の課題や制約を確認していく © kaonavi, inc. 15 １ 個人情報に対する匿名対応 ２ 例外的に分析用途に利用できないデータの除外が必要であること 個人情報を、参照する人にとって匿名情報とする必要があること。 一部例外的に、契約観点などで分析目的でデータ利用をしてはいけないという対象のデータがある。 そのデータを除外した状態でなければ、集計等を実施してはならない。
16. 開発チーム 本番運用チームは、集計だけでなく様々な依頼を一手に受けているため 気軽にモニタリング等ができる状態ではなかった 実際の課題や制約を深堀りしていく © kaonavi, inc. 16 開発チーム 本番運用 チーム … その他、カスタマーサクセス等 依頼 依頼 依頼 依頼 依頼 依頼 依頼 依頼 依頼 依頼
17. 一方、その頃… 実際の課題や制約を確認していく © kaonavi, inc. 17
18. 一方、その頃…　どんどん新機能リリースされていってます 実際の課題や制約を確認していく © kaonavi, inc. 18 再掲 １ 要望やニーズが増加し、新機能の開発に注力していた
19. カスタマーサクセス部が、顧客の新機能の利用状況がわからず… より製品を活用してもらうアプローチに苦労をしていた 実際の課題や制約を確認していく © kaonavi, inc. 19 ＜（このお客様、機能A契約頂いてるよな…） ＜ ご契約して頂いた機能A、ご活用いただいていますか？ 活用できてないですよー！＞ ＜ そうですか！ ＜ （事前にわかっていれば、1歩踏み込んだフォロー 　の準備できたかも！） カスタマーサクセス α社　担当者様
20. 対象者：開発チーム、カスタマーサクセス担当者が データ：製品の機能ごとの利用状況のデータを 大前提：データを閲覧するのに問題・心配がない状態でみれること 実際の課題や制約を確認していく © kaonavi, inc. 20 再掲 再掲
21. 実際にデータエンジニアリング実施 © kaonavi, inc. 21
22. 実際にデータエンジニアリング実施 © kaonavi, inc. 22 これを
23. 実際にデータエンジニアリング実施 © kaonavi, inc. 23 こう 開発チーム 開発チーム 開発チーム 本番運用 チーム … カスタマーサクセス 組織の壁 制約の壁 個人情報マスク 分析不可データ除外 安全なデータのみを保持した 場所の作成 いつでも見ていいよ いつでも見ていいよ
24. 　GitLab 実際にデータエンジニアリング実施 © kaonavi, inc. 24 データの流れ データソース 転送・マスク ・フィルタ データ蓄積 データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB Salesforce … AWS 転送・加工 キュー処理 ほぼリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット 機能A ダッシュボード 機能B ダッシュボード 番外編 @Salesforce α社 各機能の利用状況 開発チーム 開発チーム カスタマーサクセス Redmine・JIRA β社 各機能の利用状況
25. 実際にデータエンジニアリング実施 © kaonavi, inc. 25 データ蓄積場所に問題のあるデータ自体を入れないことに データソース 転送・マスク ・フィルタ データ蓄積 データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB … AWS 転送・加工 キュー処理 ほぼリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット 機能A ダッシュボード 機能B ダッシュボード 番外編 @Salesforce α社 各機能の利用状況 開発チーム 開発チーム カスタマーサクセス β社 各機能の利用状況 　GitLab Salesforce Redmine・JIRA
26. Snowflake 守備範囲 実際にデータエンジニアリング実施 © kaonavi, inc. 26 データ基盤自体はSnowflake（データフルマネージツール）を利用 データソース 転送・マスク ・フィルタ データ蓄積 データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 製品DB … AWS 転送・加工 キュー処理 ほぼリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット 機能A ダッシュボード 機能B ダッシュボード 番外編 @Salesforce α社 各機能の利用状況 開発チーム 開発チーム カスタマーサクセス β社 各機能の利用状況 　GitLab Salesforce Redmine・JIRA
27. Snowflake 守備範囲 実際にデータエンジニアリング実施 © kaonavi, inc. 27 Snowflakeは便利 （例） 全機能 アクセスログ （例） 異常検知など ダッシュボード閲覧 ダッシュボード閲覧 アドホック分析 ※ 弊社では利用は無いが、法務等と確認しながら 　 最適な方法を選択するのをおすすめ AWS GCP 様々なプラット フォームとの連携 ※ データマネジメント初期の利用が 　 少ない時期に助けられる SnowSQL クライアント データ蓄積 データ加工 ダッシュボード ユースケース 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット 機能A ダッシュボード 機能B ダッシュボード 中間層の融通効く 需要に応じた コンピューティング （課金ポイント） メタデータ管理、クレジット管理、セキュリティ管理 管理者想定の便利機能 データマスク機能 AI系（ML、LLM）機能 構造化データ 半構造化データ 扱いやすい
28. データスチュワードとの協業 アウトカムへつなげていく © kaonavi, inc. 28
29. データスチュワードとの協業　アウトカムへつなげていく © kaonavi, inc. 29 スチュワード … 世話役・幹事 データスチュワード … データ利用者のニーズを汲み取り、データを整備する人
30. データスチュワードとの協業　アウトカムへつなげていく © kaonavi, inc. 30 カスタマーサクセスが困っていることを、常に整理し発信してくれる方 ↑ここの担当者 とマネージャー 再掲
31. データスチュワードとの協業　アウトカムへつなげていく © kaonavi, inc. 31 データ利用者のニーズを汲み取り、データを整備する人 データソース 転送・マスク ・フィルタ データ蓄積 機能A アクセスログ 機能B アクセスログ 製品DB AWS 転送・加工 キュー処理 ほぼリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット Salesforce α社 各機能の利用状況 カスタマーサクセス β社 各機能の利用状況 カスタマーサクセス ↑ データスチュワード ↑ 私たち データエンジニア ↑ 価値提供 を担う人
32. データスチュワードとの協業　アウトカムへつなげていく © kaonavi, inc. 32 この話をキッカケで、週次での情報同期・協業の実施 再掲
33. データスチュワードとの協業　アウトカムへつなげていく © kaonavi, inc. 33 カスタマーサクセス部が、機能をうまく活用できていない顧客に プッシュ型でアプローチできるようになった ＜（このお客様、機能Aの利用状況はこうか…） ＜ ご契約して頂いた機能A、お手伝いできることありますか？ おねがいしたいですー！＞ ＜ 承知しました！では… ＜ （フォローを主体的に推進できた…） カスタマーサクセス α社　担当者様
34. データスチュワードとの協業　アウトカムへつなげていく © kaonavi, inc. 34 カオナビの利用実績データをアウトカムにつなげる1例となりました データソース 転送・マスク ・フィルタ データ蓄積 機能A アクセスログ 機能B アクセスログ 製品DB AWS 転送・加工 キュー処理 ほぼリアルタイム バッチサーバー スナップショット 頻度要件設定 機能A アクセスログ 機能B アクセスログ 機能A スナップショット 機能B スナップショット カスタマーサクセス カスタマーサクセス ↑ データスチュワード ↑ 私たち データエンジニア ↑ 価値提供 を担う人 Salesforce α社 各機能の利用状況 β社 各機能の利用状況 機能A: ☀ - MAU ◯人 - データ ◯件 機能A: ☂ - MAU ◯人 - データ ◯件 閲覧 閲覧 お客様 お客様 アウトカム サポート サポート
35. データマネジメントの一端を担っての 振り返り © kaonavi, inc. 35
36. データマネジメントの一端を担っての振り返り © kaonavi, inc. 36 なんとなくではじめず、課題解決として一歩目踏み出す 再掲
37. データマネジメントの一端を担っての振り返り © kaonavi, inc. 37 データを価値に転化（課題定義、アクション実行）する仲間の重要性 再掲
38. データマネジメントの一端を担っての振り返り © kaonavi, inc. 38 データを価値に転化（課題定義、アクション実行）する仲間の重要性 プロダクト開発 データマネジメント PO、PMM、PdM 製品 意思決定 と アクション データ スチュワード データ エンジニアリング 開発チーム 対象 課題やニーズ 実現 例. ECサイトの機能追加で、CVR向上を目指す 例. 顧客の各機能利用状況を可視化しフォロー、解約率を下げる
39. これから取り組んでいくこと © kaonavi, inc. 39
40. これから取り組んでいくこと © kaonavi, inc. 40 事例を引っ提げて、さまざまな意思決定へとアプローチ（と仲間探し） 意思決定や アクション データ スチュワード データ エンジニアリング 顧客サポートの 質向上 カスタマーサクセス Salesforce 担当 各機能の 進化の方向性決定 PO、PMM、PdM kaonavi製品利用状況 顧客のオプション契約状況 開発コンディション とプロセス改善 開発チーム 4keys、SPACE アジャイルメトリクス 仲間 データソース 製品利用状況 顧客のオプション契約状況 製品 Salesforce 製品 Salesforce Gitlab JIRA、Redmine ︙ 私達 製品コンディション の民主化と対処 インフラチーム 開発チーム 製品、インフラ監視 GitLab、︙ スロークエリ、エラー率 ︙
41. これから取り組んでいくこと © kaonavi, inc. 41 事例を引っ提げて、さまざまな意思決定へとアプローチ（と仲間探し） 意思決定や アクション データ スチュワード データ エンジニアリング 顧客サポートの 質向上 カスタマーサクセス Salesforce 担当 各機能の 進化の方向性決定 PO、PMM、PdM kaonavi製品利用状況 顧客のオプション契約状況 開発コンディション とプロセス改善 開発チーム 4keys、SPACE アジャイルメトリクス 仲間 データソース 製品利用状況 顧客のオプション契約状況 製品 Salesforce 製品 Salesforce Gitlab JIRA、Redmine ︙ 私達 製品コンディション の民主化と対処 インフラチーム 開発チーム 製品、インフラ監視 GitLab、︙ スロークエリ、エラー率 ︙ 顧客直接 サポート 作りすぎ のムダ
42. これから取り組んでいくこと © kaonavi, inc. 42 事例を引っ提げて、さまざまな意思決定へとアプローチ（と仲間探し） 意思決定や アクション データ スチュワード データ エンジニアリング 顧客サポートの 質向上 カスタマーサクセス Salesforce 担当 各機能の 進化の方向性決定 PO、PMM、PdM kaonavi製品利用状況 顧客のオプション契約状況 開発コンディション とプロセス改善 開発チーム 4keys、SPACE アジャイルメトリクス 仲間 データソース 製品利用状況 顧客のオプション契約状況 製品 Salesforce 製品 Salesforce Gitlab JIRA、Redmine ︙ 私達 製品コンディション の民主化と対処 インフラチーム 開発チーム 製品、インフラ監視 GitLab、︙ スロークエリ、エラー率 ︙ よりデータドリブンな 意思決定ができる 文化の形成を目指す
43. これから取り組んでいくこと © kaonavi, inc. 43 事例を引っ提げて、さまざまな意思決定へとアプローチ（と仲間探し） ▶ PO、PdM、PMM 「 各機能ごとの戦略は、データ判断し立案していこう」 　 　→　企画スキルの一部として定義され、より活用していく流れ ▶ 開発チーム 「ドッグフーディングでもらう定性の意見、データ見て裏付けできた」 　→　定性・定量を見ての仮説の質を上げている事例 ▶ カスタマーサクセス　→　本登壇 サイロをなくし、アクセスするハードルが下がったことで 直接の依頼でない、自発的な活用の事例がどんどん増えている
44. これから取り組んでいくこと © kaonavi, inc. 44 サイロを産まないデータマネジメントによって、 協業がうまれたり、全体最適を目指した提案が社内に溢れてほしい （遠い夢かもしれない） マーケティング インサイドセールス 営業 カスタマーサクセス The MODEL 各種数値 開発まわり 各種数値 企画 開発 テスト 運用
45. これから取り組んでいくこと © kaonavi, inc. 45 事業ドメインの深い理解 × データサイエンスアプローチ カオナビ各機能の利用状況、契約内容が顧客ごとにわかったな ログに関しては総量取得してまとまってるな
46. これから取り組んでいくこと © kaonavi, inc. 46 事業ドメインの深い理解 × データサイエンスアプローチ カオナビ各機能の利用状況、契約内容が顧客ごとにわかったな ログに関しては総量取得してまとまってるな 可視化・データ収集できたものを活用して → カオナビ全体を活用できている顧客って、どういう顧客？（重要な特徴量ある？ → クリティカル前にシステム異常検知できないか → なにかもっと価値提供できないか
47. ぜひ、事例共有やナレッジシェアさせてください！
48. We are hiring!! https://corp.kaonavi.jp/recruit/ ご清聴ありがとうございました！