ROI計測とユーザー検証における困難さと打開策＿PMカンファレンス2022

Transcript

1. 2022.11.02
 ©Flyle,Inc. All Rights Reserved 
 事業成長に寄与するためのプロダ クトマネジメント方法論 
 〜ROI計測とユーザー検証におけ る困難さと打開策〜
 
 pmconf2022

2. ©Flyle,Inc. All Rights Reserved 
 • 株式会社フライル（2020/02 創業） ◦ プロダクトマネジメントSaaS「Flyle」の開発に従事 ◦ 自社でPM向けソフトウェアを開発・提供しながら、100社以 上のプロダクトマネジメントを支援 • ZUU（2014/04入社） ◦ 執行役員として金融メディア事業や HR系の新規事業の責任 者を務める ◦ 新卒として創業期に入社し、上場までの成長過程を経験 • SNS ◦ Twitter：tkrb729 自己紹介 株式会社フライル 代表取締役CEO 財部 優一 Takarabe Yuichi
3. ©Flyle,Inc. All Rights Reserved 
 今回お話すること
 ❏ 機能リリースの前後の検証で直面してきた課題
 ❏ リリースの失敗確率を下げるために実施した事
 ❏ リリース後、振り返り、改善に繋げるために実施してきた事

4. ©Flyle,Inc. All Rights Reserved 
 Flyleはプロダクトマネジメント業務の効率化・高度化をサポートするSaaSです
 Why
 What
 How
 なぜ
 このソリューションを
 どのように開発するか
 ✔ビジョン・戦略
 ✔顧客ニーズの分析
 ✔部門間のすり合わせ
 ✔アイデアの管理
 ✔仮説検証
 ✔優先順位づけ
 
 ✔プロジェクトマネジメント 
 ✔タスク管理
 ✔開発・実装
 開発・実装
 アイデア創出・検証・企画 
 ユーザー
 への提供
 プロダクトマネジメント業務 

5. ©Flyle,Inc. All Rights Reserved 
 主要な機能
 3
 1
 2
 5
 4
 ビジネス部門連携を強化する
 顧客フィードバック集約・管理機能
 顧客データを参照しながら
 機能開発の企画ができるソリューション機能
 RICEスコアなどで優先度を決められる
 スコアリング機能
 ステークホルダーとの協働を強化する
 プロダクトロードマップ機能
 エンジニアへ機能開発の背景を共有する
 開発バックログ連携機能
 複雑なプロダクトマネジメント業務を効率化する多様な機能を揃えています。

6. ©Flyle,Inc. All Rights Reserved 
 プロダクトマネジメント体制を構築される先進的な企業様に導入が進んでいます
 ※ロゴご掲載許可を頂けている企業様の一部 

7. ©Flyle,Inc. All Rights Reserved 
 プロダクト開発のROI計測・検証は、どのように実施していますか？
 ＿＿を取引先や友人にどの程度 
 オススメしようと思われますか？ 
 0
 1
 2
 3
 4
 おすすめしたい
 すすめたくない
 5
 6
 7
 8
 9
 10
 NPSなどによる
 顧客満足度調査による計測 
 開発投資金額に対する
 売上高への寄与
 売上
 コスト
 定量データによる、継続率やDAU などのKPIへの寄与度
 など、色々な観点があると思います
 ユーザーインタビューや
 コンセプトテストによる検証 

8. 機能リリースによる成果をより高めるため、
 リリース前後のユーザー検証はすべきですが、
 実際には後回しにされがちなのではないでしょうか？

9. ©Flyle,Inc. All Rights Reserved 
 理想的には、機能リリース前後にしっかり検証がされているべき
 機能リリース
 リリース後の 効果検証
 ユーザーイン タビュー
 顧客満足度 の調査
 過去の要望 からニーズの 考察

10. Flyleの開発現場でも
 事前検証・効果測定を行うにあたり
 多くの課題がありました

11. ©Flyle,Inc. All Rights Reserved 
 課題①：リリースの期限がある中での、ユーザー調査は多大な工数がかかる
 機能A 機能B 機能C 機能D 並行して機能開発が進む中で、 どの機能に対してどのような調査 を行うかの全体設計が難しい 
 ユーザー調査をするにも、 
 どうしても工数が掛かってしまう 
 リリース予定日
 調査全体の設計 インタビュイーの選定 アポイント調整 インタビュー実施 分析 ※ユーザーインタビューの場合の大まかな工程 

12. ©Flyle,Inc. All Rights Reserved 
 課題②：リリース前に検証したいが、PMは気軽にユーザーに連絡が取れない
 多様な顧客
 開発チーム
 (プロダクトマネージャー、エンジニア、デザイナー) 
 マーケ
 ティング
 インサイド セールス
 セールス
 カスタマー
 サクセス
 BtoBビジネスでよくみられる構造 
 開発チームが直接 顧客の声を聞くこと があまりない
 部門を挟む ため、伝言 ゲームにな りがち

13. ©Flyle,Inc. All Rights Reserved 
 課題③：行動データだけでは、ユーザーが満足しているか把握できない事がある
 機能Aの利用率
 7月
 8月
 9月
 10月
 11月
 12月
 機能リリース
 ❏ 機能をリリース後、ログを分析した ところ利用率が上がっていそう。 ❏ しかし、機能リリースによって、利 用率が上がったのかどうかいまい ち因果関係が分からない。 ❏ また、ユーザーは満足しているの か、どこに改善点を感じているの か、定量データだけでは分からな い 遷移率が上がったかどうか、離脱率が下がったかなどは、行動データで明確に分かることが多い。しか し、個々の機能改善にユーザーが満足したかどうかは分からないことが多い。 

14. ©Flyle,Inc. All Rights Reserved 
 Flyleでは、課題を解決するため、下記の取り組みを実施
 顧客・要望をDB化
 特にインパクトのある顧客課題の特定と 背景理解をしやすくするため 
 開発ロードマップを共有し、ビジネス 側もヒアリングに協力 
 特定の機能によって解決したい顧客の業 務課題を、解像度高く理解するため 
 リリース前の
 失敗リスクを
 下げるための
 取り組み
 機能開発の重さ×不確実性の高さ で検証方法をパターン化 
 機能開発の不確実性が高いままにならな いように、すぐ動けるように 
 マイクロサーベイで
 アイデアを仮説検証 
 スピーディーに仮説検証を実行し、 
 意思決定の精度を高めるため 
 3
 1
 2
 4
 打ち手
 背景
 行動データ×マイクロサーベイと 
 CSで検証
 行動データだけでは分からない課題 
 を発見し、改善点を見出すため 
 リリース後の
 効果検証と
 機能改善の
 ための取り組み
 セグメント毎の契約継続意向とNPS を把握する
 契約継続率と顧客満足度、 
 両面を改善していくため 
 6
 5

15. ©Flyle,Inc. All Rights Reserved 
 取り組み①：機能開発の検証をすぐできるように、顧客・要望をDB化
 検索・分析
 顧客フィードバック
 のデータベース
 プロダクト
 マネージャー
 どんな顧客セグメントの
 どのクライアントが
 何に課題を感じ
 要望を上げてくれたか
 顧客接点を持つビジネス部門 
 日常的に顧客の情報を
 Flyleのデータベースに蓄積 
 プロダクト開発部門
 仮説構築・検証に
 Flyleのデータベースを活用 
 ビジネス
 チーム
 投稿・共有

16. ©Flyle,Inc. All Rights Reserved 
 取り組み②：機能開発の重さ×不確実性の高さで検証方法をパターン化
 不確実性の高さ
 ※顧客課題・アイデアの不確実さ
 機 能 開 発 の 重 さ
 ※
 自 社 に とっ て の 重 要 度・ 開 発 工 数 の 大 きさ
 大
 中
 小
 大
 中
 小
 主にマイクロサーベイ や、営業やCSがMTGが ある際に検証
 CSと連携しリリース前のインタビュー・コンセ プトテスト設定を徹底
 また、マイクロサーベイで
 リリース前後に検証
 過去の顧客フィードバックを
 踏まえて検討

17. ©Flyle,Inc. All Rights Reserved 
 取り組み③：戦略的ロードマップ・テーマを全社に共有し、ビジネス部門もコミットする
 プロダクトディスカバリーが必要なテーマを周知することで、ビジネスサイドが日々の顧客接点を活か し、テーマに関連する情報を集めるように 
 顧客
 セグメントA
 顧客
 セグメントB
 1Q
 重点テーマα
 2Q
 3Q
 4Q
 重点テーマβ
 重点テーマγ
 重点テーマδ
 重点テーマε
 重点テーマζ
 ビジネス
 チーム
 日常的に接する顧 客に対して、重点 テーマについてヒア リングしよう

18. ©Flyle,Inc. All Rights Reserved 
 取り組み④：内製のマイクロサーベイで、来Qの機能アイデアを評価
 社内向けにマイクロサーベイを開発し、PMがエンドユーザーに対し、スピーディーに直接フィードバック を求める導線を開発。5日間で19.7％のお客様から意見収集に成功 

19. ©Flyle,Inc. All Rights Reserved 
 取り組み⑤：新機能を利用したユーザーにマイクロサーベイで使用感をヒアリング
 行動データで利用率について把握しつつ、実際に満足いただけているかどうか、テックタッチ、カスタ マーサクセス両面で調査
 別途カスタマーサクセスの MTGでも、使用感と改善 点について簡単にヒアリン グを実施

20. ©Flyle,Inc. All Rights Reserved 
 取り組み⑥：NPS×継続利用意向度をセグメント毎に把握し、打ち手を実施
 全体感を把握した上で、CSチーム、プロダクトチームそれぞれで、打ち手を検討。NPSだけでなく、契約 継続意向も把握することで、売上への影響度も把握 
 有料
 ユーザー
 無料
 ユーザー
 XXX
 XXX
 NPS
 XXX
 XXX
 継続利用意向度
 製品・サービスへのロイ ヤリティを測るため
 契約継続の可能性を
 把握するため
 製品開発・コミュニケー ションの両面で、指標改 善のための打ち手を検 討
 有料
 ユーザー
 無料
 ユーザー
 XXX
 XXX
 XXX
 XXX
 顧客
 セグメント A
 顧客
 セグメント A

21. ©Flyle,Inc. All Rights Reserved 
 「機能リリース前後の検証」への取り組みによる効果
 他業務に忙殺され、 
 検証が後回しになってしまう 
 プロダクトマネージャーが顧客に 
 気軽に連絡を取れない 
 行動データ(定量)だけでは、 
 ニーズがいまいち分からなかった 
 3
 1
 2
 抱えていた課題
 ❏ 打ち手：開発機能の粒度毎に検証方針を明確化 
 ❏ 効果：ユーザー検証を規律を持って、実行し、不確実性 を下げられるように
 ❏ 打ち手：プロダクトマネージャーが特定ユーザーと接点 を持てるよう、マイクロサーベイを実装 
 ❏ 効果：スピーディーに顧客課題を理解できるように 
 ❏ 打ち手：行動データをベースに、マイクロサーベイ・CSに よるアプローチを実施 
 ❏ 効果：より高い解像度で、顧客理解できるように 
 施策と効果

22. ©Flyle,Inc. All Rights Reserved 
 ご案内
 顧客FB収集・管理から優先度づけ、 
 ロードマップまでワンストップで管理 
 プロダクト内サーベイで、 
 エンドユーザー調査をもっと早く簡単に 
 ❏ Salesforce、Slack、Zendesk等から自動フィードバック 収集
 ❏ ロードマップ共有・優先度づけなども自由に
 ❏ カスタマーサクセスが持続的なフロー整備を支援
 ❏ プロダクトマネジメントに特化したマイクロサーベイ サービスのクローズドβ版をローンチ
 ❏ 行動データ等を基にターゲティング、配信、回答収 集が可能です
 New
 https://flyle.io/jp/survey https://flyle.io/jp