ROI計測とユーザー検証における困難さと打開策＿PMカンファレンス2022

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©Flyle,Inc. All Rights Reserved   ● 株式会社フライル（2020/02 創業） ○ プロダクトマネジメントSaaS「Flyle」の開発に従事 ○ 自社でPM向けソフトウェアを開発・提供しながら、100社以上のプロダクトマネジメントを支援 ● ZUU（2014/04入社） ○ 執行役員として金融メディア事業や HR系の新規事業の責任者を務める ○ 新卒として創業期に入社し、上場までの成長過程を経験 ● SNS ○ Twitter：tkrb729 自己紹介株式会社フライル代表取締役CEO 財部優一 Takarabe Yuichi

Slide 3

Slide 3 text

Slide 4

Slide 4 text

©Flyle,Inc. All Rights Reserved   Flyleはプロダクトマネジメント業務の効率化・高度化をサポートするSaaSです  Why  What  How  なぜ  このソリューションを  どのように開発するか  ✔ビジョン・戦略  ✔顧客ニーズの分析  ✔部門間のすり合わせ  ✔アイデアの管理  ✔仮説検証  ✔優先順位づけ    ✔プロジェクトマネジメント   ✔タスク管理  ✔開発・実装  開発・実装  アイデア創出・検証・企画   ユーザー  への提供  プロダクトマネジメント業務  

Slide 5

Slide 5 text

©Flyle,Inc. All Rights Reserved   主要な機能  3  1  2  5  4  ビジネス部門連携を強化する  顧客フィードバック集約・管理機能  顧客データを参照しながら  機能開発の企画ができるソリューション機能  RICEスコアなどで優先度を決められる  スコアリング機能  ステークホルダーとの協働を強化する  プロダクトロードマップ機能  エンジニアへ機能開発の背景を共有する  開発バックログ連携機能  複雑なプロダクトマネジメント業務を効率化する多様な機能を揃えています。 

Slide 6

Slide 6 text

Slide 7

Slide 7 text

©Flyle,Inc. All Rights Reserved   プロダクト開発のROI計測・検証は、どのように実施していますか？  ＿＿を取引先や友人にどの程度   オススメしようと思われますか？   0  1  2  3  4  おすすめしたい  すすめたくない  5  6  7  8  9  10  NPSなどによる  顧客満足度調査による計測   開発投資金額に対する  売上高への寄与  売上  コスト  定量データによる、継続率やDAU などのKPIへの寄与度  など、色々な観点があると思います  ユーザーインタビューや  コンセプトテストによる検証  

Slide 8

Slide 8 text

機能リリースによる成果をより高めるため、  リリース前後のユーザー検証はすべきですが、  実際には後回しにされがちなのではないでしょうか？ 

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Flyleの開発現場でも  事前検証・効果測定を行うにあたり  多くの課題がありました 

Slide 11

Slide 11 text

©Flyle,Inc. All Rights Reserved   課題①：リリースの期限がある中での、ユーザー調査は多大な工数がかかる  機能A 機能B 機能C 機能D 並行して機能開発が進む中で、どの機能に対してどのような調査を行うかの全体設計が難しい   ユーザー調査をするにも、   どうしても工数が掛かってしまう   リリース予定日  調査全体の設計インタビュイーの選定アポイント調整インタビュー実施分析 ※ユーザーインタビューの場合の大まかな工程  

Slide 12

Slide 12 text

©Flyle,Inc. All Rights Reserved   課題②：リリース前に検証したいが、PMは気軽にユーザーに連絡が取れない  多様な顧客  開発チーム  (プロダクトマネージャー、エンジニア、デザイナー)   マーケ  ティング  インサイドセールス  セールス  カスタマー  サクセス  BtoBビジネスでよくみられる構造   開発チームが直接顧客の声を聞くことがあまりない  部門を挟むため、伝言ゲームになりがち 

Slide 13

Slide 13 text

©Flyle,Inc. All Rights Reserved   課題③：行動データだけでは、ユーザーが満足しているか把握できない事がある  機能Aの利用率  7月  8月  9月  10月  11月  12月  機能リリース  ❏ 機能をリリース後、ログを分析したところ利用率が上がっていそう。 ❏ しかし、機能リリースによって、利用率が上がったのかどうかいまいち因果関係が分からない。 ❏ また、ユーザーは満足しているのか、どこに改善点を感じているのか、定量データだけでは分からない遷移率が上がったかどうか、離脱率が下がったかなどは、行動データで明確に分かることが多い。しかし、個々の機能改善にユーザーが満足したかどうかは分からないことが多い。  

Slide 14

Slide 14 text

©Flyle,Inc. All Rights Reserved   Flyleでは、課題を解決するため、下記の取り組みを実施  顧客・要望をDB化  特にインパクトのある顧客課題の特定と背景理解をしやすくするため   開発ロードマップを共有し、ビジネス側もヒアリングに協力   特定の機能によって解決したい顧客の業務課題を、解像度高く理解するため   リリース前の  失敗リスクを  下げるための  取り組み  機能開発の重さ×不確実性の高さで検証方法をパターン化   機能開発の不確実性が高いままにならないように、すぐ動けるように   マイクロサーベイで  アイデアを仮説検証   スピーディーに仮説検証を実行し、   意思決定の精度を高めるため   3  1  2  4  打ち手  背景  行動データ×マイクロサーベイと   CSで検証  行動データだけでは分からない課題   を発見し、改善点を見出すため   リリース後の  効果検証と  機能改善の  ための取り組み  セグメント毎の契約継続意向とNPS を把握する  契約継続率と顧客満足度、   両面を改善していくため   6  5 

Slide 15

Slide 15 text

©Flyle,Inc. All Rights Reserved   取り組み①：機能開発の検証をすぐできるように、顧客・要望をDB化  検索・分析  顧客フィードバック  のデータベース  プロダクト  マネージャー  どんな顧客セグメントの  どのクライアントが  何に課題を感じ  要望を上げてくれたか  顧客接点を持つビジネス部門   日常的に顧客の情報を  Flyleのデータベースに蓄積   プロダクト開発部門  仮説構築・検証に  Flyleのデータベースを活用   ビジネス  チーム  投稿・共有 

Slide 16

Slide 16 text

©Flyle,Inc. All Rights Reserved   取り組み②：機能開発の重さ×不確実性の高さで検証方法をパターン化  不確実性の高さ  ※顧客課題・アイデアの不確実さ  機能開発の重さ  ※  自社にとっての重要度・開発工数の大きさ  大  中  小  大  中  小  主にマイクロサーベイや、営業やCSがMTGがある際に検証  CSと連携しリリース前のインタビュー・コンセプトテスト設定を徹底  また、マイクロサーベイで  リリース前後に検証  過去の顧客フィードバックを  踏まえて検討 

Slide 17

Slide 17 text

©Flyle,Inc. All Rights Reserved   取り組み③：戦略的ロードマップ・テーマを全社に共有し、ビジネス部門もコミットする  プロダクトディスカバリーが必要なテーマを周知することで、ビジネスサイドが日々の顧客接点を活かし、テーマに関連する情報を集めるように   顧客  セグメントA  顧客  セグメントB  1Q  重点テーマα  2Q  3Q  4Q  重点テーマβ  重点テーマγ  重点テーマδ  重点テーマε  重点テーマζ  ビジネス  チーム  日常的に接する顧客に対して、重点テーマについてヒアリングしよう 

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

©Flyle,Inc. All Rights Reserved   取り組み⑥：NPS×継続利用意向度をセグメント毎に把握し、打ち手を実施  全体感を把握した上で、CSチーム、プロダクトチームそれぞれで、打ち手を検討。NPSだけでなく、契約継続意向も把握することで、売上への影響度も把握   有料  ユーザー  無料  ユーザー  XXX  XXX  NPS  XXX  XXX  継続利用意向度  製品・サービスへのロイヤリティを測るため  契約継続の可能性を  把握するため  製品開発・コミュニケーションの両面で、指標改善のための打ち手を検討  有料  ユーザー  無料  ユーザー  XXX  XXX  XXX  XXX  顧客  セグメント A  顧客  セグメント A 

Slide 21

Slide 21 text

©Flyle,Inc. All Rights Reserved   「機能リリース前後の検証」への取り組みによる効果  他業務に忙殺され、   検証が後回しになってしまう   プロダクトマネージャーが顧客に   気軽に連絡を取れない   行動データ(定量)だけでは、   ニーズがいまいち分からなかった   3  1  2  抱えていた課題  ❏ 打ち手：開発機能の粒度毎に検証方針を明確化   ❏ 効果：ユーザー検証を規律を持って、実行し、不確実性を下げられるように  ❏ 打ち手：プロダクトマネージャーが特定ユーザーと接点を持てるよう、マイクロサーベイを実装   ❏ 効果：スピーディーに顧客課題を理解できるように   ❏ 打ち手：行動データをベースに、マイクロサーベイ・CSによるアプローチを実施   ❏ 効果：より高い解像度で、顧客理解できるように   施策と効果 

Slide 22

Slide 22 text

©Flyle,Inc. All Rights Reserved   ご案内  顧客FB収集・管理から優先度づけ、   ロードマップまでワンストップで管理   プロダクト内サーベイで、   エンドユーザー調査をもっと早く簡単に   ❏ Salesforce、Slack、Zendesk等から自動フィードバック収集  ❏ ロードマップ共有・優先度づけなども自由に  ❏ カスタマーサクセスが持続的なフロー整備を支援  ❏ プロダクトマネジメントに特化したマイクロサーベイサービスのクローズドβ版をローンチ  ❏ 行動データ等を基にターゲティング、配信、回答収集が可能です  New  https://flyle.io/jp/survey https://flyle.io/jp