Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
ROI計測とユーザー検証における困難さと打開策_PMカンファレンス2022
Yuichi Takarabe
November 02, 2022
Business
2
4.3k
ROI計測とユーザー検証における困難さと打開策_PMカンファレンス2022
Yuichi Takarabe
November 02, 2022
Tweet
Share
More Decks by Yuichi Takarabe
See All by Yuichi Takarabe
事業を非連続で成長させるための顧客セグメンテーション_2021PMカンファレンス
tkrb729
0
680
Other Decks in Business
See All in Business
ミギナナメウエ 行動指針「より面白い仕事をするために」
hisashi1109
0
130
株式会社ユビレジ_採用ピッチ資料 / Ubiregi_CompanyProfile
ubiregi_saiyo
0
200
AKIBA.SaaS #3 - No.4
cmsakumashogo
0
170
株式会社LiNew採用資料
linew
0
330
高速PDCAサイクルの回し方がわかる資料
nyattx
PRO
2
260
20230118 kazaneya TeckTalk3 Data Standards and Open Data Initiatives by the Digital Agency of Japan
haseryo
5
4.1k
【エンジニア採用】BuySell Technologies会社説明資料
buyselltechnologies
0
13k
【Leverages Group】会社資料 2022.pdf
leverages
0
150
2023.01_CADDi Thailand Company Overview
caddi_eng
0
8k
NTT DATA PROCESS MANUFACTURING TEAM
nttdatamis
0
210
Eco-Pork_Culture_Deck_2023
ecopork
0
280
会議における意思決定4種類がわかる資料
nyattx
PRO
1
340
Featured
See All Featured
Designing for humans not robots
tammielis
245
24k
A better future with KSS
kneath
230
16k
GraphQLとの向き合い方2022年版
quramy
20
9.8k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
2
390
Designing with Data
zakiwarfel
91
4.2k
JazzCon 2018 Closing Keynote - Leadership for the Reluctant Leader
reverentgeek
175
9.1k
Pencils Down: Stop Designing & Start Developing
hursman
114
10k
How to Ace a Technical Interview
jacobian
270
21k
Building Adaptive Systems
keathley
27
1.3k
The Invisible Customer
myddelton
113
12k
Practical Orchestrator
shlominoach
178
8.9k
Ruby is Unlike a Banana
tanoku
93
9.5k
Transcript
2022.11.02 ©Flyle,Inc. All Rights Reserved 事業成長に寄与するためのプロダ クトマネジメント方法論 〜ROI計測とユーザー検証におけ
る困難さと打開策〜 pmconf2022
©Flyle,Inc. All Rights Reserved • 株式会社フライル(2020/02 創業) ◦ プロダクトマネジメントSaaS「Flyle」の開発に従事
◦ 自社でPM向けソフトウェアを開発・提供しながら、100社以 上のプロダクトマネジメントを支援 • ZUU(2014/04入社) ◦ 執行役員として金融メディア事業や HR系の新規事業の責任 者を務める ◦ 新卒として創業期に入社し、上場までの成長過程を経験 • SNS ◦ Twitter:tkrb729 自己紹介 株式会社フライル 代表取締役CEO 財部 優一 Takarabe Yuichi
©Flyle,Inc. All Rights Reserved 今回お話すること ❏ 機能リリースの前後の検証で直面してきた課題 ❏ リリースの失敗確率を下げるために実施した事
❏ リリース後、振り返り、改善に繋げるために実施してきた事
©Flyle,Inc. All Rights Reserved Flyleはプロダクトマネジメント業務の効率化・高度化をサポートするSaaSです Why What How なぜ
このソリューションを どのように開発するか ✔ビジョン・戦略 ✔顧客ニーズの分析 ✔部門間のすり合わせ ✔アイデアの管理 ✔仮説検証 ✔優先順位づけ ✔プロジェクトマネジメント ✔タスク管理 ✔開発・実装 開発・実装 アイデア創出・検証・企画 ユーザー への提供 プロダクトマネジメント業務
©Flyle,Inc. All Rights Reserved 主要な機能 3 1 2 5
4 ビジネス部門連携を強化する 顧客フィードバック集約・管理機能 顧客データを参照しながら 機能開発の企画ができるソリューション機能 RICEスコアなどで優先度を決められる スコアリング機能 ステークホルダーとの協働を強化する プロダクトロードマップ機能 エンジニアへ機能開発の背景を共有する 開発バックログ連携機能 複雑なプロダクトマネジメント業務を効率化する多様な機能を揃えています。
©Flyle,Inc. All Rights Reserved プロダクトマネジメント体制を構築される先進的な企業様に導入が進んでいます ※ロゴご掲載許可を頂けている企業様の一部
©Flyle,Inc. All Rights Reserved プロダクト開発のROI計測・検証は、どのように実施していますか? __を取引先や友人にどの程度 オススメしようと思われますか?
0 1 2 3 4 おすすめしたい すすめたくない 5 6 7 8 9 10 NPSなどによる 顧客満足度調査による計測 開発投資金額に対する 売上高への寄与 売上 コスト 定量データによる、継続率やDAU などのKPIへの寄与度 など、色々な観点があると思います ユーザーインタビューや コンセプトテストによる検証
機能リリースによる成果をより高めるため、 リリース前後のユーザー検証はすべきですが、 実際には後回しにされがちなのではないでしょうか?
©Flyle,Inc. All Rights Reserved 理想的には、機能リリース前後にしっかり検証がされているべき 機能リリース リリース後の 効果検証 ユーザーイン
タビュー 顧客満足度 の調査 過去の要望 からニーズの 考察
Flyleの開発現場でも 事前検証・効果測定を行うにあたり 多くの課題がありました
©Flyle,Inc. All Rights Reserved 課題①:リリースの期限がある中での、ユーザー調査は多大な工数がかかる 機能A 機能B 機能C 機能D
並行して機能開発が進む中で、 どの機能に対してどのような調査 を行うかの全体設計が難しい ユーザー調査をするにも、 どうしても工数が掛かってしまう リリース予定日 調査全体の設計 インタビュイーの選定 アポイント調整 インタビュー実施 分析 ※ユーザーインタビューの場合の大まかな工程
©Flyle,Inc. All Rights Reserved 課題②:リリース前に検証したいが、PMは気軽にユーザーに連絡が取れない 多様な顧客 開発チーム (プロダクトマネージャー、エンジニア、デザイナー)
マーケ ティング インサイド セールス セールス カスタマー サクセス BtoBビジネスでよくみられる構造 開発チームが直接 顧客の声を聞くこと があまりない 部門を挟む ため、伝言 ゲームにな りがち
©Flyle,Inc. All Rights Reserved 課題③:行動データだけでは、ユーザーが満足しているか把握できない事がある 機能Aの利用率 7月 8月 9月
10月 11月 12月 機能リリース ❏ 機能をリリース後、ログを分析した ところ利用率が上がっていそう。 ❏ しかし、機能リリースによって、利 用率が上がったのかどうかいまい ち因果関係が分からない。 ❏ また、ユーザーは満足しているの か、どこに改善点を感じているの か、定量データだけでは分からな い 遷移率が上がったかどうか、離脱率が下がったかなどは、行動データで明確に分かることが多い。しか し、個々の機能改善にユーザーが満足したかどうかは分からないことが多い。
©Flyle,Inc. All Rights Reserved Flyleでは、課題を解決するため、下記の取り組みを実施 顧客・要望をDB化 特にインパクトのある顧客課題の特定と 背景理解をしやすくするため
開発ロードマップを共有し、ビジネス 側もヒアリングに協力 特定の機能によって解決したい顧客の業 務課題を、解像度高く理解するため リリース前の 失敗リスクを 下げるための 取り組み 機能開発の重さ×不確実性の高さ で検証方法をパターン化 機能開発の不確実性が高いままにならな いように、すぐ動けるように マイクロサーベイで アイデアを仮説検証 スピーディーに仮説検証を実行し、 意思決定の精度を高めるため 3 1 2 4 打ち手 背景 行動データ×マイクロサーベイと CSで検証 行動データだけでは分からない課題 を発見し、改善点を見出すため リリース後の 効果検証と 機能改善の ための取り組み セグメント毎の契約継続意向とNPS を把握する 契約継続率と顧客満足度、 両面を改善していくため 6 5
©Flyle,Inc. All Rights Reserved 取り組み①:機能開発の検証をすぐできるように、顧客・要望をDB化 検索・分析 顧客フィードバック のデータベース プロダクト
マネージャー どんな顧客セグメントの どのクライアントが 何に課題を感じ 要望を上げてくれたか 顧客接点を持つビジネス部門 日常的に顧客の情報を Flyleのデータベースに蓄積 プロダクト開発部門 仮説構築・検証に Flyleのデータベースを活用 ビジネス チーム 投稿・共有
©Flyle,Inc. All Rights Reserved 取り組み②:機能開発の重さ×不確実性の高さで検証方法をパターン化 不確実性の高さ ※顧客課題・アイデアの不確実さ 機 能
開 発 の 重 さ ※ 自 社 に とっ て の 重 要 度・ 開 発 工 数 の 大 きさ 大 中 小 大 中 小 主にマイクロサーベイ や、営業やCSがMTGが ある際に検証 CSと連携しリリース前のインタビュー・コンセ プトテスト設定を徹底 また、マイクロサーベイで リリース前後に検証 過去の顧客フィードバックを 踏まえて検討
©Flyle,Inc. All Rights Reserved 取り組み③:戦略的ロードマップ・テーマを全社に共有し、ビジネス部門もコミットする プロダクトディスカバリーが必要なテーマを周知することで、ビジネスサイドが日々の顧客接点を活か し、テーマに関連する情報を集めるように 顧客
セグメントA 顧客 セグメントB 1Q 重点テーマα 2Q 3Q 4Q 重点テーマβ 重点テーマγ 重点テーマδ 重点テーマε 重点テーマζ ビジネス チーム 日常的に接する顧 客に対して、重点 テーマについてヒア リングしよう
©Flyle,Inc. All Rights Reserved 取り組み④:内製のマイクロサーベイで、来Qの機能アイデアを評価 社内向けにマイクロサーベイを開発し、PMがエンドユーザーに対し、スピーディーに直接フィードバック を求める導線を開発。5日間で19.7%のお客様から意見収集に成功
©Flyle,Inc. All Rights Reserved 取り組み⑤:新機能を利用したユーザーにマイクロサーベイで使用感をヒアリング 行動データで利用率について把握しつつ、実際に満足いただけているかどうか、テックタッチ、カスタ マーサクセス両面で調査 別途カスタマーサクセスの MTGでも、使用感と改善
点について簡単にヒアリン グを実施
©Flyle,Inc. All Rights Reserved 取り組み⑥:NPS×継続利用意向度をセグメント毎に把握し、打ち手を実施 全体感を把握した上で、CSチーム、プロダクトチームそれぞれで、打ち手を検討。NPSだけでなく、契約 継続意向も把握することで、売上への影響度も把握 有料
ユーザー 無料 ユーザー XXX XXX NPS XXX XXX 継続利用意向度 製品・サービスへのロイ ヤリティを測るため 契約継続の可能性を 把握するため 製品開発・コミュニケー ションの両面で、指標改 善のための打ち手を検 討 有料 ユーザー 無料 ユーザー XXX XXX XXX XXX 顧客 セグメント A 顧客 セグメント A
©Flyle,Inc. All Rights Reserved 「機能リリース前後の検証」への取り組みによる効果 他業務に忙殺され、 検証が後回しになってしまう
プロダクトマネージャーが顧客に 気軽に連絡を取れない 行動データ(定量)だけでは、 ニーズがいまいち分からなかった 3 1 2 抱えていた課題 ❏ 打ち手:開発機能の粒度毎に検証方針を明確化 ❏ 効果:ユーザー検証を規律を持って、実行し、不確実性 を下げられるように ❏ 打ち手:プロダクトマネージャーが特定ユーザーと接点 を持てるよう、マイクロサーベイを実装 ❏ 効果:スピーディーに顧客課題を理解できるように ❏ 打ち手:行動データをベースに、マイクロサーベイ・CSに よるアプローチを実施 ❏ 効果:より高い解像度で、顧客理解できるように 施策と効果
©Flyle,Inc. All Rights Reserved ご案内 顧客FB収集・管理から優先度づけ、 ロードマップまでワンストップで管理
プロダクト内サーベイで、 エンドユーザー調査をもっと早く簡単に ❏ Salesforce、Slack、Zendesk等から自動フィードバック 収集 ❏ ロードマップ共有・優先度づけなども自由に ❏ カスタマーサクセスが持続的なフロー整備を支援 ❏ プロダクトマネジメントに特化したマイクロサーベイ サービスのクローズドβ版をローンチ ❏ 行動データ等を基にターゲティング、配信、回答収 集が可能です New https://flyle.io/jp/survey https://flyle.io/jp