石垣雅人 - DMM.com LLC 2018/1/10 Regional Scrum Gathering Tokyo 2019 『開発プロセス』を思考せよ プロダクトオーナー として 『プロセスの見える化』 と 『ムダからの解放』 EBM（Evidence-Based Management） を軸とした を実践したインパクトについて

© DMM.com 2 About me Masato Ishigaki Product Owner at DMM.com Account(ID) , Auth , Personalinfo to Back-end : ~2018/7 Review, Push to Front-end & Back-end : 2018/7~ Scrum Team : Product Owner : 2017/9~ Speaker of DevOpsDaysTokyo2018, DevelopersBoost 2018, DevelopersSummit 2019, etc.

© DMM.com Summary 3 Lead Time Problem Solution Action / Result Evidence-Based Management VSM(ValueStreamMapping)

© DMM.com 4 Agenda About DMM.com About DMM.com Group. Problem : LeadTimeの重要性 Solution : Evidence-Based Management 4 4 最後に 『開発プロセス』を 思考せよ Action / Result : VSM(Value Stream Mapping)

© DMM.com 手のひらと世界にいろどりを。 人類の想像をはるかにこえるスピードとス ケールで、私たちの生活は変化していま す。 DMM.comは1999年から時代のニーズに 合わせた多彩なコンテンツを、独自プラット フォームで安定的に提供しています。 5 40以上の幅広いサービスを展開 About Services About DMM.com

© DMM.com labo How to Develop Services. Purchase ...etc Settlement Personalinfo Search Account SRE SoE (B to C) Systems of Engagement SoR (B to B) System of Record Recommend 6

© DMM.com labo How to Develop Services. Purchase Settlement Personalinfo Search Account SRE Recommend 7

© DMM.com 8 Agenda About DMM.com About DMM.com Group. Problem : LeadTimeの重要性 Solution : Evidence-Based Management 8 8 最後に 『開発プロセス』を 思考せよ Action / Result : VSM(Value Stream Mapping)

© DMM.com ProductOwnerとして必要な観点 9 データドリブンで仮説立案能力 開発プロセスを作る能力 抽象的なものを具現化する能力

© DMM.com 10 データドリブンで仮説立案能力 抽象的なものを具現化する能力 ProductOwnerとして必要な観点 開発プロセスを作る能力 『開発プロセス』を思考せよ

© DMM.com labo IDEA BUILD PRODUCT MEASURE DATA LEARN IDEA BUILD PRODUCT MEASURE DATA LEARN IDEA BUILD PRODUCT MEASURE DATA LEARN Customer Problem Fit Product Solution Fit Product Market Fit Design Thinking Lean Scurm Data Science ペルソナ分析 カスタマージャーニー A/ Bテスト 顧客開発 ユーザー ストーリーマッピング Product Back Log DailyScurm Sprint Planning Sprint Review Transition to Scale Build Product Idea INDEX MEASURE KPI CVR CTR ARPPU Unit Economics DATA LTV CAC CAP CCP 11 Lean 理想 の 『開発プロセス』

© DMM.com labo IDEA BUILD PRODUCT MEASURE DATA LEARN IDEA BUILD PRODUCT MEASURE DATA LEARN IDEA BUILD PRODUCT MEASURE DATA LEARN Customer Problem Fit Product Solution Fit Product Market Fit Design Thinking Lean Scurm Data Science ペルソナ分析 カスタマージャーニー A/ Bテスト 顧客開発 ユーザー ストーリーマッピング Product Back Log DailyScurm Sprint Planning Sprint Review Transition to Scale Build Product Idea INDEX MEASURE KPI CVR CTR ARPPU Unit Economics DATA LTV CAC CAP CCP 12 Lean

© DMM.com labo IDEA BUILD PRODUCT MEASURE DATA LEARN IDEA BUILD PRODUCT MEASURE DATA LEARN Customer Problem Fit Product Solution Fit Product Market Fit Design Thinking Lean Scurm Data Science ペルソナ分析 カスタマージャーニー A/ Bテスト 顧客開発 ユーザー ストーリーマッピング Product Back Log DailyScurm Sprint Planning Sprint Review Transition to Scale Build Product INDEX MEASURE KPI CVR CTR ARPPU Unit Economics DATA LTV CAC CAP CCP 13 Lean Idea IDEA BUILD PRODUCT MEASURE DATA LEARN

© DMM.com labo IDEA BUILD PRODUCT MEASURE DATA LEARN Customer Problem Fit Product Market Fit Design Thinking Lean Scurm Data Science ペルソナ分析 カスタマージャーニー A/ Bテスト 顧客開発 ユーザー ストーリーマッピング Transition to Scale Product INDEX MEASURE KPI CVR CTR ARPPU Unit Economics DATA LTV CAC CAP CCP 14 Lean Idea IDEA BUILD PRODUCT MEASURE DATA LEARN Product Back Log DailyScurm Sprint Planning Sprint Review Build Product Solution Fit IDEA BUILD PRODUCT MEASURE DATA LEARN

© DMM.com labo IDEA BUILD PRODUCT MEASURE DATA LEARN Customer Problem Fit Product Market Fit Design Thinking Lean Scurm Data Science ペルソナ分析 カスタマージャーニー A/ Bテスト 顧客開発 ユーザー ストーリーマッピング Transition to Scale Product INDEX KPI CVR CTR ARPPU Unit Economics DATA 15 Lean Idea IDEA BUILD PRODUCT MEASURE DATA LEARN Product Back Log DailyScurm Sprint Planning Sprint Review Build Product Solution Fit IDEA BUILD PRODUCT MEASURE DATA LEARN LTV CAC CAP CCP MEASURE

© DMM.com labo IDEA BUILD PRODUCT MEASURE DATA LEARN IDEA BUILD PRODUCT MEASURE DATA LEARN IDEA BUILD PRODUCT MEASURE DATA LEARN Customer Problem Fit Product Solution Fit Product Market Fit Design Thinking Lean Scurm Data Science ペルソナ分析 カスタマージャーニー A/ Bテスト 顧客開発 ユーザー ストーリーマッピング Product Back Log DailyScurm Sprint Planning Sprint Review Transition to Scale Build Product Idea INDEX MEASURE KPI CVR CTR ARPPU Unit Economics DATA LTV CAC CAP CCP 16 Lean プロダクトを『最速』でリリースし ROIを高めながら 仮説検証を『高速』で繰り返せるか 『開発プロセス』を 思考せよ

© DMM.com 17 Agenda About DMM.com About DMM.com Group. Problem : LeadTimeの重要性 Solution : Evidence-Based Management 17 17 最後に Action / Result : VSM(Value Stream Mapping) 『開発プロセス』を 思考せよ

© DMM.com labo Problem : LeadTimeの重要性 IDEA BUILD PRODUCT MEASURE DATA LEARN 18

© DMM.com labo Problem : LeadTimeの重要性 IDEA BUILD PRODUCT MEASURE DATA LEARN ここが遅れると 全体的なLeadTimeが遅延 ROIを高めながら プロダクトを『最速』でリリースできない 仮説検証を『高速』で繰り返せない x x ○ 19

© DMM.com labo 20 Problem : LeadTimeの重要性 IDEA BUILD PRODUCT MEASURE DATA LEARN ここが遅れると 全体的なLeadTimeが落ちる。 ROIを高めながら プロダクトを『最速』でリリースできない 仮説検証を『高速』で繰り返せない x x ○ Lead Timeを早くするために 何を短縮すればよいのかの指標がほしい = Evidence-Based Management Problem : LeadTimeの重要性

© DMM.com 21 Agenda About DMM.com About DMM.com Group. Problem : LeadTimeの重要性 Solution : Evidence-Based Management 21 21 最後に Action / Result : VSM(Value Stream Mapping) 『開発プロセス』を 思考せよ

© DMM.com labo Solution : Evidence-Based Management EBM(Evidence-Based Management) とは Agileは目的達成の手段であり目的そのものではない。 本来、組織は『ビジネス価値』が生み出せているかに フォーカスするべきである。 EBMは、組織が提供した『価値』にフォーカスし、 その計測方法まで提供する概念である。 Agility Business Value Current Value (CV) Unrealized Value (UV) Ability to Innovate (A2I) Time to Market (T2M) 4つの重要価値領域(KVA : Key Value Area)で構成 22

© DMM.com labo Solution : Evidence-Based Management Agility Business Value Current Value (CV) Time to Market (T2M) CV : Current Value (現在の価値) 現時点でプロダクトが持っている価値を見ていきます。 ここが大きければ、プロダクトが成功していると言えます。 T2M : Time to Market (市場投入までの時間 ) プロダクトを市場へ投入するまでのリードタイムや リリース回数です。これを最小化すればより高速に 学習サイクルを回すことができます。 23

© DMM.com labo Solution : Evidence-Based Management Agility Business Value Unrealized Value (UV) Ability to Innovate (A2I) UV : Unrealized Value (未実現の価値) 組織が、どのくらい未提供のものに価値を見出して投資 できるかの指標です。つまり現在の価値 (CV)とUVのバ ランスを考えて見ていきます。 A2I :Ability to Innovate (イノベーション能力) ユーザーにエンゲージメントも持ってもらえるプロダクトを市場に出 せているかどうかです。ここで見る数値は『イノベーションを起こせ る環境であるか？』を見ていきます。 24

© DMM.com labo Time to Market (T2M) 25 Solution : Evidence-Based Management Agility Business Value Current Value (CV) KVA : Key Value Area KVM : Key Value Measures 何を指標として見ていけばよいか

© DMM.com labo Time to Market (T2M) T2M : Time to Market (市場投入までの時間 ) ビルドと統合の頻度 リリースの頻度 リリースの安定期間 平均修復時間 サイクルタイム リードタイム 学習時間 単位時間あたりのビルド(結合されてテストまで)の回数。 単位時間あたり(継続的、日次、月次、四半期、 etc)のリリース回数 開発者がリリース準備ができたと言ったときから、実際に顧客にリ リースされるまでにかかった時間。 エラーが発見されてから修正されるまでの平均時間 リリース作業に着手して実際にリリースされるまでの時間 アイディアが提案されて仮説が形成されてから、顧客がそのアイ ディアを受け取るまでの時間 いわゆるBMLループにおけるLearnの部分までの時間 Action / Result : VSM(Value Stream Mapping) KVM 26

© DMM.com labo 27 Time to Market (T2M) T2M : Time to Market (市場投入までの時間 ) ビルドと統合の頻度 リリースの頻度 リリースの安定期間 平均修復時間 サイクルタイム リードタイム 学習時間 単位時間あたりのビルドの回数。 単位時間あたり(継続的、日次、月次、四半期、 etc)のリリース回数 開発者がリリース準備ができたと言ったときから、実際に顧客にリ リースされるまでにかかった時間。 エラーが発見されてから修正されるまでの平均時間 リリース作業に着手して実際にリリースされるまでの時間 アイディアが提案されて仮説が形成されてから、顧客がそのアイ ディアを受け取るまでの時間 いわゆるBMLループにおけるLearnの部分までの時間 KVM : Key Value Measures Solution : Evidence-Based Management 出すべき指標はわかった。 どうやって、数値化していくか？ = VSM(Value Stream Mapping)

© DMM.com 28 Agenda About DMM.com About DMM.com Group. Problem : LeadTimeの重要性 Solution : Evidence-Based Management 28 28 最後に Action / Result : VSM(Value Stream Mapping) 『開発プロセス』を 思考せよ

© DMM.com labo { What is VSM… } 29 Idea Value Action / Result : VSM(Value Stream Mapping)

© DMM.com labo 30

© DMM.com labo 31 How to (Value Stream Mapping)

© DMM.com labo 32 プロセスのタイトル 1 2 プロセスタイム (PT ※+WT) 3 リードタイム(LT) 4 STEPS 4 完成と正確性の割合(aka %C/A)

© DMM.com labo 33 会員登録機能作成 承認MTG リリース作業 PT : 10h WT : 2h %C/A : 0% PT : 1h WT : 0h %C/A : 70% PT : 1h WT : 0h %C/A : 70% 12h 1h 1h 84h 100h Action / Result : VSM(Value Stream Mapping) Go x AWS

© DMM.com labo 34 STEP 0 PT : Process Time WT : Wasting Time リードタイム (LT) プロセスのタイトル 完成と正確性の割合 (%C/A) 会員登録機能作成 PT : 10h WT : 2h %C/A : 0% 12h 承認MTG PT : 1h WT : 0h %C/A : 70% 1h 84h

© DMM.com labo PT : 1h WT : 0h %C/A : 70% PT : 10h WT : 2h %C/A : 0% 35 STEP 1 PT : Process Time WT : Wasting Time リードタイム (LT) プロセスのタイトル 完成と正確性の割合 (%C/A) 会員登録機能作成 12h 承認MTG 1h 84h

© DMM.com labo 36 STEP 2 PT : Process Time WT : Wasting Time リードタイム (LT) プロセスのタイトル 完成と正確性の割合 (%C/A) 会員登録機能作成 12h 承認MTG 1h 84h PT : 1h WT : 0h %C/A : 70% PT : 10h WT : 2h %C/A : 0%

© DMM.com labo 37 STEP 3 PT : Process Time WT : Wasting Time リードタイム (LT) プロセスのタイトル 完成と正確性の割合 (%C/A) 会員登録機能作成 12h 承認MTG 1h 84h PT : 1h WT : 0h %C/A : 70% PT : 10h WT : 2h %C/A : 0%

© DMM.com labo 38 STEP 4 PT : Process Time WT : Wasting Time リードタイム (LT) プロセスのタイトル 完成と正確性の割合 (%C/A) 会員登録機能作成 12h 承認MTG 1h 84h PT : 1h WT : 0h %C/A : 70% PT : 10h WT : 2h %C/A : 0%

© DMM.com labo 39 会員登録機能作成 承認MTG リリース作業 PT : 10h WT : 2h %C/A : 0% PT : 1h WT : 0h %C/A : 70% PT : 1h WT : 0h %C/A : 70% 12h 1h 1h 84h 100h Action / Result : VSM(Value Stream Mapping) Go x AWS 大事なのは、改善ポイント(=ムダ)を見つけること ※ どう改善するかはまた別のレイヤーの話

© DMM.com labo 40 Action KVMsの計測

© DMM.com labo Time to Market (T2M) T2M : Time to Market (市場投入までの時間 ) ビルドと統合の頻度 リリースの頻度 リリースの安定期間 平均修復時間 サイクルタイム リードタイム 学習時間 単位時間あたりのビルド(結合されてテストまで)の回数。 単位時間あたり(継続的、日次、月次、四半期、 etc)のリリース回数 開発者がリリース準備ができたと言ったときから、実際に顧客にリ リースされるまでにかかった時間。 エラーが発見されてから修正されるまでの平均時間 リリース作業に着手して実際にリリースされるまでの時間 アイディアが提案されて仮説が形成されてから、顧客がそのアイ ディアを受け取るまでの時間 いわゆるBMLループにおけるLearnの部分までの時間 Action / Result : VSM(Value Stream Mapping) KVM 41

© DMM.com labo 42 Action / Result : VSM(Value Stream Mapping) Time to Market (T2M) T2M : Time to Market (市場投入までの時間 ) リリースの頻度 10回 / 年 リリースの 安定期間 230.5h 平均修復時間 3.5h ビルドと統合の 頻度 10回 /日 サイクルタイム 26.25h リードタイム 268.5h 学習時間 - KVM

© DMM.com labo 43 Action / Result : VSM(Value Stream Mapping) Time to Market (T2M) T2M : Time to Market (市場投入までの時間 ) リリースの頻度 10回 / 年 リリースの 安定期間 230.5h 平均修復時間 3.5h ビルドと統合の 頻度 10回 /日 サイクルタイム 26.25h リードタイム 268.5h 学習時間 - Action → Result

© DMM.com labo グループ ステークホルダーとの調整 開発作業 リリース準備 + 作業 Featureをリリースするために必要な調整。MTGが多い コーディング作業 リリースするための申請やリリース作業 1 2 3 44 Action / Result : VSM(Value Stream Mapping)

© DMM.com labo ステークホルダーとの調整 開発作業 リリース準備 + 作業 リードタイム : 268.5h Featureをリリースするために必要な調整。MTGが多い コーディング作業 リリースするための申請やリリース作業 1 2 3 グループ 45 Action / Result : VSM(Value Stream Mapping)

© DMM.com labo ステークホルダーとの調整 開発作業 リリース準備 + 作業 約85% 約5% 約10% (228.25h) (14h) (26.25h) Featureをリリースするために必要な調整。MTGが多い コーディング作業 リリースするための申請やリリース作業 1 2 3 グループ リードタイム : 268.5h 46 Action / Result : VSM(Value Stream Mapping)

© DMM.com labo 47 Action / Result : VSM(Value Stream Mapping) リリースの 安定期間 230.5h リードタイム 268.5h 学習時間 - 54.5h 5m 30h TODO Action → Result サイクルタイム 26.25h

© DMM.com 48 Agenda About DMM.com About DMM.com Group. Problem : LeadTimeの重要性 Solution : Evidence-Based Management 48 48 最後に Action / Result : VSM(Value Stream Mapping) 『開発プロセス』を 思考せよ

© DMM.com labo IDEA BUILD PRODUCT MEASURE DATA LEARN IDEA BUILD PRODUCT MEASURE DATA LEARN IDEA BUILD PRODUCT MEASURE DATA LEARN Customer Problem Fit Product Solution Fit Product Market Fit Design Thinking Lean Scurm Data Science ペルソナ分析 カスタマージャーニー A/ Bテスト 顧客開発 ユーザー ストーリーマッピング Product Back Log DailyScurm Sprint Planning Sprint Review Transition to Scale Build Product Idea INDEX MEASURE KPI CVR CTR ARPPU Unit Economics DATA LTV CAC CAP CCP 49 Lean 最後に 『開発プロセス』を思考し続け、 プロダクトを『最速』でリリースし 仮説検証を『高速』で繰り返せた組織だけが プロダクトのProduct Market Fitに近づける

© DMM.com 50 50 最後に ご清聴ありがとうございました。