Data-Driven x DevOps

2019/04/10 DevOpsDays Tokyo 2019 登壇資料

Transcript

1. 石垣雅人 - DMM.com LLC 2019/04/10 DevOpsDays Tokyo 2019 Data-Driven x DevOps Dev Ops
2. © DMM.com 2 About me 石垣 雅人 Masato Ishigaki i35-267 @i35_267 i35-267 Product Owner at DMM.com
 プラットフォーム事業本部 2015年度 新卒入社 Role : PO スタートアップ 2社 PM
3. © DMM.com Data-Driven x DevOps プロダクトをグロースさせる文化を作る Summary 3 Dev Ops Photo by people building structure during daytime on Unsplash
4. © DMM.com 4 スプリントバックログ インクリメント プロダクトバックログ Summary 開発→リリース 効果検証 直感に頼る仮説 Summary
5. © DMM.com 5 スプリントバックログ インクリメント プロダクトバックログ Summary 開発→リリース 効果検証 直感に頼る仮説 DevOps Summary
6. © DMM.com 6 Summary Summary 開発→リリース DevOps デプロイ回数UP =ビジネス価値UP といったことにはなりづらく、ビジネス価値を下 げるリリースもある。 より、ヒット率をあげるために Data-Drivenの考え方を入れる。
7. © DMM.com 7 スプリントバックログ インクリメント プロダクトバックログ Summary 開発→リリース 効果検証 直感に頼る仮説 Summary Data-Driven Data-Driven DevOps
8. © DMM.com 8 スプリントバックログ インクリメント プロダクトバックログ Summary 開発→リリース 効果検証 直感に頼る仮説 Summary 仮説の妥当性を 担保して すばやくMVPを 構築してリリース 効果測定をして 分析、次の施策へ
9. © DMM.com 9 スプリントバックログ インクリメント 開発→リリース 効果検証 直感に頼る仮説は、量産されやすい。 プロダクトバックログアイテムが肥大化して 開発者を圧迫する。 スーパー経営者だったらそれでも良いかもしれない。 でも私たちは、普通のエンジニアだということを忘れてはい けない。 プロダクトバックログ 直感に頼る仮説 Summary
10. © DMM.com 10 スプリントバックログ 開発→リリース プロダクトバックログ 直感に頼る仮説 インクリメント 効果検証 リリース後にデータがないと どうしてヒットしなかったのか等 学習できず、次の仮説が立てづらい Summary
11. © DMM.com 11 Agenda About DMM.com 11 11 What is DevOps x Data-Driven Product → Measure (DWH構築) Measure → Data (優れたデータ可視化） Data → Learn (どう学習するか) Learn → Idea（効果的な施策立案） IDEA BUILD PRODUCT MEASURE DATA LEARN
12. © DMM.com What is DevOps xData-Driven 12 IDEA BUILD PRODUCT MEASURE DATA LEARN LeanStartup BMLループ
13. © DMM.com 13 IDEA BUILD PRODUCT MEASURE DATA LEARN What is DevOps xData-Driven
14. © DMM.com 14 IDEA BUILD PRODUCT MEASURE DATA LEARN どう作るか (DevOps) ビッグデータ基盤へ データストリーム (Data-Driven) データの可視化 (KGI, CSF, KPI) (Data-Driven) データから どう学習するか (Data-Driven) 効果的な施策立案 (Data-Driven) 何を作るか ※優先度 (Agile)
15. © DMM.com 15 Agenda About DMM.com 15 15 What is DevOps x Data-Driven Product → Measure (DWH構築) Measure → Data (優れたデータ可視化） Data → Learn (どう学習するか) Learn → Idea（効果的な施策立案） IDEA BUILD PRODUCT MEASURE DATA LEARN
16. © DMM.com Idea → Build 仮説から開発へ(何を作るか) 16 IDEA BUILD PRODUCT MEASURE DATA LEARN Agileの文脈で 何を作るかを優先順位づけする
17. © DMM.com Build → Product どう作るかを考える 17 IDEA BUILD PRODUCT MEASURE DATA LEARN ・リードタイムの削減 ・デプロイ頻度の短縮 ・MTTRの短縮 ・変更失敗率の低減
18. © DMM.com 18 IDEA BUILD PRODUCT MEASURE DATA LEARN Data-Drivenにおいて データを集約させることが 第一優先 プロダクトをリリースしたら 必ず、ビッグデータ基盤に集約 データ分析基盤で誰でもSQLで取得 Product → Measure (DWH)
19. © DMM.com ≈ç 19 Tracking-API RabbitMQ JSLibrary DWH Consumer Aerospike Presto Zeppelin Re:dash Digdag Hive Spark Sqoop DMM.com 事例
20. © DMM.com Product → Measure (DWH) ≈ç 20 DWH Presto Zeppelin Re:dash Digdag Hive Spark Sqoop Tracking-API RabbitMQ JSLibrary Consumer Aerospike ユーザー行動を蓄積 ・購入履歴、閲覧履歴 ・ユーザー属性 ・クリック履歴, etc...
21. © DMM.com ≈ç Product → Measure (DWH) 21 Tracking-API RabbitMQ JSLibrary Consumer Aerospike Presto Zeppelin Re:dash DWH Digdag Hive Spark Sqoop DWH構築 1日のデータ蓄積量 → 約2億レコード 総データ蓄積量 → 約2,300億レコード
22. © DMM.com Product → Measure (DWH) 22 Tracking-API RabbitMQ JSLibrary DWH Consumer Aerospike Digdag Hive Spark Sqoop Presto Zeppelin Re:dash BIツール : Re:dash 誰でもクエリを打って分析できる ような文化作っています。 ex. エンジニア、営業、etc...
23. © DMM.com 23 IDEA BUILD PRODUCT MEASURE DATA LEARN Data-Drivenにおいて データを集約させることが 第一優先 プロダクトをリリースしたら 必ず、ビッグデータ基盤に集約 データ分析基盤で誰でもSQLで取得 Product → Measure (DWH) ユーザー行動を蓄積 ・購入履歴、閲覧履歴 ・ユーザー属性 ・クリック履歴, etc... 誰でもクエリを打って分析できる ような文化作っています。 ex. エンジニア、営業、etc... BIツール : Re:dash
24. © DMM.com 24 IDEA BUILD PRODUCT MEASURE DATA LEARN Data-Drivenにおいて データを集約させることが 第一優先 プロダクトをリリースしたら 必ず、ビッグデータ基盤に集約 データ分析基盤で誰でもSQLで取得 Product → Measure (DWH) プロダクトをリリースした瞬間に ユーザー行動が可視化されるのが理想 1000ユーザー 8% 50% 2% 売上 : 100万
25. © DMM.com 25 Agenda About DMM.com 25 25 What is DevOps x Data-Driven Product → Measure (DWH構築) Measure → Data (優れたデータ可視化） Data → Learn (どう学習するか) Learn → Idea（効果的な施策立案） IDEA BUILD PRODUCT MEASURE DATA LEARN
26. © DMM.com Measure → Data =計測からデータ可視化 26 IDEA BUILD PRODUCT MEASURE DATA LEARN ビッグデータ基盤にデータ集約は完了 「大事なのはそこからビジネス価値がある データを可視化すること」
27. © DMM.com ① Action ② Result ③Next Action 27 データが『駆動』するとは？ = データを見ることで次の行動につながること DWH Measure → Data =計測からデータ可視化
28. © DMM.com 28 1. 優れた指標は比較ができる a. 指標として出した数値が、他社と比較できたりこの時間に CVが上がっているなど時間軸で比較できたりする必要があります。 2. 優れた指標はわかりやすい a. 指標が出した数値の意味が一瞬でわからなかったりすると、 組織として数値を追う文化ができにくい。 3. 優れた指標は比率や割合である。 a. 指標を数ではなく比率にすることでその数値を上げていけば良いのか 下げていけば良いのかわかりやすい。 Measure → Data =計測からデータ可視化
29. © DMM.com 29 定量的 = 科学的な数値な指標 定量的指標 vs 定性的指標 会員登録数 売上金額 定性的 = 主観的で感覚的な指標 インタビュー ユーザークレーム Measure → Data =計測からデータ可視化
30. © DMM.com 30 Measure → Data (優れたデータ可視化) 定性的 = 主観的で感覚的な指標 インタビュー・調査 ユーザークレーム 定量的 = 科学的な数値な指標 会員登録数 売上金額 本物の指標 = 次の行動につながる指標 虚栄の指標 = 次の行動につながらない指標 ex. 会員登録数のみ = 時間の経過とともに上がる ex. 会員登録数 + 離脱率 + DAU, MAU,etc... 定量的指標 vs 定性的指標
31. © DMM.com 31 相関指標 = AとBが関係している 相関指標 vs 因果指標 これから起こることが 予測できる。 因果指標 = A to Bであること 未来を変えることができる B A 『交番の数』が多いほど『犯罪件数』も多い。 → 交番を減らしても犯罪は減らない。相関関係であって因果関係ではない。 Measure → Data =計測からデータ可視化
32. © DMM.com 32 Measure → Data (優れたデータ可視化) 相関指標 = AとBが関係している 相関指標 vs 因果指標 これから起こることが 予測できる。 因果指標 = A to Bであること 未来を変えることができる B A 『交番の数』が多いほど『犯罪件数』も多い。 → 交番を減らしても犯罪は減らない。相関関係であって因果関係ではない。 【テーマ】 因果関係を探すために相関関係がありそうな 数値をグラフ化してモニタリングし続ける！
33. © DMM.com 33 先行指標 = 未来を予測した指標 先行指標 vs 遅行指標 ex. 3ヶ月後の DAUの伸び率を予測して、 仮説検証を行う 遅行指標 = 変更後の数値を示す チャーンとも呼ばれ離脱率もキチン と集計する t Action now 先行指標 Action 遅行指標 now Measure → Data =計測からデータ可視化
34. © DMM.com 34 KGI KPI CSF KPI CSF 中長期的な目標 KGI達成の要因 KGI達成の要因 CSF達成の数値 CSF達成の数値 LTV,etc.. CVR, CTR,etc.. Measure → Data =計測からデータ可視化
35. © DMM.com 35 Measure → Data (優れたデータ可視化) KGI KPI CSF KPI CSF 中長期的な目標 KGI達成の要因 KGI達成の要因 CFS達成の数値 CFS達成の数値 CSF, KPIは、定数ではなく変数であるべき 直接的に影響が与えられない数値は目標としてはダメ
36. © DMM.com 36 Measure → Data (優れたデータ可視化) KGI KPI CSF KPI CSF 中長期的な目標 KGI達成の要因 KGI達成の要因 CFS達成の数値 CFS達成の数値 CSF, KPIは、先行指標あるべき 遅行指標といった後からついてくる結果を 目標設定するのではなく、短期目標として可能な数値を目標とするべきです。 売上・利益 t KPI KPI KPI
37. © DMM.com 37 Measure → Data (優れたデータ可視化) KGI KPI CSF KPI CSF 中長期的な目標 KGI達成の要因 KGI達成の要因 CFS達成の数値 CFS達成の数値 プロダクトにおいて どれが先行指標となり得るかを考える ヒント : 相関指標を探る ex. Facebookは 「アカウント作成後、10日以内に複数の友達とつながれば そのユーザーはエンゲージメントする」という相関指標を見つけました。 相関指標1 相関指標2 相関指標3 相関指標4 相関指標5
38. © DMM.com 38 Agenda About DMM.com 38 38 What is DevOps x Data-Driven Product → Measure (DWH構築) Measure → Data (優れたデータ可視化） Data → Learn (どう学習するか) Learn → Idea（効果的な施策立案） IDEA BUILD PRODUCT MEASURE DATA LEARN
39. © DMM.com Data → Learn (どう学習するか) 39 IDEA BUILD PRODUCT MEASURE DATA LEARN データ分析のアプローチには3つある。 1. 現状理解 ビジネスモデル理解からのCSF、KGI、KPIの数値 2. 仮説検証型アプローチ 施策実施に対して、その結果がどうなっているかの数値 3. 探索的データ分析 ユーザーの行動からボトルネック特定や仮説立案
40. © DMM.com Data → Learn (どう学習するか) 40 IDEA BUILD PRODUCT MEASURE DATA LEARN データ分析のアプローチには3つある。 1. 現状理解 ビジネスモデル理解からのCSF、KGI、KPIの数値 2. 仮説検証型アプローチ 施策実施に対して、その結果がどうなっているかの数値 3. 探索的データ分析 ユーザーの行動からボトルネック特定や仮説立案
41. © DMM.com Data → Learn (どう学習するか) 41 仮説検証型アプローチ 施策実施に対して、その結果がどうなっているかの数値 仮説を実施中 その施策がどういう結果をもたらしか データ分析して可視化します。 例) 新しい決済手段を増やす施策を実施する。
42. © DMM.com 42 例) 新しい決済手段を増やす施策を実施する。 KPI CSF 新しい決済手段で 全体の決済数を上げたい 新しい決済手段での 購入率を30% • 新しい決済手段での購入数/率 (KPI) • 他の決済手段での購入数/率 (相関指標) • 全体の決済手段での購入数 (KGI)
43. © DMM.com Data → Learn (どう学習するか) 43 IDEA BUILD PRODUCT MEASURE DATA LEARN データ分析のアプローチには3つある。 1. 現状理解 ビジネスモデル理解からのCSF、KGI、KPIの数値 2. 仮説検証型アプローチ 施策実施に対して、その結果がどうなっているかの数値 3. 探索的データ分析 ユーザーの行動からボトルネック特定や仮説立案
44. © DMM.com Data → Learn (どう学習するか) 44 探索的データ分析 ユーザーの行動からボトルネック特定や仮説立案 ユーザー行動をベースにボトルネックを探る 方法 : ユーザーセグメント/ファネルごと 例) ファネルごとに行動可視化
45. © DMM.com 45 例) ファネルごとに行動可視化 ファネル 行動件数(月) No 1 検索/流入 商品ページ閲覧 レコメンド閲覧 カート追加 決済 2 3 4 5 3,000 1000 80 40 2 ファネル遷移 = ユーザーがコンバージョンするまでの行動 50% 0.6%
46. © DMM.com 46 例) ユーザーセグメント/ファネルごとに行動可視化 ファネル 年月 No 1 検索/流入 商品ページ閲覧 レコメンド閲覧 カート追加 決済 2 3 4 5 1,000 2,000 3,000 80 50 25 17 150 100 50 25 100 80 40 20 ファネル遷移 0.7% 50% 50% 仮説サンプル 検索/流入→ 商品ページ閲覧のファネル間遷移が「0.7%」と低い 検索/流入→ 商品ページ閲覧のファネル間遷移が「0.7%」と低い 仮説サンプル 「4.カート追加 → 5.決済」のファネル遷移が「0.6%」と低い 「3.レコメンド閲覧 → 4.カート追加」のファネル遷移が「 50%」と高い = 「4.カート追加 → 5.決済」を増やせば 全体的な購入数が上がるはず！ 次のアクション ・バスケットからの決済導線CTRを定量化 ・UI/UX観点でヒートマップを見てみよう
47. © DMM.com 47 Agenda About DMM.com 47 47 What is DevOps x Data-Driven Product → Measure (DWH構築) Measure → Data (優れたデータ可視化） Data → Learn (どう学習するか) Learn → Idea（効果的な施策立案） IDEA BUILD PRODUCT MEASURE DATA LEARN
48. © DMM.com 48 Learn → Idea（効果的な施策立案） IDEA BUILD PRODUCT MEASURE DATA LEARN ✔ データも集約完了 ✔ 追うべき指標も見つけた ✔ 分析アプローチも見つけた → 仮説立案の心得
49. © DMM.com 49 Learn → Idea（効果的な施策立案） 仮説立案ポイント 　 定量データからの 仮説立案 定性データからの 仮説立案 仮説立案を定量データだけに頼ってはいけない Data-informedな側面も必要 Data 意思決定 Data-Driven 意思決定 Data Data-informed
50. © DMM.com Data-Driven x DevOps プロダクトをグロースさせる文化を作る 最後に 50 Dev Ops Photo by people building structure during daytime on Unsplash
51. © DMM.com ご清聴ありがとうございました 51 最後に