Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

プロダクトをGrowthさせるデータ駆動戦略の基礎知識【Developers Summi...

プロダクトをGrowthさせるデータ駆動戦略の基礎知識【Developers Summit 2019】

2019-02-15 Developer Summit 2019 登壇資料

Masato Ishigaki / 石垣雅人

February 15, 2019
Tweet

More Decks by Masato Ishigaki / 石垣雅人

Other Decks in Technology

Transcript

  1. 石垣雅人 - DMM.com LLC 2019/02/15 Developers Summit 2019 データ駆動戦略の基礎知識 プロダクトを

    Growthさせる ユーザーレビュー基盤のKPIツリー公開 DMM.comにおける #devsumiA 【15-A-6】
  2. © DMM.com 2 About me Masato Ishigaki Product Owner at

    DMM.com Account(ID) , Auth , Personalinfo to Back-end : ~2018/7 Review, Push to Front-end & Back-end : 2018/7~ Scrum Team : Product Owner : 2017/9~
  3. © DMM.com Summary 4 10% 40% 40% 10% t Growth

    Early Phase Growth Phase HyperGrowth Phase Mature Phase S字カーブ 原文: Data-Informed Product Building (Sequoia Capital Data Science Team)
  4. © DMM.com Summary 5 t Second Functions Third Functions Fourth

    Functions Fifth Functions Growth First Function 原文: Data-Informed Product Building (Sequoia Capital Data Science Team) S字カーブの 連続
  5. © DMM.com Summary 6 t Second Functions Third Functions Fourth

    Functions Fifth Functions Growth First Function 原文: Data-Informed Product Building (Sequoia Capital Data Science Team) S字カーブの連続 Product Growth = Learning from Prev-Functions
  6. © DMM.com Summary 7 t Second Functions Third Functions Fourth

    Functions Fifth Functions Growth First Function 原文: Data-Informed Product Building (Sequoia Capital Data Science Team) S字カーブの連続 Product Growth = Data-Driven
  7. © DMM.com Summary 8 t Second Functions Third Functions Fourth

    Functions Fifth Functions Growth First Function 原文: Data-Informed Product Building (Sequoia Capital Data Science Team) S字カーブの連続 Product Growth = Data-Driven 『データ駆動』
  8. © DMM.com 9 Agenda About DMM.com 9 9 データ駆動戦略とは何か? ユーザーレビュー基盤のプロダクトについて

    データ分析基盤について 優れた指標でないとデータは『駆動』しない データ駆動を実現する開発プロセスについて アジャイルマーケティングなキャンペーン 最後に DMM.comにおけるデータ駆動戦略な組織
  9. © DMM.com 10 Agenda About DMM.com 10 10 データ駆動戦略とは何か? ユーザーレビュー基盤のプロダクトについて

    データ分析基盤について 優れた指標でないとデータは『駆動』しない データ駆動を実現する開発プロセスについて アジャイルマーケティングなキャンペーン 最後に DMM.comにおけるデータ駆動戦略な組織
  10. © DMM.com 14 スプリントバックログ インクリメント 開発→リリース 効果検証 データ駆動戦略とは? 直感に頼る仮説は、量産されやすい。 プロダクトバックログアイテムが肥大化して

    開発者を圧迫する。 スーパー経営者だったらそれでも良いかもしれない。 でも私たちは、普通のエンジニアだということを忘れてはい けない。 プロダクトバックログ 直感に頼る仮説
  11. © DMM.com 15 スプリントバックログ 開発→リリース プロダクトバックログ 直感に頼る仮説 データ駆動戦略とは? インクリメント 効果検証

    リリース後にデータがないと どうしてヒットしなかったのか等 学習できず、次の仮説が立てづらい
  12. © DMM.com 17 スプリントバックログ インクリメント 開発→リリース 効果検証 プロダクトバックログ 仮説に妥当性を持たせる 仮説立案

    A/Bテスト,etc... A B データ駆動戦略とは? データ駆動戦略で何ができるのか 1. プロダクトの状態を可視化できる。 2. 仮説/施策を作り、売上に貢献できる 3. 意思決定を最速化できる。 4. 意思決定を定量的に共有できる。 5. 未来を予測して戦略が作れる。
  13. © DMM.com 18 データ分析基盤 DataLake / DWH / DataMart 優れた指標

    指標に基づくKPI 開発プロセス Lean / Agile / Agile-Marketing 三種の神器 データを集約しないと始まらない データの中でビジネスにつながる指 標を見つける データによる計測→学習を 高速で回しPMFに近づける データ駆動戦略とは? How to
  14. © DMM.com 19 データ分析基盤 DataLake / DWH / DataMart 優れた指標

    指標に基づくKPI 開発プロセス Lean / Agile / Agile-Marketing 三種の神器 データを集約しないと始まらない データの中でビジネスにつながる指 標を見つける データによる計測→学習を 高速で回しPMFに近づける データ駆動戦略とは?
  15. © DMM.com 20 Agenda About DMM.com 20 20 データ駆動戦略とは何か? ユーザーレビュー基盤のプロダクトについて

    データ分析基盤について 優れた指標でないとデータは『駆動』しない データ駆動を実現する開発プロセスについて アジャイルマーケティングなキャンペーン 最後に DMM.comにおけるデータ駆動戦略な組織
  16. © DMM.com 22 About DMM.com Group. Purchase ...etc Review Personalinfo

    Search Account SRE SoE (B to C) Systems of Engagement SoR (B to B) System of Record Recommend
  17. © DMM.com 23 About DMM.com Group. Purchase Personalinfo Search Account

    SRE Recommend Scrum Team Review Scrum Team Scrum Team Scrum Team Scrum Team Scrum Team Scrum Team
  18. © DMM.com 24 Purchase Personalinfo Search Account SRE Recommend Scrum

    Team Review Scrum Team Scrum Team Scrum Team Scrum Team Scrum Team Scrum Team ドメインごとに 自己組織化 (ScrumTeam) About DMM.com Group.
  19. © DMM.com 27 Purchase Personalinfo Search Account SRE Recommend Scrum

    Team Review Scrum Team Scrum Team Scrum Team Scrum Team Scrum Team Scrum Team POの強い味方 = データアナリスト About DMM.com Group.
  20. © DMM.com 28 Purchase Personalinfo Search Account SRE Recommend Scrum

    Team Review Scrum Team Scrum Team Scrum Team Scrum Team Scrum Team Scrum Team データアナリスト プロダクトオーナーとデータを 見ながら日々会話する。 +
  21. © DMM.com Purchase Recommend 30 ユーザー行動ログ 購買履歴 DMM.comのデータ基盤 Big Data

    データアナリスト 仮説立案 データ分析 PO 『データアナリスト x プロダクトオーナー』 データ・ドリブンで仮説立案→意思決定をする
  22. © DMM.com 31 Agenda About DMM.com 31 31 データ駆動戦略とは何か? ユーザーレビュー基盤のプロダクトについて

    データ分析基盤について 優れた指標でないとデータは『駆動』しない データ駆動を実現する開発プロセスについて アジャイルマーケティングなキャンペーン 最後に DMM.comにおけるデータ駆動戦略な組織
  23. © DMM.com 33 プロダクト紹介 About DMM.com 33 33 コンテンツに対するユーザーレビューは、 購入決定の強力な手がかり・動機となります。

    70%以上のユーザーが、レビューを見て購入の決 定をしているという統計結果もあり、 ユーザーレビューはユーザー行動に大きな影響を与えま す。
  24. © DMM.com 35 Cart Purcase Registration Guest Member Member Service

    Review ★★☆ ★☆☆ ★★★ ☆☆☆ Search DMMサービスで利用される ユーザーレビューの仕組みは、 ひとつのプロダクトチームが専門で 開発・運用しています。 データを一元管理することで データ・ドリブンな開発が可能になる。
  25. © DMM.com 36 Service Review Cart Purcase Registration ★★☆ ★☆☆

    ★★★ ☆☆☆ Guest Member Member Search どんな行動ログをトラッキングしているか
  26. © DMM.com 37 Service Review Cart Purcase Registration ★★☆ ★☆☆

    ★★★ ☆☆☆ Guest Member Member Search ・星の数 / コメント / 平均評価 ・参考になった数 / いいね押下ユーザー ・商品レビュー枠の中でどこまでスクロール したか(先頭 or 末端) ・レビューを見た後の行動(購入したか, カート追加, 離脱) etc... どんな行動ログをトラッキングしているか
  27. © DMM.com 38 Agenda About DMM.com 38 38 データ駆動戦略とは何か? ユーザーレビュー基盤のプロダクトについて

    データ分析基盤について 優れた指標でないとデータは『駆動』しない データ駆動を実現する開発プロセスについて アジャイルマーケティングなキャンペーン 最後に DMM.comにおけるデータ駆動戦略な組織
  28. © DMM.com データ駆動戦略とは? 39 優れた指標 指標に基づくKPI 開発プロセス Lean / Agile

    / Agile-Marketing データの中でビジネスにつながる指 標を見つける データによる計測→学習を 高速で回しPMFに近づける 三種の神器 データ分析基盤 DataLake / DWH / DataMart データを集約しないと始まらない
  29. © DMM.com 44 データ分析基盤について データ駆動戦略は、 組織として遂行しないとビジネス価値がある データが集まらず効果は薄い。 データ駆動がもたらす メリットを定量的にデータを使って 提示しなければいけない

    = データ分析基盤 データアナリストが、分析しやすい データ分析基盤を構築しなければならない 優れたデータ分析基盤こそ 『データ駆動戦略』の第一優先
  30. © DMM.com データ分析基盤 DataLake / DWH / DataMart データを集約しないと始まらない データ駆動戦略とは?

    47 開発プロセス Lean / Agile / Agile-Marketing データによる計測→学習を 高速で回しPMFに近づける 三種の神器 優れた指標 指標に基づくKPI データの中でビジネスにつながる指 標を見つける
  31. © DMM.com 48 Agenda About DMM.com 48 48 データ駆動戦略とは何か? ユーザーレビュー基盤のプロダクトについて

    データ分析基盤について 優れた指標でないとデータは『駆動』しない データ駆動を実現する開発プロセスについて アジャイルマーケティングなキャンペーン 最後に DMM.comにおけるデータ駆動戦略な組織
  32. © DMM.com ① Action ② Result ③Next Action 49 優れた指標でないとデータは『駆動』しない

    データが『駆動』するとは? = データを見ることで次の行動につながること
  33. © DMM.com ① Action ② Result ③Next Action 50 データが『駆動』するとは?

    = データを見ることで次の行動につながること 優れた指標でないとデータは『駆動』しない 優れた指標の 3つの土台と4つ指標
  34. © DMM.com 定量的指標 vs 定性的指標 51 虚栄の指標 vs 本物の指標 先行指標

    vs 遅行指標 相関指標 vs 因果指標 優れた指標でないとデータは『駆動』しない 優れた指標は 比較ができる + わかりやすい + 比率や割合 土台 指標
  35. © DMM.com 定量的指標 vs 定性的指標 52 虚栄の指標 vs 本物の指標 先行指標

    vs 遅行指標 相関指標 vs 因果指標 優れた指標は 比較ができる + わかりやすい + 比率や割合 優れた指標でないとデータは『駆動』しない 優れた指標の 3つの土台
  36. © DMM.com 53 1. 優れた指標は比較ができる a. 指標として出した数値が、他社と比較できたりこの時間に CVが上がっているなど時間軸で比較できたりする必要があります。 2. 優れた指標はわかりやすい

    a. 指標が出した数値の意味が一瞬でわからなかったりすると、 組織として数値を追う文化ができにくい。 3. 優れた指標は比率や割合である。 a. 指標を数ではなく比率にすることでその数値を上げていけば良いのか 下げていけば良いのかわかりやすい。 優れた指標でないとデータは『駆動』しない
  37. © DMM.com 54 優れた指標は 比較ができる + わかりやすい + 比率や割合 優れた指標でないとデータは『駆動』しない

    定量的指標 vs 定性的指標 虚栄の指標 vs 本物の指標 先行指標 vs 遅行指標 相関指標 vs 因果指標 優れた指標の 4つ指標
  38. © DMM.com 55 優れた指標は 比較ができる + わかりやすい + 比率や割合 優れた指標でないとデータは『駆動』しない

    虚栄の指標 vs 本物の指標 先行指標 vs 遅行指標 相関指標 vs 因果指標 優れた指標の 4つ指標 定量的指標 vs 定性的指標
  39. © DMM.com 56 『定量的指標と定性的指標』 定量的 = 科学的な数値な指標 Why What How

    much 定性的 = 主観的で感覚的な指標 インタビュー・調査 ユーザークレーム 会員登録数 売上金額 優れた指標でないとデータは『駆動』しない
  40. © DMM.com review 『定量的指標と定性的指標』 58 レビューを見る 優れた指標でないとデータは『駆動』しない Cart in レビューを書く

    レビューを書く人 『定量的な指標』 • レビュー増加率 (CV) ◦ 星だけ・コメント付きレビュー増加率 • レビュアー増加率 (CV) • レビュアー種別増加率 ◦ 購入済レビュアー率(%) ◦ 未購入レビュアー率(%) 書く人
  41. © DMM.com 59 『定量的指標と定性的指標』 レビューを書く レビューを書く人 優れた指標でないとデータは『駆動』しない review レビューを見る Cart

    in 見る人 定量的な指標 • レビュー経由購入率 (CVR) CVR(%) = セッション数※レビュー閲覧 購入数※レビュー閲覧→Cart in
  42. © DMM.com 60 優れた指標は 比較ができる + わかりやすい + 比率や割合 優れた指標でないとデータは『駆動』しない

    定量的指標 vs 定性的指標 先行指標 vs 遅行指標 相関指標 vs 因果指標 優れた指標の 4つ指標 虚栄の指標 vs 本物の指標
  43. © DMM.com review 『虚栄の指標と本物の指標』 63 レビューを見る 優れた指標でないとデータは『駆動』しない Cart in レビューを書く

    レビューを書く人 書く人 『虚栄の指標』 • レビュー増加数 • レビュアー増加数,etc 『本物の指標』 • 新規レビュアー率 • アクティブレビュアー率
  44. © DMM.com 64 優れた指標は 比較ができる + わかりやすい + 比率や割合 優れた指標でないとデータは『駆動』しない

    定量的指標 vs 定性的指標 相関指標 vs 因果指標 優れた指標の 4つ指標 虚栄の指標 vs 本物の指標 先行指標 vs 遅行指標
  45. © DMM.com 65 『先行指標と遅行指標』 先行指標 = 未来を予測した指標 → 3ヶ月後、レビュー投稿数がこのくらいに伸びているか を予測した上で、仮説検証を行う

    優れた指標でないとデータは『駆動』しない 遅行指標 = 変動後の数値を示す指標 → チャーン(一定期間に離脱したユーザー数)とも呼ばれ 離脱率もきちんと集計する。
  46. © DMM.com 66 優れた指標は 比較ができる + わかりやすい + 比率や割合 優れた指標の

    4つ指標 優れた指標でないとデータは『駆動』しない 定量的指標 vs 定性的指標 虚栄の指標 vs 本物の指標 先行指標 vs 遅行指標 相関指標 vs 因果指標
  47. © DMM.com 67 『相関指標と因果指標』 相関指標 = AとBが関係していること。 → これから起こることが予測できる。 優れた指標でないとデータは『駆動』しない

    因果指標 = A to Bであること。 → 未来を変えることができる。 『交番の数』が多いほど『犯罪件数』も多い。 → 交番を減らしても犯罪は減らない。相関関係であって因果関係ではない。 B A
  48. © DMM.com 相関指標 = AとBが関係していること。 → これから起こることが予測できる。 68 『相関指標と因果指標』 優れた指標でないとデータは『駆動』しない

    因果指標 = A to Bであること。 → 未来を変えることができる。 『交番の数』が多いほど『犯罪件数』も多い。 → 交番を減らしても犯罪は減らない。相関関係であって因果関係ではない。 【テーマ】 因果関係を探すために相関関係がありそうな 数値をグラフ化してモニタリングし続ける! Q. レビュー増加率あがる相関関係は何か? ・月ごとのレビュー投稿数のばらつきはある? ・アクティブユーザー数との関係は?
  49. © DMM.com 定量的指標 vs 定性的指標 69 虚栄の指標 vs 本物の指標 先行指標

    vs 遅行指標 相関指標 vs 因果指標 優れた指標でないとデータは『駆動』しない 優れた指標は 比較ができる + わかりやすい + 比率や割合 土台 指標
  50. © DMM.com レビュアー 増加率 71 購入者レビュー数/ 率 未購入者レビュー数/ 率 新規レビュアー増加率

    アクティブレビュアー増 加率 新規レビュアー増加率 アクティブレビュアー増 加率
  51. © DMM.com レビュー閲覧率 72 レビュー 先頭 閲覧率 レビュー 末端 閲覧率

    レビュー 『次へ』閲覧率 レビュー経由 購入率
  52. © DMM.com 73 Agenda About DMM.com 73 73 データ駆動戦略とは何か? ユーザーレビュー基盤のプロダクトについて

    データ分析基盤について 優れた指標でないとデータは『駆動』しない データ駆動を実現する開発プロセスについて アジャイルマーケティングなキャンペーン 最後に DMM.comにおけるデータ駆動戦略な組織
  53. © DMM.com 優れた指標 指標に基づくKPI データの中でビジネスにつながる指 標を見つける データ分析基盤 DataLake / DWH

    / DataMart データを集約しないと始まらない データ駆動戦略とは? 74 三種の神器 開発プロセス Lean / Agile / Agile-Marketing データによる計測→学習を 高速で回しPMFに近づける
  54. © DMM.com 76 スプリントバックログ インクリメント 開発→リリース 効果検証 プロダクトバックログ 仮説に妥当性を持たせる 仮説立案

    A/Bテスト,etc... A B データ駆動を実現する開発プロセスについて IDEA BUILD PRODUCT MEASURE DATA LEARN リーン・スタートアップ BMLループ
  55. © DMM.com 78 スプリントバックログ インクリメント 開発→リリース 効果検証 データ駆動を実現する開発プロセスについて プロダクトバックログ 仮説に妥当性を持たせる

    仮説立案 A/Bテスト,etc... A B プロダクトバックログを減らして 開発しなくていい機能を減らす。 10機能 → 3機能
  56. © DMM.com プロダクトバックログ 仮説に妥当性を持たせる 仮説立案 A/Bテスト,etc... A B 79 インクリメント

    効果検証 データ駆動を実現する開発プロセスについて IDEA BUILD PRODUCT MEASURE DATA LEARN スプリントバックログ 開発→リリース アジャイルで、 リードタイム短く MVPを開発→リリース
  57. © DMM.com スプリントバックログ 開発→リリース プロダクトバックログ 仮説に妥当性を持たせる 仮説立案 A/Bテスト,etc... A B

    80 データ駆動を実現する開発プロセスについて インクリメント 効果検証 IDEA BUILD PRODUCT MEASURE DATA LEARN データサイエンスを もとにデータを計測 →KPIに落とし込む
  58. © DMM.com labo IDEA BUILD PRODUCT MEASURE DATA LEARN IDEA

    BUILD PRODUCT MEASURE DATA LEARN IDEA BUILD PRODUCT MEASURE DATA LEARN Customer Problem Fit Product Solution Fit Product Market Fit Design Thinking Lean Scurm Data Science ペルソナ分析 カスタマージャーニー A/ Bテスト 顧客開発 ユーザー ストーリーマッピング Product Back Log DailyScurm Sprint Planning Sprint Review Transition to Scale Build Product Idea INDEX MEASURE KPI CVR CTR ARPPU Unit Economics DATA LTV CAC CAP CCP 82 Lean
  59. © DMM.com 83 Agenda About DMM.com 83 83 データ駆動戦略とは何か? ユーザーレビュー基盤のプロダクトについて

    データ分析基盤について 優れた指標でないとデータは『駆動』しない データ駆動を実現する開発プロセスについて アジャイルマーケティングなキャンペーン 最後に DMM.comにおけるデータ駆動戦略な組織
  60. © DMM.com アジャイルマーケティングを用いたCP手法 86 アジャイルマーケティングとは? ・従来のマーケティングにアジャイルやリーンを適応したマーケティング手法 = アジャイル・リーンとの親和性が高い ① キャンペーン中に『ニアタイム』にデータを取得

    小さく始めて、小さく改善をデータ駆動で高速で繰り返す。 ② 過去のキャンペーンのデータを必ず蓄積して計測。 そこから計測→学習して次のキャンペーンにつなげる。
  61. © DMM.com アジャイルマーケティングを用いたCP手法 89 ① 『想定される効果は?』 Q. レビューが増えるたびにどのくらい売上が上がるのか。 0→1 1

    →2 2→3 レビュー増加数 売上増加額 (1コンテンツ1日あたり) コンテンツ数 1000円 500円 100円 5000コンテンツ 200コンテンツ 300コンテンツ
  62. © DMM.com アジャイルマーケティングを用いたCP手法 90 ①『想定される効果は?』 Q. レビューが増えるたびにどのくらい売上が上がるのか。 0→1 1 →2

    2→3 レビュー増加数 売上増加額 (1コンテンツ1日あたり) コンテンツ数 50万 40万 30万 50万 20万 30万 DMMでも、レビューが 0→1になることで 過去実績より、 数百万円以上 1日単位で売上が上がることが実証されている。 10ポイント付与しても十分ペイする。
  63. © DMM.com アジャイルマーケティングを用いたCP手法 91 ② 『キャンペーンを終了させる基準は?』 Q. どのように成果を評価していくかで、終了を見極める 1ヶ月後 2ヶ月後

    3ヶ月後 レビュー・売上 データ収集 レビュー・売上 データ収集 投資対効果 予算に対して、費用がペイしているか を毎月確認していく。 = ROI / ROAS
  64. © DMM.com アジャイルマーケティングを用いたCP手法 92 ③ 『大きく成功した際、どこにリソースを再分配するか』 Q. どのように成果を評価していくかで、見極める 1ヶ月後 2ヶ月後

    3ヶ月後 投資対効果 リソース再分配 投資対効果 リソース再分配 ポイントキャッシュ額を増やすのか 下げるのか,etc... レビュー・売上 データ収集
  65. © DMM.com 95 Agenda About DMM.com 95 95 データ駆動戦略とは何か? ユーザーレビュー基盤のプロダクトについて

    データ分析基盤について 優れた指標でないとデータは『駆動』しない データ駆動を実現する開発プロセスについて アジャイルマーケティングなキャンペーン 最後に DMM.comにおけるデータ駆動戦略な組織
  66. © DMM.com 96 データ分析基盤 DataLake / DWH / DataMart 優れた指標

    指標に基づくKPI 開発プロセス Lean / Agile / Agile-Marketing 三種の神器 データを集約しないと始まらない データの中でビジネスにつながる指 標を見つける データによる計測→学習を 高速で回しPMFに近づける 最後に