プロダクト改善のためのデータ分析入門

Transcript

1. プロダクト改善のためのデータ分析⼊⾨ Gunosy Inc. 2017.9.27 Confidential

2. 2 ©Gunosy Inc. ⾃⼰紹介 • ⽯塚 淳（いしつか じゅん） • 株式会社Gunosy

   • 開発本部データ分析部 • 東京⼤学⼯学部卒 • 坂⽥・森研究室 • 某ソシャゲ会社に新卒⼊社 • データ分析基盤の開発を担当 • エンジニア業務がメイン • 2016年2⽉に株式会社Gunosyに⼊社 • グノシーのデータ分析を担当

3. 3 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤

   • 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発

4. 4 ©Gunosy Inc. Gunosyとは • グノシーは、データとアルゴリズムの会社 • 「情報を世界中の⼈に最適に届ける」がミッション • ニュースアプリだけの会社ではない

   • 動画、商品、広告

5. 5 ©Gunosy Inc. データ分析部とは • データ • ユーザ⾏動のデータを解析し施策に落とし込み、効果を検証する

6. 6 ©Gunosy Inc. データ分析部とは • アルゴリズム • ユーザにコンテンツを適切な形で情報を伝える

7. 7 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤

   • 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発

8. 8 ©Gunosy Inc. データの収集⽅法 • Gunosyのログ基盤は⼤きく2つ • 確定値ログ基盤 • KPIダッシュボード

   • 記事配信アルゴリズム • データ分析 • 速報値ログ基盤 • 速報⽤KPI（Hourly Active User, ⼈気記事） • 記事配信アルゴリズム

9. 9 ©Gunosy Inc. データの収集⽅法 • 今回は確定値のログ基盤のみ紹介 • 確定値ログ基盤 • KPIダッシュボード

   • 記事配信アルゴリズム • データ分析 • 速報値ログ基盤 • 速報⽤KPI（Hourly Active User, ⼈気記事） • 記事配信アルゴリズム

10. 10 ©Gunosy Inc. 確定値ログ基盤 ©Gunosy Inc. X ֬ఆ஋ϩάج൫ Redshift ϩάαʔόʔ

    S3 SQS ίϯόʔλʔ Fluentd BigQuery KPIόον αʔόʔ μογϡϘʔυ

11. 11 ©Gunosy Inc. KPIダッシュボード • Redash • 様々なデータ・ソースに統⼀的にアクセスできる可視化ツール • SQLで完結

    • Web画⾯でポチポチするとグラフ表⽰できる • ホスティングサービスが存在 • ⾃社運⽤Djangoダッシュボード • フルスクラッチ実装なので、⾃由度は⾼い • いにしえより利⽤ • SQLで完結しない指標を⾒るときに実装

12. 12 ©Gunosy Inc. データ分析基盤 • BIツール + DB • 基本はRedashでRedshiftやBigQueryを叩く

    • 複雑な処理や機械学習モデルを使⽤した分析はJupyterで ©Gunosy Inc. X σʔλ෼ੳج൫ Redshift BigQuery Pandas

13. 13 ©Gunosy Inc. ここからが本題、データの活⽤⽅法 • ログ基盤が整って、SQLやJupyterからデータを取得できる環境が揃った • ここまでの⼯程はWeb上にも豊富に存在 • AWSやGCPのお陰でそこまで⼿間は掛からない

    • で、この後どうするの︖︖︖ • とりあえずKPIでも可視化してみる︖ • 機械学習で◯◯予測してみたい

14. 14 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤

    • 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発

15. 15 ©Gunosy Inc. 記事配信ロジック • グノシーの記事配信ロジックの概要

16. 16 ©Gunosy Inc. 記事配信ロジック • 詳細はブログで

17. 17 ©Gunosy Inc. KPI管理 • KPIをいくつかの要素に分解してモニタリング • 予実を⽇次で管理 • 分解の1例

    • 売上 • DAU • 新規獲得数 • 継続率 • Sales/DAU（ARPU） • AdImpSales/DAU • AdClickSales/DAU

18. 18 ©Gunosy Inc. Redashによるダッシュボード • 分解したKPIを⼀覧できるダッシュボードをRedashで作成 • 先ほどのKPIツリーを意識した構成 • 予算に対する実績の確認

19. 19 ©Gunosy Inc. 数値を⾒る仕組み • データ分析部では2つの朝会を実施している • 開発部朝会 • グノシー、ニュースパスそれぞれの開発部で実施

    • 昨⽇やったこと、今⽇やること、共有事項の確認 • 数値確認朝会 • データ分析部で実施 • 各プロダクトのKPIを確認 • 数値に異常があれば、朝会後詳細な調査を実施 • 例えば • 1⽇後継続率が下がった • エンタメタブのクリック数が下がった

20. 20 ©Gunosy Inc. プロダクト開発 • グノシーのプロダクト改善は現状の数値の把握から始まる • とはいえ現状の把握だけではなく、仮説・検証・意思決定も含んだ分析が⼤切 • 悪い例

    • グノシーユーザの⼥性割合は45%だが、⼣⽅の利⽤ユーザに絞ると、 70%が⼥性である。 • 良い例 • グノシーユーザの⼥性割合は45%だが、⼣⽅の利⽤ユーザに絞ると、 70%が⼥性である。なので、⼣⽅に登録したユーザには、⼥性に⼈気 のコンテンツを多く表⽰させてみて、継続率に変化があるか試してみ る。

21. 21 ©Gunosy Inc. プロダクト開発のサイクル

22. 22 ©Gunosy Inc. 仮説を出すためのヒント • 施策を⾏うためのヒントを事前の分析から得る • 失敗から学ぶ • 重要な数値をモニタリングし、下がった原因を探る（前述のKPI管理参照）

    • 他プロダクト事例 • 他社のABテストが100%適⽤になった、撤退した • ニュースパス、ルクラ、バザリー、ビデレーからの輸⼊ • ユーザ間の⽐較 • OS、獲得経路別、ユーザが最初に使った機能ごとのKPIを⽐較 • ⼤切な数値と相関の⼤きな数値 • ある⾏動の回数が⾼いと、重要な数値も⾼くなる傾向がある

23. 23 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストによる意思決定の徹底 • 1⽇に⾛っているABテストは約20個（グノシーのみ） • ABテストによるメリット

    • 施策の効果検証 • ニュースアプリなので、時事性や季節の変動を受けやすいので、効果 の計測がしづらい • 意図しない数値の低下、ユーザービリティの低下を防ぐ • インフラの変更 • アプリのリリース • Androidは段階的リリースを実施している

24. 24 ©Gunosy Inc. 2 効果測定 よくない例

25. 25 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース

26. 26 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース ⼤きなイベント発⽣

27. 27 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース ⼤きなイベント発⽣ 前より低い…?

28. 28 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストによる意思決定の徹底 • 1⽇に⾛っているABテストは約20個（グノシーのみ） • ABテストによるメリット

    • 施策の効果検証 • ニュースアプリなので、時事性や季節の変動を受けやすいので、効果 の計測がしづらい • 意図しない数値の低下、ユーザービリティの低下を防ぐ • インフラの変更 • アプリのリリース • Androidは段階的リリースを実施している

29. 29 ©Gunosy Inc. 2 効果測定 ABテストの例 • 特定のユーザ群にUIやアルゴリズムを出し分けるテストを⾏う Test A

    Test B クリック率 5% 6% 滞在時間 30 35

30. 30 ©Gunosy Inc. 3 この例の場合であれば Test Bを全体に適応 (※)実際は複数の指標を見ている 効果測定 ABテストの例

    • 特定のユーザ群にUIやアルゴリズムを出し分けるテストを⾏う Test A Test B クリック率 5% 6% 滞在時間 30 35

31. 31 ©Gunosy Inc. 3 効果測定 ABテストの例 機能リリース ⼤きなイベント発⽣ 前より低い…? この例の場合であれば

    Test Bを全体に適応 (※)実際は複数の指標を⾒ている

32. 32 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストは1%公開から開始して100%まで段階的に割合を引き上げていく • グノシーで⼀般的なABテストだと1%から100%までに1, 2ヶ⽉掛かる •

    割合ごとに⾒る数値と期間は異なる • 1%（1 ~ 3⽇） • ⼤幅な数値低下や不具合がないか • 5%、10%（7⽇） • 期待したKPIは向上しているか • 20%（14⽇） • 継続率

33. 33 ©Gunosy Inc. 意思決定 • グノシーマンガ撤退におけるケーススタディ • ユニットエコノミクスの検証 • Pros

    • マンガ獲得ユーザー • LTVとCPI • ⾮マンガ獲得ユーザー • マンガによる継続率、Salesの上昇 • Cons • コンテンツ費⽤、サーバー代