$30 off During Our Annual Pro Sale. View Details »

プロダクト改善のためのデータ分析入門

ij_spitz
September 27, 2017

 プロダクト改善のためのデータ分析入門

ij_spitz

September 27, 2017
Tweet

More Decks by ij_spitz

Other Decks in Technology

Transcript

  1. 2 ©Gunosy Inc. ⾃⼰紹介 • ⽯塚 淳(いしつか じゅん) • 株式会社Gunosy

    • 開発本部データ分析部 • 東京⼤学⼯学部卒 • 坂⽥・森研究室 • 某ソシャゲ会社に新卒⼊社 • データ分析基盤の開発を担当 • エンジニア業務がメイン • 2016年2⽉に株式会社Gunosyに⼊社 • グノシーのデータ分析を担当
  2. 3 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤

    • 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発
  3. 7 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤

    • 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発
  4. 8 ©Gunosy Inc. データの収集⽅法 • Gunosyのログ基盤は⼤きく2つ • 確定値ログ基盤 • KPIダッシュボード

    • 記事配信アルゴリズム • データ分析 • 速報値ログ基盤 • 速報⽤KPI(Hourly Active User, ⼈気記事) • 記事配信アルゴリズム
  5. 9 ©Gunosy Inc. データの収集⽅法 • 今回は確定値のログ基盤のみ紹介 • 確定値ログ基盤 • KPIダッシュボード

    • 記事配信アルゴリズム • データ分析 • 速報値ログ基盤 • 速報⽤KPI(Hourly Active User, ⼈気記事) • 記事配信アルゴリズム
  6. 10 ©Gunosy Inc. 確定値ログ基盤 ©Gunosy Inc. X ֬ఆ஋ϩάج൫ Redshift ϩάαʔόʔ

    S3 SQS ίϯόʔλʔ Fluentd BigQuery KPIόον αʔόʔ μογϡϘʔυ
  7. 11 ©Gunosy Inc. KPIダッシュボード • Redash • 様々なデータ・ソースに統⼀的にアクセスできる可視化ツール • SQLで完結

    • Web画⾯でポチポチするとグラフ表⽰できる • ホスティングサービスが存在 • ⾃社運⽤Djangoダッシュボード • フルスクラッチ実装なので、⾃由度は⾼い • いにしえより利⽤ • SQLで完結しない指標を⾒るときに実装
  8. 12 ©Gunosy Inc. データ分析基盤 • BIツール + DB • 基本はRedashでRedshiftやBigQueryを叩く

    • 複雑な処理や機械学習モデルを使⽤した分析はJupyterで ©Gunosy Inc. X σʔλ෼ੳج൫ Redshift BigQuery Pandas
  9. 14 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤

    • 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発
  10. 17 ©Gunosy Inc. KPI管理 • KPIをいくつかの要素に分解してモニタリング • 予実を⽇次で管理 • 分解の1例

    • 売上 • DAU • 新規獲得数 • 継続率 • Sales/DAU(ARPU) • AdImpSales/DAU • AdClickSales/DAU
  11. 19 ©Gunosy Inc. 数値を⾒る仕組み • データ分析部では2つの朝会を実施している • 開発部朝会 • グノシー、ニュースパスそれぞれの開発部で実施

    • 昨⽇やったこと、今⽇やること、共有事項の確認 • 数値確認朝会 • データ分析部で実施 • 各プロダクトのKPIを確認 • 数値に異常があれば、朝会後詳細な調査を実施 • 例えば • 1⽇後継続率が下がった • エンタメタブのクリック数が下がった
  12. 20 ©Gunosy Inc. プロダクト開発 • グノシーのプロダクト改善は現状の数値の把握から始まる • とはいえ現状の把握だけではなく、仮説・検証・意思決定も含んだ分析が⼤切 • 悪い例

    • グノシーユーザの⼥性割合は45%だが、⼣⽅の利⽤ユーザに絞ると、 70%が⼥性である。 • 良い例 • グノシーユーザの⼥性割合は45%だが、⼣⽅の利⽤ユーザに絞ると、 70%が⼥性である。なので、⼣⽅に登録したユーザには、⼥性に⼈気 のコンテンツを多く表⽰させてみて、継続率に変化があるか試してみ る。
  13. 22 ©Gunosy Inc. 仮説を出すためのヒント • 施策を⾏うためのヒントを事前の分析から得る • 失敗から学ぶ • 重要な数値をモニタリングし、下がった原因を探る(前述のKPI管理参照)

    • 他プロダクト事例 • 他社のABテストが100%適⽤になった、撤退した • ニュースパス、ルクラ、バザリー、ビデレーからの輸⼊ • ユーザ間の⽐較 • OS、獲得経路別、ユーザが最初に使った機能ごとのKPIを⽐較 • ⼤切な数値と相関の⼤きな数値 • ある⾏動の回数が⾼いと、重要な数値も⾼くなる傾向がある
  14. 23 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストによる意思決定の徹底 • 1⽇に⾛っているABテストは約20個(グノシーのみ) • ABテストによるメリット

    • 施策の効果検証 • ニュースアプリなので、時事性や季節の変動を受けやすいので、効果 の計測がしづらい • 意図しない数値の低下、ユーザービリティの低下を防ぐ • インフラの変更 • アプリのリリース • Androidは段階的リリースを実施している
  15. 28 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストによる意思決定の徹底 • 1⽇に⾛っているABテストは約20個(グノシーのみ) • ABテストによるメリット

    • 施策の効果検証 • ニュースアプリなので、時事性や季節の変動を受けやすいので、効果 の計測がしづらい • 意図しない数値の低下、ユーザービリティの低下を防ぐ • インフラの変更 • アプリのリリース • Androidは段階的リリースを実施している
  16. 30 ©Gunosy Inc. 3 この例の場合であれば Test Bを全体に適応 (※)実際は複数の指標を見ている 効果測定 ABテストの例

    • 特定のユーザ群にUIやアルゴリズムを出し分けるテストを⾏う Test A Test B クリック率 5% 6% 滞在時間 30 35
  17. 32 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストは1%公開から開始して100%まで段階的に割合を引き上げていく • グノシーで⼀般的なABテストだと1%から100%までに1, 2ヶ⽉掛かる •

    割合ごとに⾒る数値と期間は異なる • 1%(1 ~ 3⽇) • ⼤幅な数値低下や不具合がないか • 5%、10%(7⽇) • 期待したKPIは向上しているか • 20%(14⽇) • 継続率
  18. 33 ©Gunosy Inc. 意思決定 • グノシーマンガ撤退におけるケーススタディ • ユニットエコノミクスの検証 • Pros

    • マンガ獲得ユーザー • LTVとCPI • ⾮マンガ獲得ユーザー • マンガによる継続率、Salesの上昇 • Cons • コンテンツ費⽤、サーバー代