Tweet
Tweet

Slide 1

Slide 1 text

プロダクト改善のためのデータ分析⼊⾨ Gunosy Inc. 2017.9.27 Confidential

Slide 2

Slide 2 text

2 ©Gunosy Inc. ⾃⼰紹介 • ⽯塚 淳（いしつか じゅん） • 株式会社Gunosy • 開発本部データ分析部 • 東京⼤学⼯学部卒 • 坂⽥・森研究室 • 某ソシャゲ会社に新卒⼊社 • データ分析基盤の開発を担当 • エンジニア業務がメイン • 2016年2⽉に株式会社Gunosyに⼊社 • グノシーのデータ分析を担当

Slide 3

Slide 3 text

3 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤 • 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発

Slide 4

Slide 4 text

4 ©Gunosy Inc. Gunosyとは • グノシーは、データとアルゴリズムの会社 • 「情報を世界中の⼈に最適に届ける」がミッション • ニュースアプリだけの会社ではない • 動画、商品、広告

Slide 5

Slide 5 text

5 ©Gunosy Inc. データ分析部とは • データ • ユーザ⾏動のデータを解析し施策に落とし込み、効果を検証する

Slide 6

Slide 6 text

6 ©Gunosy Inc. データ分析部とは • アルゴリズム • ユーザにコンテンツを適切な形で情報を伝える

Slide 7

Slide 7 text

7 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤 • 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発

Slide 8

Slide 8 text

8 ©Gunosy Inc. データの収集⽅法 • Gunosyのログ基盤は⼤きく2つ • 確定値ログ基盤 • KPIダッシュボード • 記事配信アルゴリズム • データ分析 • 速報値ログ基盤 • 速報⽤KPI（Hourly Active User, ⼈気記事） • 記事配信アルゴリズム

Slide 9

Slide 9 text

9 ©Gunosy Inc. データの収集⽅法 • 今回は確定値のログ基盤のみ紹介 • 確定値ログ基盤 • KPIダッシュボード • 記事配信アルゴリズム • データ分析 • 速報値ログ基盤 • 速報⽤KPI（Hourly Active User, ⼈気記事） • 記事配信アルゴリズム

Slide 10

Slide 10 text

10 ©Gunosy Inc. 確定値ログ基盤 ©Gunosy Inc. X ֬ఆ஋ϩάج൫ Redshift ϩάαʔόʔ S3 SQS ίϯόʔλʔ Fluentd BigQuery KPIόον αʔόʔ μογϡϘʔυ

Slide 11

Slide 11 text

11 ©Gunosy Inc. KPIダッシュボード • Redash • 様々なデータ・ソースに統⼀的にアクセスできる可視化ツール • SQLで完結 • Web画⾯でポチポチするとグラフ表⽰できる • ホスティングサービスが存在 • ⾃社運⽤Djangoダッシュボード • フルスクラッチ実装なので、⾃由度は⾼い • いにしえより利⽤ • SQLで完結しない指標を⾒るときに実装

Slide 12

Slide 12 text

12 ©Gunosy Inc. データ分析基盤 • BIツール + DB • 基本はRedashでRedshiftやBigQueryを叩く • 複雑な処理や機械学習モデルを使⽤した分析はJupyterで ©Gunosy Inc. X σʔλ෼ੳج൫ Redshift BigQuery Pandas

Slide 13

Slide 13 text

13 ©Gunosy Inc. ここからが本題、データの活⽤⽅法 • ログ基盤が整って、SQLやJupyterからデータを取得できる環境が揃った • ここまでの⼯程はWeb上にも豊富に存在 • AWSやGCPのお陰でそこまで⼿間は掛からない • で、この後どうするの︖︖︖ • とりあえずKPIでも可視化してみる︖ • 機械学習で◯◯予測してみたい

Slide 14

Slide 14 text

14 ©Gunosy Inc. 今⽇話すこと • Gunosy/データ分析部のやっていること • データの収集⽅法 • ログ収集基盤 • 分析基盤 • データの活⽤⽅法 • 記事配信ロジック • KPI管理 • プロダクト開発

Slide 15

Slide 15 text

15 ©Gunosy Inc. 記事配信ロジック • グノシーの記事配信ロジックの概要

Slide 16

Slide 16 text

16 ©Gunosy Inc. 記事配信ロジック • 詳細はブログで

Slide 17

Slide 17 text

17 ©Gunosy Inc. KPI管理 • KPIをいくつかの要素に分解してモニタリング • 予実を⽇次で管理 • 分解の1例 • 売上 • DAU • 新規獲得数 • 継続率 • Sales/DAU（ARPU） • AdImpSales/DAU • AdClickSales/DAU

Slide 18

Slide 18 text

18 ©Gunosy Inc. Redashによるダッシュボード • 分解したKPIを⼀覧できるダッシュボードをRedashで作成 • 先ほどのKPIツリーを意識した構成 • 予算に対する実績の確認

Slide 19

Slide 19 text

19 ©Gunosy Inc. 数値を⾒る仕組み • データ分析部では2つの朝会を実施している • 開発部朝会 • グノシー、ニュースパスそれぞれの開発部で実施 • 昨⽇やったこと、今⽇やること、共有事項の確認 • 数値確認朝会 • データ分析部で実施 • 各プロダクトのKPIを確認 • 数値に異常があれば、朝会後詳細な調査を実施 • 例えば • 1⽇後継続率が下がった • エンタメタブのクリック数が下がった

Slide 20

Slide 20 text

20 ©Gunosy Inc. プロダクト開発 • グノシーのプロダクト改善は現状の数値の把握から始まる • とはいえ現状の把握だけではなく、仮説・検証・意思決定も含んだ分析が⼤切 • 悪い例 • グノシーユーザの⼥性割合は45%だが、⼣⽅の利⽤ユーザに絞ると、 70%が⼥性である。 • 良い例 • グノシーユーザの⼥性割合は45%だが、⼣⽅の利⽤ユーザに絞ると、 70%が⼥性である。なので、⼣⽅に登録したユーザには、⼥性に⼈気 のコンテンツを多く表⽰させてみて、継続率に変化があるか試してみ る。

Slide 21

Slide 21 text

21 ©Gunosy Inc. プロダクト開発のサイクル

Slide 22

Slide 22 text

22 ©Gunosy Inc. 仮説を出すためのヒント • 施策を⾏うためのヒントを事前の分析から得る • 失敗から学ぶ • 重要な数値をモニタリングし、下がった原因を探る（前述のKPI管理参照） • 他プロダクト事例 • 他社のABテストが100%適⽤になった、撤退した • ニュースパス、ルクラ、バザリー、ビデレーからの輸⼊ • ユーザ間の⽐較 • OS、獲得経路別、ユーザが最初に使った機能ごとのKPIを⽐較 • ⼤切な数値と相関の⼤きな数値 • ある⾏動の回数が⾼いと、重要な数値も⾼くなる傾向がある

Slide 23

Slide 23 text

23 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストによる意思決定の徹底 • 1⽇に⾛っているABテストは約20個（グノシーのみ） • ABテストによるメリット • 施策の効果検証 • ニュースアプリなので、時事性や季節の変動を受けやすいので、効果 の計測がしづらい • 意図しない数値の低下、ユーザービリティの低下を防ぐ • インフラの変更 • アプリのリリース • Androidは段階的リリースを実施している

Slide 24

Slide 24 text

24 ©Gunosy Inc. 2 効果測定 よくない例

Slide 25

Slide 25 text

25 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース

Slide 26

Slide 26 text

26 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース ⼤きなイベント発⽣

Slide 27

Slide 27 text

27 ©Gunosy Inc. 2 効果測定 よくない例 機能リリース ⼤きなイベント発⽣ 前より低い…?

Slide 28

Slide 28 text

28 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストによる意思決定の徹底 • 1⽇に⾛っているABテストは約20個（グノシーのみ） • ABテストによるメリット • 施策の効果検証 • ニュースアプリなので、時事性や季節の変動を受けやすいので、効果 の計測がしづらい • 意図しない数値の低下、ユーザービリティの低下を防ぐ • インフラの変更 • アプリのリリース • Androidは段階的リリースを実施している

Slide 29

Slide 29 text

29 ©Gunosy Inc. 2 効果測定 ABテストの例 • 特定のユーザ群にUIやアルゴリズムを出し分けるテストを⾏う Test A Test B クリック率 5% 6% 滞在時間 30 35

Slide 30

Slide 30 text

30 ©Gunosy Inc. 3 この例の場合であれば Test Bを全体に適応 (※)実際は複数の指標を見ている 効果測定 ABテストの例 • 特定のユーザ群にUIやアルゴリズムを出し分けるテストを⾏う Test A Test B クリック率 5% 6% 滞在時間 30 35

Slide 31

Slide 31 text

31 ©Gunosy Inc. 3 効果測定 ABテストの例 機能リリース ⼤きなイベント発⽣ 前より低い…? この例の場合であれば Test Bを全体に適応 (※)実際は複数の指標を⾒ている

Slide 32

Slide 32 text

32 ©Gunosy Inc. ABテストによる効果測定と意思決定 • ABテストは1%公開から開始して100%まで段階的に割合を引き上げていく • グノシーで⼀般的なABテストだと1%から100%までに1, 2ヶ⽉掛かる • 割合ごとに⾒る数値と期間は異なる • 1%（1 ~ 3⽇） • ⼤幅な数値低下や不具合がないか • 5%、10%（7⽇） • 期待したKPIは向上しているか • 20%（14⽇） • 継続率

Slide 33

Slide 33 text

33 ©Gunosy Inc. 意思決定 • グノシーマンガ撤退におけるケーススタディ • ユニットエコノミクスの検証 • Pros • マンガ獲得ユーザー • LTVとCPI • ⾮マンガ獲得ユーザー • マンガによる継続率、Salesの上昇 • Cons • コンテンツ費⽤、サーバー代