多様化する分析ニーズに応え続けるためのデータ分析 / StudySapuri Data Meetup #2 02

Transcript

1. Data Meetup #2 多様化する分析ニーズに応え続けるための データ分析 @tsuyoshihorii
2. 01 Agenda | 自己紹介 分析事例 その他やっていること 今進めていること 02 03
3. 01 自己紹介
4. 堀井 剛 @tsuyoshihorii - 所属 Quipper Limited Data Analytics Group - 経歴 - スタディサプリリリース直前2015年12月にジョインし４年目 - お仕事 - スタディサプリのデータ整備 - 各部署へのモニタリング - データ分析 - BIツール (DOMO, Looker) の導入などなど
5. 02 分析事例
6. 2016年 2017年 2018年 　~ ステージ① ~ 分析基盤の整備 モニタリング・レポーティング中心 分析も状況把握の色合いが強い ~ ステージ② ~ データ組織の強化 意思決定の支援へ プロダクトや機能の価値を定量的に ~ ステージ③~ データ組織さらなる拡充 プロダクトのみがきこみや 新サービス開発へ 分析知見の共有 2016.2.25 スタディサプリに ブランド・システム 統合 組織が拡大、データ環境も整備され、分析内容も多様化
7. ただし、どのステージでも分析のステップは変わらない - 分析依頼者の「何のために？何の目的で？」をできるだけはっきりする 　ここがブレると分析もブレる ↓ - 分析の計画 ↓ - データの準備・設計 ↓ - データ分析 ↓ - 分析結果の報告 　なるべく解釈しやすい形で依頼者へ ↓ - 打ち手 (または次の分析へ探索)
8. 2016年 2017年 2018年 　~ ステージ① ~ 分析基盤の整備 モニタリング・レポーティング中心 分析も状況把握の色合いが強い ~ ステージ② ~ データ組織の強化 意思決定の支援へ プロダクトや機能の価値を定量的に ~ ステージ③~ データ組織さらなる拡充 プロダクトのみがきこみや 新サービス開発へ 分析知見の共有 組織が拡大、データ環境も整備され、分析内容も多様化 2016.2.25 スタディサプリに ブランド・システム 統合
9. あらゆる部署からモニタリング・レポーティング要望 主要指標をチェックできる環境を少しずつ整える日々 ステージ①
10. 一方で、単なる集計でなく、動画やその他機能の使われ方の 傾向・特徴を知りたいという要望ももちろんあった 動画視聴・問題回答 学習スケジュール の登録 マイ講座の登録 大学情報検索 … ステージ①
11. ユーザ 動画視聴分 問題回答数 学習スケジュールの 登録回数 マイ講座の 登録回数 大学情報 検索回数 ・・・ 1 166 245 34 26 57 ・・・ 2 177 259 29 33 43 ・・・ 3 199 105 23 67 68 ・・・ 4 297 286 43 46 58 ・・・ 5 286 178 100 58 93 ・・・ ステージ① 99999 122 114 6 15 78 ・・・ 100000 95 265 36 53 18 ・・・ クロス集計 ピボット ユーザ数も変数も多くなってくると、解釈がしにくい
12. ユーザ 動画視聴分 問題回答数 学習スケジュールの 登録回数 マイ講座の 登録回数 大学情報 検索回数 ・・・ 1 166 245 34 26 57 ・・・ 2 177 259 29 33 43 ・・・ 3 199 105 23 67 68 ・・・ 4 297 286 43 46 58 ・・・ 5 286 178 100 58 93 ・・・ ステージ① 99999 122 114 6 15 78 ・・・ 100000 95 265 36 53 18 ・・・ 変数が2つになれば解釈がしやすくなる (主成分分析) 合成して 新しい2つだけの 変数を作ってしまおう 新変数1 ⇛ サプリ総合活用度 新変数2 ⇛ 計画的タイプかどんどん学習タイプか デモグラなどで グルーピング
13. どんどん学習タイプ 計画的タイプ サプリ総合 活用度高い サプリ総合 活用度低い ステージ①
14. 2016年 2017年 2018年 　~ ステージ① ~ 分析基盤の整備 モニタリング・レポーティング中心 分析も状況把握の色合いが強い ~ ステージ② ~ データ組織の強化 意思決定の支援へ プロダクトや機能の価値を定量的に ~ ステージ③~ データ組織さらなる拡充 プロダクトのみがきこみや 新サービス開発へ 分析知見の共有 組織が拡大、データ環境も整備され、分析内容も多様化 2016.2.25 スタディサプリに ブランド・システム 統合
15. 使用してきた機能が負債となっていないか定量的に検証 キャリア決済 - シェアは高くなく、決済手数料も他より高い - 各キャリアで特異な仕様、エンジニアのメンテコストが高く理解も難しい - 新規開発や保守、CS 観点でも大きな足かせに ステージ②
16. 既存とキャリア決済を外したパターンでA/Bテスト 結果) 検定により1%有意水準で有意差があることがみられた キャリア決済を外すことにより CVR は低下すると想定 ステージ②
17. https://quipper.hatenablog.com/archive/2018/5 ▼詳しくはこちら リスクまでを試算し、意思決定してもらう 結論) 最大で年間80百万円の利益が失われる可能性も キャリア決済を継続することで決定 ステージ②
18. 2016年 2017年 2018年 　~ ステージ① ~ 分析基盤の整備 モニタリング・レポーティング中心 分析も状況把握の色合いが強い ~ ステージ② ~ データ組織の強化 意思決定の支援へ プロダクトや機能の価値を定量的に ~ ステージ③~ データ組織さらなる拡充 プロダクトのみがきこみや 新サービス開発へ 分析知見の共有 組織が拡大、データ環境も整備され、分析内容も多様化 2016.2.25 スタディサプリに ブランド・システム 統合
19. プロダクトにより磨きをかけるため、 アンケートにより改善項目を定量的に発見 改善につながりそうな項目を以下の5段階で利用生徒へアンケート • コーチに対する総合満足度 • 学習方法に対する満足度 • 進路相談に対する満足度 • 教科対応に対する満足度 • チャット量に対する満足度 • チャットレスポンスの早さに 　 対する満足度 ステージ③
20. 回答結果から、重要度、満足度を偏差値として数値化 それぞれの質問項目をプロット 学習方法 重要度: 58.1 満足度: 68.3 チャット量 重要度: 65.5 満足度: 51.2 教科対応 重要度: 41.0 満足度: 41.9 進路 重要度: 40.6 満足度: 39.4 チャットのレス 重要度: 44.8 満足度: 43.2 ステージ③ 重要度 総合満足度との相関係数を 偏差値化 満足度 5点中4点以上の 割合から偏差値化
21. 学習方法 重要度: 58.1 満足度: 68.3 教科対応 重要度: 41.0 満足度: 41.9 進路 重要度: 40.6 満足度: 39.4 教科対応 重要度: 44.8 満足度: 43.2 満足度は高いが、重要度低い → 改善の優先順位低い 重要度、満足度とも高い → 理想的、維持したい 満足度低いが、重要度も低い → 改善の優先順位やや低い 重要度高いが、満足度は低い → 改善の優先順位高い ステージ③ 重要度 満足度
22. 回答結果から、重要度、満足度を偏差値として数値化 それぞれの質問項目をプロット 学習方法 重要度: 58.1 満足度: 68.3 チャット量 重要度: 65.5 満足度: 51.2 教科対応 重要度: 41.0 満足度: 41.9 進路 重要度: 40.6 満足度: 39.4 チャットのレス 重要度: 44.8 満足度: 43.2 ステージ③ 重要度 総合満足度との相関係数を 偏差値化 満足度 5点中4点以上の 割合から偏差値化
23. 分析事例のまとめ 分析依頼者 分析内容 分析手法など 効果や次のアクション マーケティング 機能の使われ方の特徴・傾向 主成分分析 集客やUXの改善 エンジニア キャリア決済の削除 による影響 A/Bテスト 信頼区間 数値に基づく意思決定 エンジニアのもやもや解消 プロダクトオーナー アンケート回答からの 改善事項 アンケート分析 コーチへ具体的項目の フィードバック
24. その他やっていること・今進めていること 03
25. BIツール Looker 導入による、データ意識の浸透 KPI や LTV 、登録経過週ごとの利用状況の変化などの情報も集約 分析G以外のメンバーにも利用促進。データ探索から施策の立案も
26. グローバルでも日本と同じような分析環境を 正確なモニタリング、そして分析が行えるように分析基盤を現在構築中 分析基盤の構築 分析やBI活用
27. 日本の事例をハンドブック化し海外へ展開
28. 分析パターンから精度の高いモデルを構築 さらに組み合わせることでより精度の高いモデルも自動で構築 過去データの分析から予測へ Looker と機械学習プラットフォーム DataRobot との連携により最適な 予測モデルの構築
29. 3年間かけ足 もちろん課題も
30. 夏休み前後に 大きく変動する 緑: わずかでも動画を見れば学習者とみなす 青: 1日10分以上を週3日以上で学習者とみなす KPIの考え方 例) 1週間で学習した人の割合も定義次第で全く解釈が変わる 実は4月後半から 下降気味 ノイズが除去されていないので 安定しているように見える
31. X (原因？) Y (結果？) β 相関でなく、因果関係で意思を決定できるように ① ② ③ ③ ① だと思っていたら、実は ② や ③ だった」になっていないか
32. 正しい手法でのA/Bテスト - グループを分けて違いを見ているだけのテストが多かった - サンプル数が統計的に足りていないケースも - ランダムに分かれているか - 分割に何かしらの意思が介入しているケースも - 基本統計量のバランスチェック - ランダムに分かれているか、標準誤差など統計的なチェックまでは行って こなかった
33. まとめ - 年月を重ね、データ組織はどんどん拡大、データ分析も多様に - ポジションをつかむ分析、機能の価値を定量的に評価する分析、プロダク ト改善のためのアンケート分析など - 過去から未来へ - 機械学習による予測も取り込んでいく - 過去の決まりごとの見直しも必要な時期 - KPI や A/Bテストのやり方など - Looker によるデータ分析意識の浸透 - グローバルへの展開
34. ご静聴ありがとうございました