ファクトベースな意思決定を支える分析チームの事業伴走 / StudySapuri Data Meetup 03 Analysis Team Introduction

『StudySapuri Data Meetup #1 〜未来の教育を創り出すデータ組織、全部お見せします！〜』 ( https://techplay.jp/event/680407 ) の発表スライドです。
データ組織内の1つ、分析チームについてご説明します。

Transcript

1. Data Meetup #1 ファクトベースな意思決定を支える 分析チームの事業伴走 @yukihayashida
2. 本日お話すること スタディサプリを支える データ分析のノウハウ これについては今回お話しません…
3. 本日お話すること スタディサプリを支える データ分析チームのご紹介
4. 01 02 03 04 05 Agenda | 自己紹介 分析チームの紹介 分析チームの動き方 どんな分析をやっているか 分析チームの今後
5. 01 自己紹介
6. 林田 祐輝 @yukihayashida ソーシャルゲーム開発会社でデータ分析基盤の整 備や分析を担当した後、2017年に株式会社リク ルートマーケティングパートナーズに入社。 スタディサプリが提供する各種サービス・プランのグ ロースハックからマーケティング、事業分析などを 幅広く担当。 ゴルフ。練習もせず自身のスコア分析をひたすら やっている。 Career Job Hobby
7. 02 分析チームの紹介
8. 企画提案 研究開発 実証実験 性能改善 本番実装 本番運用 効果検証 要因分析 施策立案 分析 データサイエンティスト エンジニアリング データエンジニア R&D データリサーチエンジニア
9. スタディサプリのコアバリューの一つである FACT-BASED を実現する組織 分析チームのミッション
10. 意思決定や施策の結果を振り返った時、FACT（データから導き出した事実）に基 づいて判断を下すこと FACT-BASED とは？ 生徒の悩みを聞く 相談室をしよう！ 実施したら悩みも解消さ れたしいっか。 生徒の悩みを聞く 相談室をしよう！ 実施したら生徒の学習時間が 40 %増えた。この施策を定期 的にやろう！ Not FACT-BASED FACT-BASED
11. 03 分析チームの動き方
12. チームと各組織との関わり マーケティング スタディサプリ内の各サービスや機能組織単位に、担当データサイエンティストを 配置、より事業に近い位置で分析しています。 ベーシック LIVE 合格特訓 中学・小学 学校導入 English サービス 機能組織 エンジニア チーム 分析チーム R&D チーム 連携
13. チームと各組織との関わり 担当データサイエンティストは各組織のプロダクトマネージャーやメンバーと協力 して分析を進めている データ サイエンティスト プロダクト マネージャー チーム メンバー ➔ サービス特有のドメイン知識 ➔ メンバーとの信頼関係作り ➔ 分析結果の素早い共有
14. FACT を施策改善 に活かす！ 分析の進め方 課題設定 仮説・切り口 を立てる データ抽出 Let's SQL!! ExcelやTableauで 可視化 R や Python で 詳細分析・検証 フィード バック 今週の KPI が良く ない… ・新施策が怪しい ・入会時期に違い？ 仮説検証に必要な データを抽出する。 差が出た。 R で差の検定して、Excel でまとめよう。 素早く 結果報告！ データ サイエン ティスト プロダクト マネジャー
15. 分析タスクのとりまとめ プロジェクト キックオフ GitHub Issue で 起案 進捗やマイルストーンなど は Issue を更新 自動連携されるスプレッド シートで一元管理 ➔ スクリプトで自動更新 ➔ チーム内プロジェクトの動きが追える
16. 04 どんな分析をやっているか
17. やってきた分析の概要 予測 EFO 最適化 要因分析 退会者 予測 学習 行動分析 施策 効果検証 事業戦略 支援 CRM 最適化 集客分析 採用分析 意思決定支援 合格者 分析 アンケート 解析 プロダクト開 発
18. 分析に活用しているもの データ ユーザー情報 学習行動ログ 分析ツール Python / R DataRobot Tableau Looker
19. ➔ ユーザー情報 ◆ 学年、通っている高校、契約状況、志望大学、合格大学など ➔ 行動データ ◆ 動画閲覧 ◆ 問題回答 ◆ Webページ閲覧、アプリ起動、課金ログなど ➔ 定性データ ◆ アンケート・インタビュー結果など 1. データ
20. 1学期 夏休み 2学期 冬休み 3学期 高校3年生 高校2年生 高校1年生
21. GMARCH 東大京大 早稲田慶応 1学期 夏休み 2学期 冬休み 3学期
22. 2. 分析ツール Python / R Tableau DataRobot Looker
23. 分析事例 担当領域 テーマ 詳細 ベーシック 合格大学別の勉強時間相関 合格した大学によって学習時間に違いや相関があるかを検証。 ベーシック テキストセールの効果測定 テキスト販売のセールにおけるビジネスインパクトを分析。 合格特訓 課金する/していないユーザーの特徴 初回課金する・しないでアクションの違いがあるか検証。 合格特訓 合格者の勉強スタイル傾向 合格したユーザーが学習開始から受験までどういう勉強をしたか分析。 LIVE セグメンテーションによる CRM最適化 マーケティングチームと連携してユーザー層ごとの CRMを実現する。 プロダクト キャリア決済の効果測定 キャリア決済を廃止したときの損失を試算。 中学講座 定期テスト対策講座の利用分析 新コンテンツをリリースした時の利用状況可視化。 R&D R&Dチームのプロトタイプ分析 R&Dチームのプロトタイプ機能の PDCA支援。
24. 事例 1. 合格大学別の勉強時間相関 勉強時間と受験難易度は相関があ るのか？ ➔ 大学の難易度をグループ化し、 学習時間や問題解答数で相関 分析を実施
25. 事例 2. キャリア決済の効果測定 クレジットカード・キャリア・コンビニ 決済のうちキャリア決済を無くしたい という議論に ➔ 廃止した場合の損失を試算して 意思決定 詳しくは Quipper Product Team Blog プロダクトの「負債」を「機能」と呼び直す 〜A/Bテスト を用いた"価値"の定量化〜 https://quipper.hatenablog.com/entry/2018/05/31/080000
26. 事例 3. R&Dチーム発のプロダクト改善 R&D チームでコーチング業務支援 ツールを開発 ➔ 改善に向けた効果検証ができ るように分析の枠組みを設計し て Google Analytics を設置 ➔ 収集したデータとアンケートなど を組み合わせて KPI を設計、 改善案の示唆出しを実施
27. 05 分析チームの今後
28. 1. プロダクト・組織のカバー範囲を広げる 2. 分析チームからの提案を増やす 3. 分析のステージを上げる 実現したいこと
29. 1. プロダクト・組織のカバー範囲を広げる マーケティング ベーシック LIVE 合格特訓 中学・小学 学校導入 English サービス 機能組織 分析チーム まだ分析担当がいないサービスや領域が出てきた時に備えて、データサイエン ティストがより効率よく分析を実施できる体制作りをしていきたい。
30. 2. 分析チームからの提案を増やす 依頼ベースでなく自ら課題や問題を見つけ出し、提案や設計を実施。 分析の流れはデータサイエンティストがハンドリングする。 データ サイエンティスト KPI悪化の原因を解決す るために、こんな施策を すべきだ！ 次の施策の評価指標は これにしよう。 予測モデルを使っ て、業務を効率化 しましょう！ 新しい機能の効果検証 にこういうデータが必要 だ。 提案 設計
31. 3. 分析のステージを上げる モニタリングや要因分析は組織的にも対応できるようになった。 今後は予測の領域まで幅を広げてより強く意思決定を支援していきたい。 意思決定支援 予測 モニタリング 要因分析 今後 現在
32. ➔ 分析ニーズが多様で分析スキルの幅が広い！ ➔ 新しいツールや技術の取り入れに積極的！ ➔ スタディサプリの意思決定を支えている実感がある！ 最後に分析チームの魅力を3行で
33. 最高の学びを 届ける スタディサプリを
34. 最適な FACT で導く 分析チームで ありたい
36. ご静聴ありがとうございました