データサイエンティストの視点 学習効果を因果推論する話 内藤 純 2021.12.22

ⓒ 2020 atama plus Inc. 自己紹介 ▼経歴： 　NECソフト → リクルート → atama plus！ ▼主なお仕事： 　データで良しなに素敵なサムシングを出す ▼好きなモノ： 　よなよなエール、ダーツ、天文学 2 内藤 純（えぬじゅん） Algoチーム @jonnojun

ⓒ 2021 atama plus Inc. 今回の内容 ０．atama plusにおけるデータサイエンスのお仕事 １．施策は本当に効果ある？ ２．施策は本当に効果あった？ ３．それは因果じゃなくて相関ですよね？ ４．一番求められるスキル 3 データサイエンティストの視点〜学習効果を因果推論する話〜

ⓒ 2021 atama plus Inc. ０．atama plusにおけるデータサイエンスのお仕事 4 データサイエンティストの視点〜学習効果を因果推論する話〜 主な素材 具体的タスク ①生徒情報 ②利用履歴 ・KPI探索 ・ファクト情報の整備 ・ABテスト設計 ・各種要因分析 ・習熟度推定 ・学習時間予測 ・解約予測 🔥効果検証 🔥因果推論 いつ、誰が、何を、どうした 学年、所属塾、目標設定 👈 今日の話すこと

ⓒ 2021 atama plus Inc. １．施策は本当に効果ある？ 5 データサイエンティストの視点〜学習効果を因果推論する話〜 学習指標の信頼区間推移 迷ったらABテストで検証 ランダム化比較試験でデータドリブンに学習体験を最適化 既存ロジック 新規ロジック Random！

ⓒ 2021 atama plus Inc. ２．施策は本当に効果あった？ 6 データサイエンティストの視点〜学習効果を因果推論する話〜 Before After ex.解説コンテンツリッチ化

ⓒ 2021 atama plus Inc. ２．その施策は本当に効果あった？ 7 データサイエンティストの視点〜学習効果を因果推論する話〜 ABテストができなくてもデータで地道に定量評価 単元合格までの学習時間 👈 推定された効果 👈 累積効果 リリース日 Google社製因果推論ライブラリ CausalImpactを利用

ⓒ 2021 atama plus Inc. ３．それは因果じゃなくて相関ですよね？ 8 データサイエンティストの視点〜学習効果を因果推論する話〜 見せかけの相関に惑わされず、正しい意思決定を行う 統計的因果探索LiNGAMで因果構造を把握 偏差値 学習時間 理解度 疑似相関！

ⓒ 2021 atama plus Inc. 番外編．本当にカルチャーは体現されている？ 9 データサイエンティストの視点〜学習効果を因果推論する話〜 社内のあらゆるものを定量評価 https://note.com/lepton/n/nbdbb65dc12a8 一日あたりの草スタンプ数モニタリング

ⓒ 2021 atama plus Inc. 4．一番求められるスキル 10 データサイエンティストの視点〜学習効果を因果推論する話〜 atama plusにおけるデータのお仕事 膨大な因果を紐解く力

疑問／質問にお答えします