データサイエンティストの視点 学習効果を因果推論する話/atama plus tech live 20211222 naito

atama plusのデータサイエンティスト 内藤のatama plus Tech Live〜プロダクト系5職種の視点で、開発の裏側を徹底解剖！～における登壇資料です。

atama plusでは、新しい教育を創り、社会を変えていく仲間を募集しています。
ご興味もっていただいた方はぜひご応募ください！

▼募集職種一覧
https://herp.careers/v1/atamaplus

▼その他参考資料
・atama＋ culture code
Mission実現に向けて大切にしているカルチャーをまとめています
https://www.atama.plus/wp-content/uploads/2020/07/atama%EF%BC%8B-culture-code.pdf

・3分でわかるatama plusのエンジニア（プロダクト部門の全体像がわかるスライドです）
https://speakerdeck.com/atamaplus/about-atama-plus-engineer

・3分でわかるatama plus
https://speakerdeck.com/atamaplus/about-atama-plus

Transcript

1. データサイエンティストの視点 学習効果を因果推論する話 内藤 純 2021.12.22
2. ⓒ 2020 atama plus Inc. 自己紹介 ▼経歴： 　NECソフト → リクルート → atama plus！ ▼主なお仕事： 　データで良しなに素敵なサムシングを出す ▼好きなモノ： 　よなよなエール、ダーツ、天文学 2 内藤 純（えぬじゅん） Algoチーム @jonnojun
3. ⓒ 2021 atama plus Inc. 今回の内容 ０．atama plusにおけるデータサイエンスのお仕事 １．施策は本当に効果ある？ ２．施策は本当に効果あった？ ３．それは因果じゃなくて相関ですよね？ ４．一番求められるスキル 3 データサイエンティストの視点〜学習効果を因果推論する話〜
4. ⓒ 2021 atama plus Inc. ０．atama plusにおけるデータサイエンスのお仕事 4 データサイエンティストの視点〜学習効果を因果推論する話〜 主な素材 具体的タスク ①生徒情報 ②利用履歴 ・KPI探索 ・ファクト情報の整備 ・ABテスト設計 ・各種要因分析 ・習熟度推定 ・学習時間予測 ・解約予測 🔥効果検証 🔥因果推論 いつ、誰が、何を、どうした 学年、所属塾、目標設定 👈 今日の話すこと
5. ⓒ 2021 atama plus Inc. １．施策は本当に効果ある？ 5 データサイエンティストの視点〜学習効果を因果推論する話〜 学習指標の信頼区間推移 迷ったらABテストで検証 ランダム化比較試験でデータドリブンに学習体験を最適化 既存ロジック 新規ロジック Random！
6. ⓒ 2021 atama plus Inc. ２．施策は本当に効果あった？ 6 データサイエンティストの視点〜学習効果を因果推論する話〜 Before After ex.解説コンテンツリッチ化
7. ⓒ 2021 atama plus Inc. ２．その施策は本当に効果あった？ 7 データサイエンティストの視点〜学習効果を因果推論する話〜 ABテストができなくてもデータで地道に定量評価 単元合格までの学習時間 👈 推定された効果 👈 累積効果 リリース日 Google社製因果推論ライブラリ CausalImpactを利用
8. ⓒ 2021 atama plus Inc. ３．それは因果じゃなくて相関ですよね？ 8 データサイエンティストの視点〜学習効果を因果推論する話〜 見せかけの相関に惑わされず、正しい意思決定を行う 統計的因果探索LiNGAMで因果構造を把握 偏差値 学習時間 理解度 疑似相関！
9. ⓒ 2021 atama plus Inc. 番外編．本当にカルチャーは体現されている？ 9 データサイエンティストの視点〜学習効果を因果推論する話〜 社内のあらゆるものを定量評価 https://note.com/lepton/n/nbdbb65dc12a8 一日あたりの草スタンプ数モニタリング
10. ⓒ 2021 atama plus Inc. 4．一番求められるスキル 10 データサイエンティストの視点〜学習効果を因果推論する話〜 atama plusにおけるデータのお仕事 膨大な因果を紐解く力
11. 疑問／質問にお答えします