DLLAB_オンライン教育サービスにおけるデータ活用方法

https://dllab.connpass.com/event/144647/

Transcript

1. オンライン教育サービスにおけるデータ活⽤⽅法 1 DLLAB Engineer Days 2019 株式会社アイデミー ⽵原⼤智 2019/10/07
2. l ⽵原 ⼤智 l 株式会社アイデミー データサイエンス部 マネージャー ü 北海道⼤学にてソーシャルメディア分析に関する研究を専攻 ü 国内⼤⼿SIerに新卒⼊社 ü アイデミーでは教育サービスのログ解析等の研究開発および 先端技術のリサーチに従事 ⾃⼰紹介 発表者について 2
3. ⾃⼰紹介 株式会社アイデミーについて 3 l オンラインプログラミング学習サービス「Aidemy」を提供 l データサイエンス等の先端技術に特化 l 環境構築不要でブラウザで実⾏可能
4. ⾃⼰紹介 法⼈向け事業: Aidemy Business l 「AIチーム⽴ち上げ」や「データ・ドリブン⽂化醸成」に向けた組織⽀援 l 導⼊法⼈数は120社以上 l 詳細は展⽰ブースで！ I POC I Aidemy Business Cloud #7,
    AI! /-7 Business Intensive Plan A Aidemy Engineer Intensive Plan Aidemy Technology AI   PoC"2 ( 4+
   6 $' 1%   0)&5 3.*  (
5. ⾃⼰紹介 データサイエンス部 5 研究開発 • 教育サービスのログなどの 社内データの解析による事 業価値創出 • 社内技術の外部発信、論⽂ 執筆など ドメインに特化した 先端技術リサーチ • 化学、材料分野における機 械学習応⽤に関する先端技 術に関するリサーチ • 化学系、材料系メーカーの クライアントへレポート提 供など MLOps事業 • 機械学習モデルの運⽤の⽀ 援に向けたサービス開発 • クライアント企業のPoC後 の運⽤フェーズへの移⾏を ⽀援 l 研究開発やクライアント企業を⽀援するための新規事業を担当
6. 本⽇のテーマ オンライン教育サービスにおけるデータ活⽤⽅法 6 l Aidemyで取得しているデータについて l 取得したデータをどのように活⽤しているか l 講座や設問の品質の定量化 l ユーザの受講傾向の分析
7. Aidemyで取得しているデータについて データについて 7 l ユーザ(受講者)が選択問題やコード⼊⼒問題で勉強している際のログデータ l 正解/不正解、滞在時間、など 会員登録数 45,000名以上 コードの実⾏回数 300万回 以上 先端領域の講座 40コース 以上
8. Aidemyで取得しているデータについて データについて 8 l ユーザ(受講者)が選択問題やコード⼊⼒問題で勉強している際のログデータ l 正解/不正解、滞在時間、など 4択問題 コード⼊⼒問題
9. Aidemyで取得しているデータについて データについて 9 l ユーザ(受講者)が選択問題やコード⼊⼒問題で勉強している際のログデータ l 正解/不正解、滞在時間、など 各設問における滞在時間のヒストグラム ⻘: コード⼊⼒問題 (平均 約400秒) オレンジ: 選択問題 (平均 約200秒) 滞在時間
10. 本⽇のテーマ オンライン教育サービスにおけるデータ活⽤⽅法 10 l Aidemyで取得しているデータについて l 取得したデータをどのように活⽤しているか l 講座や設問の品質の定量化 l ユーザの受講傾向の分析
11. 取得したデータをどのように活⽤しているか 講座や設問の品質の定量化 11 l Aidemyは講座数は46、問題数は1200以上ある 機械学習概論の設問 Aidemyの講座
12. 取得したデータをどのように活⽤しているか 講座や設問の品質の定量化 12 l Aidemyは講座数は46、問題数は1200以上ある l 全体の講座の質を⾼く保つために修正の優先順位付けが必要
13. 取得したデータをどのように活⽤しているか 設問毎の離脱率 13 l 設問毎のユーザの離脱傾向を算出し講座の品質を監視 l ↓通常の離脱傾向の講座 最終問題でユーザが離脱している 多少の違いはあるものの 全体的に⼀定の離脱率 離脱率 設問
14. 取得したデータをどのように活⽤しているか 設問毎の離脱率 14 l 設問毎のユーザの離脱傾向を算出し講座の品質を監視 l ↓通常ではない離脱傾向の講座 最終問題以外の⼀部の設問が ⾼い離脱率になっている 離脱率 設問
15. 取得したデータをどのように活⽤しているか ユーザの受講傾向の分析 15 l 講座を進めるペースなどが分からない l 管理者はどのように受講計画を⽴てるべきか l 毎⽇コツコツ受講する？短期研修で⼀気に進める？など
16. 取得したデータをどのように活⽤しているか ユーザの受講傾向の分析 16 l 受講者のログから毎⽇少しずつ進めるユーザと⼀度に沢⼭進めるユーザの進捗を⽐較 完了設問数 時間 40問完了 7⽇⽬ 30⽇⽬
17. 取得したデータをどのように活⽤しているか ユーザの受講傾向の分析 17 l 受講者のログから毎⽇少しずつ進めるユーザと⼀度に沢⼭進めるユーザの進捗を⽐較 8-30⽇⽬の完了設問数をビンとしたユーザ数のヒストグラム ⻘: 7⽇⽬までのログイン回数が3⽇未満 オレンジ: 7⽇⽬までのログイン回数が4⽇以上 毎⽇少しずつ進めるユーザの⽅が 進捗が良い傾向がある 完了設問数
18. 取得したデータをどのように活⽤しているか ユーザの受講傾向の分析 18 l どの講座から受けるべきか分からない l 初学者にとってはどれから選ぶかも難しい l 初学者が⽬的に合わない講座や難易度の⾼い講座を最初に受講すると進捗が悪い
19. 取得したデータをどのように活⽤しているか ユーザの受講傾向の分析 19 l 最初に受けた講座毎に受講者を分けてそれぞれの進捗を⽐較 完了設問数 時間 初回講座完了 30⽇⽬ NumPy基礎を受講 機械学習概論を受講
20. 取得したデータをどのように活⽤しているか ユーザの受講傾向の分析 20 l どの講座から受けるべきか分からない l 最初に受けた講座毎に受講者を分けてそれぞれの進捗を⽐較 ライブラリの使い⽅に関する講座や機械学習やディープラーニングの基礎講座を 初めに受講するユーザの進捗が良い傾向があった • それらの講座には「⼊⾨」タ グを付ける • カリキュラムの設計時は前半 に組み込む
21. 今後の取り組みについて より⾼度な学習体験に向けて 21 l テスト機能のデータ活⽤ ü テスト機能は現在法⼈企業様向けに導⼊中 ü 良い成績を取得するユーザの傾向分析する l 講座、設問への評価機能を追加 ü ユーザからの明⽰的なフィードバックとして活⽤ ü 講座や設問の品質をより正確に管理可能
22. まとめ Aidemyでのデータ活⽤事例について紹介 22 l Aidemy …先端技術に特化したプログラミング学習サービス l データの活⽤によりサービスを改善している l ユーザの離脱傾向に基づき講座の品質を監視 → 効率的な講座の修正が可能に l ユーザの受講傾向の分析 → 個⼈・法⼈の受講計画を⽀援 沢⼭のユーザに使って頂いてデータが蓄積されることでサービスが改善されております もしご関⼼がございましたら展⽰ブースまでお越しいただければと思います