© GLOBIS All rights reserved. グロービスでの⾃然⾔語処理、 機械学習の活⽤事例 佐々⽊ 健太 2019/04/17

⾃⼰紹介 1. 東芝 2. リクルート 3. クックパッド 4. グロービス（グロービスAI経営教育研究所） Ø データ分析、機械学習を使ったサービス開発 Ø 良い教育とは︖教育効果とは︖などに関する研究 -2- © GLOBIS All rights reserved.

次世代のe-learningシステムの開発 • 記述式問題において、回答によってフィードバックが換わる -3- © GLOBIS All rights reserved. 従来のe-learning 次世代のe-learning Aさんの回答 Bさんの回答 Cさんの回答 全員に同じフィードバック（FB） Aさんの回答 Bさんの回答 Cさんの回答 Aさん向け FB Bさん向け FB Cさん向け FB

次世代のe-learningシステムの開発 • 記述式問題において、回答によってフィードバックが換わる -4- © GLOBIS All rights reserved. 従来のe-learning 次世代のe-learning Aさんの回答 Bさんの回答 Cさんの回答 全員に同じフィードバック（FB） Aさんの回答 Bさんの回答 Cさんの回答 Aさん向け FB Bさん向け FB Cさん向け FB 機械学習（教師あり）を使い 回答を採点。採点といっても、 正解と不正解に分類するだけ。 学習者への適切なフィードバックは、学習効果を⾼めることが既存 研究で確認されている。

機械学習（教師あり）のアルゴリズム • アテンション付きLSTMを利⽤ • 単語の分散表現（ベクトル）をネットワークの⼊⼒とする -5- © GLOBIS All rights reserved. 回答 分散表現 LSTM 若者 や 家族 い た 。 … … … Attention 正誤判定

採点結果サンプル -6- © GLOBIS All rights reserved. 問題例 格安航空会社がターゲットにしているのはどんな⼈達で、 普段はどんな交通⼿段を利⽤していたかを考えてください。 （50⽂字以内で記述してください。）

採点結果サンプル -7- © GLOBIS All rights reserved. 問題例 格安航空会社がターゲットにしているのはどんな⼈達で、 普段はどんな交通⼿段を利⽤していたかを考えてください。 （50⽂字以内で記述してください。） 回答に、 ・なるべく安く旅⾏したい⼈達 ・旅費を抑えたい⼈達 ・何でも低価格を好む⼈達 などの「値段」「価格」に関する要素が⼊っていれば正解。

採点結果サンプル • 正誤だけでなく、正誤の判定に影響したキーワードも分かる -8- © GLOBIS All rights reserved.

機械学習を導⼊するにあたって困難だった点 • 質の⾼い教師データの確保 • 採点者によって採点結果が異なる • 採点者に教師データの重要性を理解してもらう -9- © GLOBIS All rights reserved.

機械学習を導⼊するにあたって困難だった点 • 質の⾼い教師データの確保 • 採点者によって採点結果が異なる • 採点者に教師データの重要性を理解してもらう -10- © GLOBIS All rights reserved. ⼈によって採点結果が変わる回答例 1. 価格に敏感な⼈達 2. スーパーで1円でも安く買おうとする主婦 3. 仕事の出張では値段を気にしないのに、個⼈で旅⾏する 時は少しでも安く済ませようとする⼈達

機械学習を導⼊するにあたって困難だった点 • 質の⾼い教師データの確保 • 採点者によって採点結果が異なる • 採点者に教師データの重要性を理解してもらう -11- © GLOBIS All rights reserved. Slackで重要性を説く、 Kibelaに機械学習の誤 採点の例を載せるなど、 地道な啓蒙活動あるのみ。

サービス化 • グロービス学び放題の⼀部ユーザにテスト公開中 -12- © GLOBIS All rights reserved.

最後に • We are hiring!! -13- © GLOBIS All rights reserved.