Classiが取り組んできた 機械学習の試行錯誤

2022/02/24(木)に開催された教育・医療業界の機械学習LTで発表した資料です

Transcript

1. Copyright © 2021 Classi Corp. All Rights Reserved. 教育・医療業界の機械学習事例LT
 2022/02/24(木) 
 Classi株式会社
 開発本部 本部長 兼 データAI部 部長 伊藤徹郎 
 Classiが取り組んできた
 機械学習の試行錯誤

2. Copyright © 2021 Classi Corp. All Rights Reserved. 自己紹介
 • 名前：伊藤 徹郎 (@tetsuroito)
 • 所属：Classi株式会社 開発本部｜データAI部
 • 役職：本部長｜部長
 • 分野：Educational Technology , Learning Analytics
 • 著書
 ◦ データサイエンティスト養成読本ビジネス活用編
 ◦ AI・データ分析プロジェクトのすべて
 ◦ 実践的データ基盤への処方箋
 1
3. Copyright © 2021 Classi Corp. All Rights Reserved. アジェンダ
 • 会社概要
 • 機械学習の実践例
 2
4. Copyright © 2021 Classi Corp. All Rights Reserved. アジェンダ
 • 会社概要
 • 機械学習の実践例
 3
5. Copyright © 2021 Classi Corp. All Rights Reserved. 4 Classiの会社概要
 https://speakerdeck.com/classijp/we-are-hiring より
6. Copyright © 2021 Classi Corp. All Rights Reserved. 5 Classiのミッション・ビジョン・バリュー 
 https://speakerdeck.com/classijp/we-are-hiring より 子供の無限の可能性を解き放ち、学びの形を進化させる 先生とともに、学びから学ぶ仕組みを創り、 ワクワクする子どもを増やします • Unlearn & Learn • Love Difference • Make Happen ⁃ 既存の知識を外す勇気。「学び方」を学び続けよう。 失敗してもいい。新しい学びに挑戦しよう。 ⁃ 違いを愛そう。チームを超えて協働しよう。 多様性こそClassiの強み。多様な方がわくわくする。 ⁃ 共に作り、共に実現する。大切なのは、信じて、 やり抜くこと。 Value Mission Vision
7. Copyright © 2021 Classi Corp. All Rights Reserved. 6 Classiのサービス
 https://speakerdeck.com/classijp/we-are-hiring より
8. Copyright © 2021 Classi Corp. All Rights Reserved. 7 サービス導入実績
 https://speakerdeck.com/classijp/we-are-hiring より
9. Copyright © 2021 Classi Corp. All Rights Reserved. ClassiのデータAI部の目指していること 
 8 EBE(Evidence-Based-Education) → 先生などの教育者
 EBL(Evidence-Based-Learning) → 生徒などの学習者
 の実現と運用
 つまり教育に必要なデータをサービスを通じて還元し、それぞれのステークホ ルダーが活用する状態
 EBE,EBLは ここが自律的に サイクルが 回る状態
10. Copyright © 2021 Classi Corp. All Rights Reserved. アジェンダ
 • 会社概要
 • 機械学習の実践例
 9
11. Copyright © 2021 Classi Corp. All Rights Reserved. • 自然言語処理を用いた自動作問の実証研究
 • アダプティブラーニングの提供と理論
 • 音声解析と画像解析を用いた検索精度の改善
 • AI-手書きOCRの技術検証
 • 声かけのタイプ別で利用率を向上させるA/Bテスト
 • 問い合わせデータを活用したトピックモデル分析
 • 数理最適化技術を用いたスケジュール問題最適化
 • 問題の解き直し行動の学力向上への効果検証 など
 Classiがこれまでに取り組んできた機械学習の取り組み 
 10
12. Copyright © 2021 Classi Corp. All Rights Reserved. • 自然言語処理を用いた自動作問の実証研究
 • アダプティブラーニングの提供と理論
 • 音声解析と画像解析を用いた検索精度の改善
 • AI-手書きOCRの技術検証
 • 声かけのタイプ別で利用率を向上させるA/Bテスト
 • 問い合わせデータを活用したトピックモデル分析
 • 数理最適化技術を用いたスケジュール問題最適化
 • 問題の解き直し行動の学力向上への効果検証 など
 Classiがこれまでに取り組んできた機械学習の取り組み 
 11
13. Copyright © 2021 Classi Corp. All Rights Reserved. • 企画立案 : どんなソリューションで誰の何を解決するか
 • 技術検証 : ソリューションは適切な範囲で提供可能か
 • PoC(実データ検証) : 実際にコンセプトは受容されるか
 • サービス検討 : PoCの結果を元にビジネス化検討
 • リリース判断 : ビジネスプランに基づき、サービスリリース判断
 AI-手書きOCRの技術検証の進め方 
 12
14. Copyright © 2021 Classi Corp. All Rights Reserved. • 企画立案 : どんなソリューションで誰の何を解決するか
 • 技術検証 : ソリューションは適切な範囲で提供可能か
 • PoC(実データ検証) : 実際にコンセプトは受容されるか
 • サービス検討 : PoCの結果を元にビジネス化検討
 • リリース判断 : ビジネスプランに基づき、サービスリリース判断
 AI-手書きOCRの技術検証の進め方 
 13
15. Copyright © 2021 Classi Corp. All Rights Reserved. • 課題
 • 学校現場では未だに多くの紙が存在している 
 • 紙は便利だが、管理が煩雑になってしまう 
 • なくしてしまうことがある
 • ソリューション
 • 紙に書いた内容を電子化して保存すれば良いのではないか 
 • アプローチする観点
 • 学習済みモデルか自社で学習モデルを作るか 
 • 技術要件とユースケースが合うかどうか 
 • コストが見合うかどうか
 AI-手書きOCRの技術検証について 
 14
16. Copyright © 2021 Classi Corp. All Rights Reserved. AI-手書きOCRの3step : 1,前処理 
 15
17. Copyright © 2021 Classi Corp. All Rights Reserved. AI-手書きOCRの3step : 2,認識 
 16
18. Copyright © 2021 Classi Corp. All Rights Reserved. AI-手書きOCRの3step : 3,補正 
 17
19. Copyright © 2021 Classi Corp. All Rights Reserved. • 企画立案 : どんなソリューションで誰の何を解決するか
 • 技術検証 : ソリューションは適切な範囲で提供可能か
 • PoC(実データ検証) : 実際にコンセプトは受容されるか
 • サービス検討 : PoCの結果を元にビジネス化検討
 • リリース判断 : ビジネスプランに基づき、サービスリリース判断
 AI-手書きOCRの技術検証の進め方 
 18
20. Copyright © 2021 Classi Corp. All Rights Reserved. オフライン技術検証のフロー 
 19 Jupyter上で前処理、AI-OCRで解析、その精度を検証するフローを検討

21. Copyright © 2021 Classi Corp. All Rights Reserved. 精度検証の方法の検討 
 20 独自の指標を組み合わせて、精度を検証

22. Copyright © 2021 Classi Corp. All Rights Reserved. 矩形抽出の検証
 21
23. Copyright © 2021 Classi Corp. All Rights Reserved. • AI-手書きOCRにかける前に画像を前処理しないといけない
 • 画像の回転角度の補正
 • 台形補正
 • 画像サイズと座標の補正
 • 文章角度の補正
 • コントラスト調整と輪郭の抽出
 • 撮影時に入り込んだ影の補正
 • etc…
 前処理方法の検討
 22 前処理で精度を担保することが現実的に無理なため、
 ユースケースを限定することで精度向上を目指すことに

24. Copyright © 2021 Classi Corp. All Rights Reserved. • 手書き文字と印刷文字の混在パターンも存在することが判明
 • 活字のタイプ別の読み取り精度の検証 
 • フォントの違いによる精度検証
 • 文章の長さによる精度検証
 • 罫線を用意した場合とそうでない場合の精度検証 
 • マス目の場合のフォーマットの精度検証 
 など、いろいろなパターンを想定して、精度がどう変化するか検証
 活字の読み取り検証 
 23
25. Copyright © 2021 Classi Corp. All Rights Reserved. • 企画立案 : どんなソリューションで誰の何を解決するか
 • 技術検証 : ソリューションは適切な範囲で提供可能か
 • PoC(実データ検証) : 実際にコンセプトは受容されるか
 • サービス検討 : PoCの結果を元にビジネス化検討
 • リリース判断 : ビジネスプランに基づき、サービスリリース判断
 AI-手書きOCRの技術検証の進め方 
 24
26. Copyright © 2021 Classi Corp. All Rights Reserved. • 実際に複数のお客様に協力いただき、実験を行った
 • 精度指標が約70&ほどだったが、その受け入れも含めて 
 • サービス提供フローを構築し、その業務イメージが現場にFitするかどう か
 
 • 
 PoC
 25
27. Copyright © 2021 Classi Corp. All Rights Reserved. • 企画立案 : どんなソリューションで誰の何を解決するか
 • 技術検証 : ソリューションは適切な範囲で提供可能か
 • PoC(実データ検証) : 実際にコンセプトは受容されるか
 • サービス検討 : PoCの結果を元にビジネス化検討
 • リリース判断 : ビジネスプランに基づき、サービスリリース判断
 AI-手書きOCRの技術検証の進め方 
 26
28. Copyright © 2021 Classi Corp. All Rights Reserved. • 今回のPoCでは、運用コストが非常に大きい点
 • ユースケースを限定したために活用イメージができなかった点
 • 精度自体もケースに応じて不安定な点
 • ビジネスモデルをうまく構築できない点
 
 など、いろいろな要因を鑑みて、サービスリリースを見送りました
 そのため、供養のLTを披露させていただきました！
 サービス化検討&リリース判断 
 27
29. Copyright © 2021 Classi Corp. All Rights Reserved. 宣伝：Classiでは教育業界に機械学習のソリューションを適用したいエンジニアを募集しています 
 28 https://hrmos.co/pages/classi/jobs?category=1378626424374710272&_ga=2.195036393.490006783.1645439063-165287458.1525770617
30. Copyright © 2021 Classi Corp. All Rights Reserved. おわり
 29 ご静聴
 ありがとうございました！
 🙏🙏🙏