Slide 1

Slide 1 text

AI型教材「Qubena(キュビナ)」の 手書き文字認識のユニットテストについて 2022.04.27 株式会社COMPASS 入間川 愛 1

Slide 2

Slide 2 text

自己紹介 入間川 愛(いりまがわ あい)/ @regina_t_rex 株式会社COMPASS QAチームリーダー 証券会社やIoTプラットフォームサービスのシステム開発、農業 ITの製品企画を経て、第三者検証会社でQAのキャリアを開始。 2021年4月よりCOMPASSに一人目QAとして参画。 Qubena(キュビナ)のサービス品質向上、開発現場のQA技術向 上・プロセス改善をリードし、よりよいサービスを学校現場へ 届けるために奮闘中。 2

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

MyScript(マイスクリプト)とは ・フランスの企業が提供する、  手書き文字を認識するAI認識エンジン 認識率約97%! ・Qubena(キュビナ)の手書き文字認識で利用  → しかし、文字認識不具合の問い合わせが頻発。。 5 精度の高い認識エンジンなのに どうして。。

Slide 6

Slide 6 text

こんな不具合がでます 例)「ー(マイナス)極」を答えさせる問題で「-(ハイフン)極」と認識 6

Slide 7

Slide 7 text

不具合報告後の対応フロー 7 ①コンテンツチーム  ・対応方針決定 ②データ分析基盤チーム  ・誤答のテストデータ抽出 ③アプリ開発/QAチーム  ・設定ファイル更新/ユニットテスト ④QAチーム  ・実機テスト

Slide 8

Slide 8 text

設定ファイルの修正 MyScriptのみだと意図した認識がされない ・日本語や漢字の認識が困難 ・誤認識を補正するための 色々な設定ファイルを  COMPASS社内で準備 ・認識結果に調整を加えたい場合は設定を変更 8

Slide 9

Slide 9 text

ユニットテストの実装 ・誤答の問題が正しく誤答になるか? 9 ・正答の問題が正しく正答になるか? ・アプリはFlutter for Webで実装 ・flutter_testを使ったユニットテストを実施

Slide 10

Slide 10 text

このように品質改善しました 10 リリース直後から、 明らかな正答率の改善!

Slide 11

Slide 11 text

まとめ 文字認識の精度向上のためのユニットテストの取り組み ・今後はさらなるテスト観点、テストデータの充実を図っていく ・「生徒のよりよい学習体験」に妥協せずに取り組んでいきたい 未踏のQA手法の開拓 ・「文字認識」以外にも、「AIによる問題出題ロジック」など一般的な  プロダクトでは触れることが難しい機能の品質保証が求められる ・ダイナミックに成長するQubena(キュビナ)の品質を支えるため、既存の  QAの枠組みに囚われない活動をチームで継続していきたい 11