AI型教材Qubena(キュビナ)の手書き文字認識のユニットテストについて

単体テストはエンジニアを救うLT大会 登壇資料
https://shiftevolve.connpass.com/event/241524/

AI型教材「Qubena(キュビナ)」の手書き文字認識のユニットテストについて

Transcript

1. AI型教材「Qubena(キュビナ)」の 手書き文字認識のユニットテストについて 2022.04.27　株式会社COMPASS　入間川 愛 1
2. 自己紹介 入間川 愛(いりまがわ あい)／ @regina_t_rex 株式会社COMPASS QAチームリーダー 証券会社やIoTプラットフォームサービスのシステム開発、農業 ITの製品企画を経て、第三者検証会社でQAのキャリアを開始。 2021年4月よりCOMPASSに一人目QAとして参画。 Qubena(キュビナ)のサービス品質向上、開発現場のQA技術向 上・プロセス改善をリードし、よりよいサービスを学校現場へ 届けるために奮闘中。 2
5. MyScript(マイスクリプト)とは ・フランスの企業が提供する、 　手書き文字を認識するAI認識エンジン　認識率約97％！ ・Qubena(キュビナ)の手書き文字認識で利用 　→　しかし、文字認識不具合の問い合わせが頻発。。 5 精度の高い認識エンジンなのに どうして。。
6. こんな不具合がでます 例）「ー(マイナス)極」を答えさせる問題で「-(ハイフン)極」と認識 6
7. 不具合報告後の対応フロー 7 ①コンテンツチーム 　・対応方針決定 ②データ分析基盤チーム 　・誤答のテストデータ抽出 ③アプリ開発／QAチーム 　・設定ファイル更新／ユニットテスト ④QAチーム 　・実機テスト
8. 設定ファイルの修正 MyScriptのみだと意図した認識がされない ・日本語や漢字の認識が困難 ・誤認識を補正するための 色々な設定ファイルを 　COMPASS社内で準備 ・認識結果に調整を加えたい場合は設定を変更 8
9. ユニットテストの実装 ・誤答の問題が正しく誤答になるか？ 9 ・正答の問題が正しく正答になるか？ ・アプリはFlutter for Webで実装 ・flutter_testを使ったユニットテストを実施
10. このように品質改善しました 10 リリース直後から、 明らかな正答率の改善！
11. まとめ 文字認識の精度向上のためのユニットテストの取り組み ・今後はさらなるテスト観点、テストデータの充実を図っていく ・「生徒のよりよい学習体験」に妥協せずに取り組んでいきたい 未踏のQA手法の開拓 ・「文字認識」以外にも、「AIによる問題出題ロジック」など一般的な 　プロダクトでは触れることが難しい機能の品質保証が求められる ・ダイナミックに成長するQubena(キュビナ)の品質を支えるため、既存の 　QAの枠組みに囚われない活動をチームで継続していきたい 11