書画カメラを⽤いた 珠算⾏動センシング 奈良先端科学技術⼤学院⼤学 ユビキタスコンピューティングシステム研究室 松⽥ 裕貴 DPS/MBL/ITS/SeMI 合同研究会 in OIST

研究背景と研究⽬的 松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 1 Introduction

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 2 研究背景（1/2）： 算盤とは？ 算盤： 串で刺した珠を移動させ、その位置で数を表現し、計算の助けとする 伝統的な計算補助⽤具の⼀種（アバカス, Abacus） ü 利点 ü 脳内計算能⼒（暗算能⼒）を習得することができる ü 短期記憶機能を向上させることができる ✘ ⽋点 ✘ 計算⽅法が煩雑であり初⼼者にとっては理解が難しい ✘ 能⼒習得（珠操作⽅法の学習）には時間を要する * https://enthu.com/blog/abacus/abacus-pros-and-cons/ 画像出典： The Japan Society: https://www.japansociety.org.uk/resource?resource=50 2023年5⽉19⽇

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 3 研究背景（2/2）： 珠算学習における課題 ・ 本研究の⽬的 従来の「珠算学習」の課題 • 算盤を教える⽅法は、⼈⼿に頼る⽅法が中⼼ • 計算結果を⾒て、原因を探る（同じ間違いを繰り返す状態に陥りやすい） ※間違いを複数回重ねることで、結果として正解になる場合もある • 正確性に加えて、計算速度も重要（余分な操作は少ないほうが良い） ⇒ ⻑期に渡る繰り返し学習を要する ͭ·͖ͣ ঢ়ଶ ࠀ෰ ͭ·ͣ͘ ֶशͷ αΠΫϧ Ͳ͏΍ͬͯ ࠀ෰ʁ ͍ͭʁ ͲͷΑ͏ʹʁ चࢉߦಈηϯγϯά ɾ ೝࣝ ৘ใఏࣔ ɾ ࢦಋ 研究⽬的 ICTによる学習⽀援により 能⼒習得を効率化する 2023年5⽉19⽇ 今回の話題はココ

関連研究・サービス 松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 4 Related work

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 5 関連研究・サービス（1/3） 珠の位置認識と操作⼿順の重畳表⽰を⽤いたそろばん学習⽀援システム （北川ら, インタラクション2022 [1] ） [1] 北川珠莉, 鈴⽊優: “珠の位置認識と操作⼿順の重畳表⽰を⽤いたそろばん学 習⽀援システム” 情報処理学会インタラクション2022, pp.759‒762, 2022. http://www.interaction-ipsj.org/proceedings/2022/data/pdf/6D04.pdf • ⾯が透明なテーブルの裏側に、カメラと照明環境（LEDライト） を設置し背⾯の算盤の状態を撮影し、⼊⼒状態を推定 • 推定された位置に合わせてプロジェクションマッピングにより、 問題や指導内容を机上・算盤上に表⽰ ü ⾯が透明なテーブルが必要 ü 特別な照明環境が必須 2023年5⽉19⽇

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 6 関連研究・サービス（2/3） そろばん教育のWeb学習⽀援システム （新川ら, 成蹊⼤学理⼯学研究報告 [2] ） [3] 新川晃司 他: “そろばん教育におけるWeb学習⽀援システムの開発” 成蹊⼤学理⼯学研究報告, 第48巻, pp.75‒79, 2011. [4] 齋藤謙太 他: “携帯電話を利⽤した学習⽀援ツールの開発” 情報科学技術フォーラム講演論⽂集, 第8巻, pp.653‒654, 2009. 携帯電話を利⽤した学習⽀援ツール （齋藤ら, FIT2009 [3] ） 2023年5⽉19⽇ Webを⽤いた学習管理システム • 問題の提⽰や成績管理が可能 • 検定機能により能⼒測定 • 携帯電話の画⾯上に算盤を再現 • 計算過程の記録・表⽰機能 • 計算⼿順の教⽰機能 ü 採点にはWeb上への回答の⼊⼒が必要 ü 電⼦的に算盤を再現しているため、 算盤の操作感を体得することが難しい 暗算能⼒の習得には 算盤操作時の⼿の動きを 体で覚える必要がある

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 7 関連研究・サービス（3/3） 珠算式暗算習得⽀援アプリ タブレットなどの画⾯に仮想的な算盤を表⽰し、 珠部分に両⼿で触れることで⼊⼒可能な学習アプリ ⼊⼒した珠の可視性を変更できることが特徴 ü 電⼦的に算盤を再現しているものの、 算盤そのものの操作を学ぶためのツールではない [4] 株式会社 Digika: “そろタッチ” https://www.sorotouch.jp/ 2023年5⽉19⽇

提案⼿法 松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 8 Method

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 9 提案⼿法： 書画カメラを⽤いた算盤の⼊⼒値推定 1. 市販の算盤を使った 2. ⼀般的な珠算学習の環境で 3. 単純・安価なデバイスを⽤いて 4. リアルタイム・⾼精度に 算盤上の⼊⼒値を推定すること ⽬的 提案 書画カメラを⽤いた 算盤の⼊⼒値推定システム AbaCaaS Abacus Operation Sensing Using Camera as a Sensor 2023年5⽉19⽇ 珠算学習⽀援を提供するためには、 算盤を⽤いた計算過程（=算盤の⼊⼒値）の把握が肝要

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 10 提案⼿法： システム構成 安価なPCでOK Intel Core-i5 CPU （GPUなし）を使⽤ 机に置くだけでOK “市販” の算盤でOK （ARマーカを貼るだけ） 2023年5⽉19⽇

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 11 算盤の⼊⼒値認識⼿法（1/4） ARマーカを検出 1. 書画カメラとARマーカを⽤いた算盤位置同定 算盤に貼付したARマーカを書画カメラで得られる映像から検出し、算盤領域を同定 2023年5⽉19⽇

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 12 算盤の⼊⼒値認識⼿法（2/4） ARマーカを検出 射影変換・画像クロップ 2. 射影変換と画像クロップによる桁画像の取得 射影変換により⾓度・歪みを補正、画像クロップにより「⼀桁ごとの画像」を取得 2023年5⽉19⽇

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 13 算盤の⼊⼒値認識⼿法（3/4） 3. 珠画像の認識とテンプレートマッチングによる盤⾯状況の推定 算盤の各列の画像から、7つの「珠画像」を抽出する 1桁の画像を 7つの珠画像 に分割 珠を動かす隙間 珠の半分の⾼さ ※ 広く流通している算盤の特徴 ほぼ同じ 2023年5⽉19⽇

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 14 算盤の⼊⼒値認識⼿法（4/4） 3. 珠画像の認識とテンプレートマッチングによる盤⾯状況の推定 下段 上段 1桁の画像を 7つの珠画像に分割 3 珠画像認識モデル (CNN model, TensorFlow Lite 形式) or or ? 珠画像 上 下 軸 上 上 上 軸 下 認識結果のシーケンス 上 軸 ⼊⼒値の推定結果＝ テンプレート マッチング ⼊⼒値の辞書 全ての｢桁｣について繰り返し 盤⾯全体の⼊⼒値を推定 算盤の各列の画像から、7つの「珠画像」を抽出する ⇒ 珠画像認識の結果からテンプレートマッチングで⼊⼒値を推定 2023年5⽉19⽇

評価実験 松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 15 Evaluation

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 16 評価実験の概要 提案⼿法が実際の利⽤シーンでどの程度の性能を⽰すかを評価する ⽬的 独⽴した「2つのデータセット」を構築し、性能評価 • 学習⽤データセット： 4,845サンプル … 3種類の珠画像（上・下・軸）⇒ 珠画像認識モデルを学習 • 評価⽤データセット： 300サンプル … システムからランダムに指⽰された数字を⼊⼒した際のカメラ画像 ※数値の範囲は 「7桁」 （0000000〜9999999） ⽅法 考察の項⽬ • 部屋の照明や⼿などの影による影響は？ • 画像内の算盤の位置・⾓度の影響は？ • 誤認識する条件・パターンは？ 2023年5⽉19⽇

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 17 データセットの画像例 学習⽤データセット： 4,845サンプル 評価⽤データセット： 300サンプル 2023年5⽉19⽇

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 18 評価結果： 概要 評価⽤データセット（300サンプル） 正解したサンプル 285 サンプル 誤認識したサンプル 15 サンプル 射影変換の失敗 11 サンプル ⼩画像の誤認識 4 サンプル 正解率（Accuracy） 95.0% ARマーカ検出のライブラリ （ArUco）の問題 ⇒ 前処理の改善で除外可能 なぜ？ 2023年5⽉19⽇

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 19 評価結果： ⼩画像の誤認識に関する考察 正解データ（実際に⼊⼒した値） 推定結果（システムの出⼒） 誤認識の原因は？ 実際の⼊⼒画像を確認したが、 特定の誤認識条件やパターンは確認できなかった 2023年5⽉19⽇ 全サンプルについて パターンマッチング時に 例外判定

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 20 2023年5⽉19⽇ 評価結果： 画像内位置の影響に関する考察 右側のエリアにおいて 誤認識しやすい？ 算盤の中⼼

まとめと展望 松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 21 Conclusion

松⽥裕貴： 書画カメラを⽤いた珠算⾏動センシング DPS/MBL/ITS/SeMI 合同研究会 in OIST 22 2023年5⽉19⽇ まとめ 書画カメラを⽤いた画像認識により 1. 市販の算盤を使った 2. ⼀般的な珠算学習の環境で 3. 単純・安価なデバイスを⽤いて 4. リアルタイム・⾼精度に 算盤上の⼊⼒値を推定する⼿法 提案 評価 実際の計算シーンを再現した 評価⽤データセット（300サンプル）を ⽤いて性能評価 Accuracy 95.0% での推定が可能