項目応答理論を用いた 演習問題出題システム

大学の研究で「項目応答理論を用いた
演習問題出題システム」を作成しました。
その研究を行った背景やシステムを実際に利用ったデータやアンケートから調査を行った結果をまとめたスライドです。

Transcript

1. 項目応答理論を用いた 演習問題出題システム
2. 背景 • 近年学校教育におけるスマートフォンやタブレット端 末上でのデジタル教材の利用が増加 • アメリカでは州単位で導入が検討されており、2016年４月 時点で約80％の学校がデジタル教科書を使用している[1] • 日本の文部科学省の有識者会議 • 2020年度から「デジタル教科書」を全国の小中高校で使え るようにするとの中間報告をまとめた[2] 1 [1] [2] Digital Content Goes to School: Trends in K-12 Classroom E-Learning． http://www.ascd.org/ASCD/pdf/siteASCD/misc/DigitalContentTrendsReport.pdf.より参照 文部科学省．http://www.mext.go.jp/a_menu/other/1411332.htm．より参照
3. 背景 • 日本でも学生・生徒が授業をタブレット端末で受ける 時代が来るのもそう遠くない • 授業の全てを完全にデジタル化 Web上で演習問題の出題および 評価システムの開発 2
4. Web上での演習出題システム • メリット • 学生は適切な難易度の演習問題を受けることができる • 教師は多数の作業から解放 • 演習問題の作成 • 解答用紙にマークをつけて採点 3
5. 目的 • 自動生成された演習問題の出題および受験者の 能力推定を行う教育システムの開発 • 先行研究で小野ら[3]が演習問題の出題および受験 者の能力推定を行う教育システムの実装および実験 • 大学理工系学部：微分方程式 Webアプリとしての実装および実験 4 小野，小中． 電気学会論文誌Ｃ2018年138巻5号，pp.627-634 [3]
6. 目次 1. 項目応答理論での能力推定 2. Webアプリでの実装 3. 試用実験 5
7. 目次 1. 項目応答理論での能力推定 2. Webアプリでの実装 3. 試用実験 6
8. 項目応答理論での能力推定 • 学生に適切な難易度の問題を受けられるシステムを 実現するために項目応答理論を用いる • テスト理論の1つ • 学生の能力と問題の難易度を推定 7
9. ロジスティックモデル • 受験者の能力と問題の項目特性からその問題に対する正 答確率を求めるモデル • 3パラメータロジスティックモデル(3PLM) 8
10. 逐次推定法 • 正誤から能力推定値を更新する方法として逐次推 定法を利用 9 問題 1 2 3 4 1 0 1 0 0 1 0.5 1.5 問題数
11. 目次 1. 項目応答理論での能力推定 2. Webアプリでの実装 3. 試用実験 10
12. Webアプリでの実装 • 自動生成した問題はパラメータや数式の記述などの組としてサ ーバーにデータベースとして蓄積 • サーバーから受験者の能力に適切な難易度の問題を出題 • 問題の正誤から受験者の能力を推定しデータベースに蓄積 11
14. Webアプリでの実装 • 仕様 • 2階微分方程式の計算問題で択一式 • 利用者の能力に近い難易度の演習問題の出題 • 折れ線グラフで自分の能力値を確認できる • 過去に解いた問題を確認できる 13
15. 出題形式 斉次形 非斉次形 • 2階微分方程式の計算問題で択一式 14 • 5問を1セット 難易度：★☆☆☆☆
16. 問題の種類 15 微分方程式 斉次形 非斉次形 極が実数のみ 極が複素数のみ 右辺に多項式を含む 右辺に指数関数を含む 右辺に三角関数を含む
17. 利用者の能力と問題の難易度 16 -2.0 -0.4 1.2 3.05 4 6 ★6 ★5 ★4 ★3 ★2 ★1 ★0 項目難易度
18. 利用者の能力と問題の難易度 17 斉次系で極が実数のみ (例) 右辺が多項式を含む (例) -0.4 1.2 ★1 ★2 ★3 ★3の問題×2, ★2の問題×3 ★2の問題×5 ★2の問題×4, ★1の問題×1 ★2の問題×3, ★1の問題×2 ★3の問題×1, ★2の問題×4 ・・・ 右辺が指数を含む (例) ・・ 項目難易度 能力値 利用者の能力値0
19. 出題の流れ 18 １．データベースから利用者の能力値を取得 2．利用者の能力値から出題される問題を選定 ３．正誤結果から利用者の能力値が更新 • 利用者の能力に近い難易度の演習問題の出題
20. 目次 1. 項目応答理論での能力推定 2. Webアプリでの実装 3. 試用実験 19
21. 試用実験 • 名城大学情報工学科の「応用解析」受講者の78名 • 実験目的や調査項目を説明した後実際にシステムを使用 してもらいアンケート調査 • 条件 • 試用実験全体で60分間 • 5問1セットを7分 • 3セット以上 20
22. アンケート調査 21 70% • 質問1： 受講者の能力に応じて適切な難易度を出題するシステムを導入 することにより受講者の能力は向上すると思いますか? • 質問2： 新しい演習問題を解答するにつれて自分の能力にあった難易 度の問題が提示されたと思いますか? 90%
23. アンケート調査 22 0 2 4 6 8 思う やや思う やや思わない 思わない 0.6 難易度の変化量 • 質問3： 新しい演習問題を解答するにつれて問題の難しさに変化を 感じましたか?
24. アンケート調査 23 難易度の変化 少ない 多い 感じた 6人(7.79%) 54人(70.13%) 感じない 6人(7.79%) 11人(14.29%) • 質問3： 新しい演習問題を解答するにつれて問題の難しさに 変化を感じましたか? 78％の人が一致
25. まとめ • 受験者の能力推定を伴う演習問題の自動出題シス テムをWebアプリとして実装および実験を行った • 多くの受講者は問題の難易度が調整されるシステムが受 講者の能力向上に寄与しそうであると期待している • 今後の課題 • 授業内1時間での制限がある状態で試用実験行ったため 長期間での調査が必要である 24