Upgrade to Pro — share decks privately, control downloads, hide ads and more …

項目応答理論を用いた
演習問題出題システム

 項目応答理論を用いた
演習問題出題システム

大学の研究で「項目応答理論を用いた
演習問題出題システム」を作成しました。
その研究を行った背景やシステムを実際に利用ったデータやアンケートから調査を行った結果をまとめたスライドです。

Makoto Ikami

June 17, 2023
Tweet

More Decks by Makoto Ikami

Other Decks in Technology

Transcript

  1. 項目応答理論を用いた
    演習問題出題システム

    View full-size slide

  2. 背景
    • 近年学校教育におけるスマートフォンやタブレット端
    末上でのデジタル教材の利用が増加
    • アメリカでは州単位で導入が検討されており、2016年4月
    時点で約80%の学校がデジタル教科書を使用している[1]
    • 日本の文部科学省の有識者会議
    • 2020年度から「デジタル教科書」を全国の小中高校で使え
    るようにするとの中間報告をまとめた[2]
    1
    [1]
    [2]
    Digital Content Goes to School: Trends in K-12 Classroom E-Learning.
    http://www.ascd.org/ASCD/pdf/siteASCD/misc/DigitalContentTrendsReport.pdf.より参照
    文部科学省.http://www.mext.go.jp/a_menu/other/1411332.htm.より参照

    View full-size slide

  3. 背景
    • 日本でも学生・生徒が授業をタブレット端末で受ける
    時代が来るのもそう遠くない
    • 授業の全てを完全にデジタル化
    Web上で演習問題の出題および
    評価システムの開発
    2

    View full-size slide

  4. Web上での演習出題システム
    • メリット
    • 学生は適切な難易度の演習問題を受けることができる
    • 教師は多数の作業から解放
    • 演習問題の作成
    • 解答用紙にマークをつけて採点
    3

    View full-size slide

  5. 目的
    • 自動生成された演習問題の出題および受験者の
    能力推定を行う教育システムの開発
    • 先行研究で小野ら[3]が演習問題の出題および受験
    者の能力推定を行う教育システムの実装および実験
    • 大学理工系学部:微分方程式
    Webアプリとしての実装および実験
    4
    小野,小中. 電気学会論文誌C2018年138巻5号,pp.627-634
    [3]

    View full-size slide

  6. 目次
    1. 項目応答理論での能力推定
    2. Webアプリでの実装
    3. 試用実験
    5

    View full-size slide

  7. 目次
    1. 項目応答理論での能力推定
    2. Webアプリでの実装
    3. 試用実験
    6

    View full-size slide

  8. 項目応答理論での能力推定
    • 学生に適切な難易度の問題を受けられるシステムを
    実現するために項目応答理論を用いる
    • テスト理論の1つ
    • 学生の能力と問題の難易度を推定
    7

    View full-size slide

  9. ロジスティックモデル
    • 受験者の能力と問題の項目特性からその問題に対する正
    答確率を求めるモデル
    • 3パラメータロジスティックモデル(3PLM)
    8

    View full-size slide

  10. 逐次推定法
    • 正誤から能力推定値を更新する方法として逐次推
    定法を利用
    9
    問題 1 2 3 4
    1 0 1 0
    0 1 0.5 1.5
    問題数

    View full-size slide

  11. 目次
    1. 項目応答理論での能力推定
    2. Webアプリでの実装
    3. 試用実験
    10

    View full-size slide

  12. Webアプリでの実装
    • 自動生成した問題はパラメータや数式の記述などの組としてサ
    ーバーにデータベースとして蓄積
    • サーバーから受験者の能力に適切な難易度の問題を出題
    • 問題の正誤から受験者の能力を推定しデータベースに蓄積
    11

    View full-size slide

  13. Webアプリでの実装
    • 仕様
    • 2階微分方程式の計算問題で択一式
    • 利用者の能力に近い難易度の演習問題の出題
    • 折れ線グラフで自分の能力値を確認できる
    • 過去に解いた問題を確認できる
    13

    View full-size slide

  14. 出題形式
    斉次形 非斉次形
    • 2階微分方程式の計算問題で択一式
    14
    • 5問を1セット
    難易度:★☆☆☆☆

    View full-size slide

  15. 問題の種類
    15
    微分方程式
    斉次形
    非斉次形
    極が実数のみ
    極が複素数のみ
    右辺に多項式を含む
    右辺に指数関数を含む
    右辺に三角関数を含む

    View full-size slide

  16. 利用者の能力と問題の難易度
    16
    -2.0
    -0.4
    1.2
    3.05
    4
    6
    ★6
    ★5
    ★4
    ★3
    ★2
    ★1
    ★0
    項目難易度

    View full-size slide

  17. 利用者の能力と問題の難易度
    17
    斉次系で極が実数のみ
    (例)
    右辺が多項式を含む
    (例)
    -0.4
    1.2
    ★1
    ★2
    ★3
    ★3の問題×2, ★2の問題×3
    ★2の問題×5
    ★2の問題×4, ★1の問題×1
    ★2の問題×3, ★1の問題×2
    ★3の問題×1, ★2の問題×4
    ・・・
    右辺が指数を含む
    (例)
    ・・
    項目難易度
    能力値
    利用者の能力値0

    View full-size slide

  18. 出題の流れ
    18
    1.データベースから利用者の能力値を取得
    2.利用者の能力値から出題される問題を選定
    3.正誤結果から利用者の能力値が更新
    • 利用者の能力に近い難易度の演習問題の出題

    View full-size slide

  19. 目次
    1. 項目応答理論での能力推定
    2. Webアプリでの実装
    3. 試用実験
    19

    View full-size slide

  20. 試用実験
    • 名城大学情報工学科の「応用解析」受講者の78名
    • 実験目的や調査項目を説明した後実際にシステムを使用
    してもらいアンケート調査
    • 条件
    • 試用実験全体で60分間
    • 5問1セットを7分
    • 3セット以上
    20

    View full-size slide

  21. アンケート調査
    21
    70%
    • 質問1: 受講者の能力に応じて適切な難易度を出題するシステムを導入
    することにより受講者の能力は向上すると思いますか?
    • 質問2: 新しい演習問題を解答するにつれて自分の能力にあった難易
    度の問題が提示されたと思いますか?
    90%

    View full-size slide

  22. アンケート調査
    22
    0 2 4 6 8
    思う
    やや思う
    やや思わない
    思わない
    0.6
    難易度の変化量
    • 質問3: 新しい演習問題を解答するにつれて問題の難しさに変化を
    感じましたか?

    View full-size slide

  23. アンケート調査
    23
    難易度の変化
    少ない 多い
    感じた 6人(7.79%)
    54人(70.13%)
    感じない 6人(7.79%)
    11人(14.29%)
    • 質問3: 新しい演習問題を解答するにつれて問題の難しさに
    変化を感じましたか?
    78%の人が一致

    View full-size slide

  24. まとめ
    • 受験者の能力推定を伴う演習問題の自動出題シス
    テムをWebアプリとして実装および実験を行った
    • 多くの受講者は問題の難易度が調整されるシステムが受
    講者の能力向上に寄与しそうであると期待している
    • 今後の課題
    • 授業内1時間での制限がある状態で試用実験行ったため
    長期間での調査が必要である
    24

    View full-size slide