Knowledge Tracing

Sapporo.R 2025.2.16

Transcript

1. © Takehiko Yasukawa All rights reserved. 1 RによるKnowledge Tracing 2 02 5年2月1 6日 安川武彦 株式会社JDSC Sapporo.R 2025.2.16 田嶋廉 東京大学大学院工学系研究科
2. © Takehiko Yasukawa All rights reserved. 2 本日の内容 • Knowledge Tracingとは • Rでやってみた（Deep系以外） • まとめ
3. © Takehiko Yasukawa All rights reserved. 3 1.Dai, M., Hung, J., Du, X., Tang H. & Li, H. 2021. Knowledge tracing: A review of available techniques. Journal of Educational Technology Development and Exchange, 14(2), 1-20. 2.Ghodai Abdelrahman, Qing Wang, and Bernardo Nunes. 2023. Knowledge Tracing: A Survey. ACM Comput. Surv. 55, 11, Article 224 (November 2023). 3.Xiong, Z., Li, H., Liu, Z. et al. 2024. A Review of Data Mining in Personalized Education: Current Trends and Future Prospects. Front. Digit. Educ. 1, 26–50. Knowledge Tracingとは • Knowledge Tracing（知識追跡）は、学習者の知識状態をモデル化し、学習過程におけ る知識の変化を追跡するための技術 – 学習者が特定のスキルを習得したかどうか – 次の問題で正解する確率 • 技術的には深層学習領域で研究が進展している（サーベイ論文参照） • IRTとは違うもの Knowledge Tracingの例 (Xiong et al., 2024)
4. © Takehiko Yasukawa All rights reserved. 4 問題設定 利用するデータの基本構造例 • 学習者ID、項目ID、スキルID、試行No、反応時間、累積の正解、累積の試行回数など 基本的な定式化 Bayesian Models Logistic Models Deep Learning Models
5. © Takehiko Yasukawa All rights reserved. 5 1.S. Shen et al., "A Survey of Knowledge Tracing: Models, Variants, and Applications," in IEEE Transactions on Learning Technologies, vol. 17, pp. 1858-1879, 2024. Knowledge Tracingのモデル Shen et al.(2024)では以下の３つに分類、さらに様々なバリエーションが提案されている Bayesian Models Logistic Models Deep Learning Models modeling individualization before learning incorporating engagement during learning considering forgetting after learning utilizing side information across learning Models Variants ×
6. © Takehiko Yasukawa All rights reserved. 6 Rでどうやる？（Deep系以外） BKT: Bayesian Knowledge Tracing Model https://cran.r-project.org/web/packages/BKT/ LKT: Logistic Knowledge Tracing https://cran.r-project.org/web/packages/LKT/index.html Bulut, O.; Shin, J.; Yildirim-Erbasli, S.N.; Gorgun, G.; Pardos, Z.A. An Introduction to Bayesian Knowledge Tracing with pyBKT. Psych 2023, 5, 770-786. https://doi.org/10.3390/psych5030050 • 上記、PythonのpyBKTを移植したもの。同様の機能を実装 • Forget：忘却モデル • Multiple Prior：複数の生徒に複数事前モデルを学習させる • Multiple Guess：複数のスキルに対応し、項目難易度効果を反映 • Multiple Learn：複数のスキルに複数の学習済みモデルを学習 • Multiple Pair：複数のスキルにたいして、項目順序効果を反映 • カスタムでデータを作るときは、モデルが想定する列名とデータセット内の列名を対応づけが必要 P. I. Pavlik, L. G. Eglington and L. M. Harrell-Williams, "Logistic Knowledge Tracing: A Constrained Framework for Learner Modeling," in IEEE Transactions on Learning Technologies, vol. 14, no. 5, pp. 624-639, 1 Oct. 2021, doi: 10.1109/TLT.2021.3128569 • データセットの列名は固定 • Anon.Student.Id：user id • Outcome：“CORRECT” and “INCORRECT
7. © Takehiko Yasukawa All rights reserved. 7 1.Bulut, O., Shin, J., Yildirim-Erbasli, S. N., Gorgun, G., & Pardos, Z. A. (2023). An introduction to Bayesian knowledge tracing with pyBKT. Psych, 5(3), 770-786. BKTの実行例 PythonのpyBKTを移植したもの、以下で推論を実行 1. データのパス指定 2. モデルの初期化 – 必要に応じて変数名の対応付けをする 3. パラメータの推定 パラメータ 記号 説明 Answer Q 活動中に学習者が行う応答(0 or 1) Prior P(L0) 学習者が最初に既知の状態にある確率 Learn P(T) 学習を通じて学習者が既知の状態へ移行 する確率 Slip P(S) 既知の状態にある学習者が誤答する確率 Guess P(G) 未知の状態にある学習者が正解する確率 知識の状態 観測された状態 データセット
8. © Takehiko Yasukawa All rights reserved. 8 BKTはシンプルで解釈しやすい反面、シンプルすぎる故の限 界があり様々なアプローチが提案されている 項目 強み 弱み 学習者の知識推定 学習者の知識状態を確率的・動的に推定 知識状態は、知っているか知っていないかの 2状態のみ モデルの解釈性 隠れマルコフモデルにより４つのパラメータ でモデル化 問題の難易度や学習者の特性によりslipや guessが変わる点を考慮できない 適応学習 ITSで活用されている 学習者の個人差を反映しにくい（拡張が必 要） データ要件 小規模なデータで推定が可能 パラメータが固定的で長期間のデータには適 用しにくい スキルの相互作用 スキルごとに独立して評価 スキル間の関係を考慮できない 拡張モデル 概要 Individualized BKT 学習者ごとに異なるパラメータを適用する拡張して、BKTの個人適応性の欠如を補う (BKT packageで一部実装済) Performance Factor Analysis 知識状態を連続値として扱い、過去の履歴や問題ごとの難易度も考慮することで、より 細かいスキル評価をおこなう（LKT package） Knowledge Tracing Machines スキルの相互作用を考慮し、多様な特徴をモデルに統合することで、学習者の特性やス キル間の関連性を反映させる Deep Knowledge Tracing 深層学習のアプローチで、時系列データとして学習履歴を扱い、非線形で複雑な学習 パターンを捉える
9. © Takehiko Yasukawa All rights reserved. 9 1. Pavlik, P. I., Eglington, L. G., & Harrell-Williams, L. M. 2021. Logistic knowledge tracing: A constrained framework for learner modeling. IEEE Transactions on Learning Technologies, 14(5), 624-639. LKTの実行例 • 基本はロジスティック回帰で特徴量をいろいろ工夫 • 中身をみると、glmとglmer Pavlik et al., 2009 モデルの要素（変数） 変数の変換ロジック 生徒ID 回答フラグ 知識要素カテゴリー 知識要素分類 正解 変数の変換ロジック（抜粋）
10. © Takehiko Yasukawa All rights reserved. 10 まとめ Knowledge Tracing • スパースなデータを扱う教師付き学習のタスク • （ reticulateなしで）Rでもできるものもある • Rでしかできない…ではない
11. © Takehiko Yasukawa All rights reserved. 11 参考文献 • Dai, M., Hung, J., Du, X., Tang H. & Li, H. 2021. Knowledge tracing: A review of available techniques. Journal of Educational Technology Development and Exchange, 14(2), 1-20. • Ghodai Abdelrahman, Qing Wang, and Bernardo Nunes. 2023. Knowledge Tracing: A Survey. ACM Comput. Surv. 55, 11, Article 224 (November 2023), 37 pages. • Xiong, Z., Li, H., Liu, Z. et al. 2024. A Review of Data Mining in Personalized Education: Current Trends and Future Prospects. Front. Digit. Educ. 1, 26–50. • Corbett, A.T., Anderson, J.R.: Knowledge tracing: modeling the acquisition of procedural knowledge. User Model. User Adapt. Interact. 4(4), 253–278 (1994) • Pelánek, R. Bayesian knowledge tracing, logistic models, and beyond: an overview of learner modeling techniques. User Model User-Adap Inter 27, 313–350 (2017). • Bulut, O.; Shin, J.; Yildirim-Erbasli, S.N.; Gorgun, G.; Pardos, Z.A. An Introduction to Bayesian Knowledge Tracing with pyBKT. Psych 2023, 5, 770-786. • Šarić-Grgić, I., Grubišić, A. & Gašpar, A. Twenty-five years of Bayesian knowledge tracing: a systematic review. User Model User-Adap Inter 34, 1127–1173 (2024). • P. I. Pavlik, L. G. Eglington and L. M. Harrell-Williams, "Logistic Knowledge Tracing: A Constrained Framework for Learner Modeling," in IEEE Transactions on Learning Technologies, vol. 14, no. 5, pp. 624- 639, 1 Oct. 2021 • Jill-Jênn Vie and Hisashi Kashima. 2019. Knowledge tracing machines: factorization machines for knowledge tracing. In Proceedings of the Thirty-Third AAAI Conference on Artificial Intelligence and Thirty- First Innovative Applications of Artificial Intelligence Conference and Ninth AAAI Symposium on Educational Advances in Artificial Intelligence (AAAI'19/IAAI'19/EAAI'19), Vol. 33. AAAI Press, Article 93, 750–757.