自己調整学習におけるメタ認知的 活動支援を目的とした LLMチューターシステムとの対話事例

Transcript

1. 自己調整学習におけるメタ認知的 活動支援を目的とした LLMチューターシステムとの対話事例 筑波技術大学 齋藤光貴，菊地浩平，渡辺知恵美
2. 注釈 実験結果セッションでは、発表原稿を参照しながら発表を行 います  発表番号：A12  参照箇所：4ページから7ページの対話事例 よろしければ、ご用意の上でお聞きくださると幸いです。
3. 研究の背景と目的
4. 自学習環境の課題 学習者一人で，適切な振り返りと調整を行うのは難しい とあるオンライン講座では 脱落率90%超もある．[1] 一人だけで 学習するの 難しい 適切な振り返りができず， より良い学習調整ができていない． 学習過程のモニタリング 自己調整学習のサイクル 目標設定・計画 [1] Bezerra, L.N., Silva, M.T.: A review of literature on the reasons that cause the high dropout rates in the moocs. Revista Espacios 38(05) (2017) 振り返り・学習調整 4
5. 先行研究[2] ダッシュボードによる支援では，学習調整を促しにくい 学習過程を可視化した学習分析ダッシュボードの効果を調べた． 結果： 学習の難易度によって，学習調整 を促しにくいことがある． 1. 難しすぎる場合： → 振り返る余裕がなくなる． 2. 簡単すぎる場合： → 振り返る意義を感じない． [2] Saitoh, K., Watanabe, C., & Kikuchi, K. (2025, December). Exploring the Efficacy of Learning Analytics Dashboards for Metacognitive Activity Support in Self-learning. In International Conference on Information Integration and Web Intelligence (pp. 334-350). Springer Nature Switzerland. 5
6. 本研究の目的 一人でも，学習調整できるように生成AIで支援する LLMチューターシステムと対話することで，学習者が学習過程を振り 返って次の学習方略を調整できるようにすることを目指す． ・・・ LLMチューターシステム ・・・ 学習者 なるほど！ 次は，こうすると うまくいくかも ※ LLM： 大規模言語モデル 6
7. 報告事項 LLMチューターと学習者はどのような対話を行ったか？ 結果は5点満点中4点でしたね． 間違えた1問はどういうところだった？ 動画の最初部分だったね．ログではスキッ プが多いってあるから，見逃したかも． LLMチューターシステムと学習者の対話から，どのような構造を作りあ げたか，どのような流れで行われたかを分析する 7
8. 学習分析ダッシュボードと LLMチューターシステム
9. 学習分析ダッシュボード（LAD） 学習過程(ログ)を可視化し，振り返りの材料を提供する 学習者の学習ログ データをインプット！ 自分の学習ログを 詳細に確認できる！ 9
10. LLMチューターシステム LADで認知した状況から，対話で学習調整の言語化を促す 結果は5点満点中4点でしたね． 間違えた1問はどういうところだった？ 動画の最初部分だったね．ログではスキッ プが多いってあるから，見逃したかも． 10
11. LLMチューターシステムの設計 理論に基づき，自己評価から計画までの4段階で設計した 1. 自己評価の足場がけ： 学習者が適切に自己評価し，間違えた問題を特定しやすくする． 2. 原因特定の支援： 間違えた原因を行動で改善できる要因に置き換えるよう促す． 3. 学習調整の言語化： 特定した原因から，自身に合った学習調整を考えさせる． 4. 目標と計画の設定： 言語化された学習調整から，学習目標と計画に言い直させる． 11
12. 実験
13. 実験要件 振り返りの意図を知るA1と知らないA2の二人で対話実験 「線形代数のベクトルと行列」を学習した後に，振り返りを行った． A1：発表者自身 A2：大学3年生 • 振り返りの意図と効果を 知っている • 振り返りの意図と効果を 知らない • A1の事例は，LLMチュー ターシステムの設計意図に 沿った対話である • A2の事例は，LLMチュー ターシステムの設計意図を共 有していない状況での対話 である 13
14. 分析観点 問題特定・ 原因の言語化 ・ 次の学習調整の言語化 を評価 1. 問題特定 学習者がLADに示された動画視聴ログや小テスト結果をもとに， 対話から考えるべき問題を特定できていたかを分析する． 2. 原因の言語化 学習者が「何故間違えたのか」について，原因の特定ができていた かを分析する． 3. 次の学習調整の言語化 学習者が問題特定や原因の言語化から，次の学習調整について言 語化できていたかを分析する． 14
15. 実験結果（対話事例と比較）
16. 事例1：A1の問題特定 質問と回答を積み上げて，自身のつまずきを特定した LADで示されたログの特徴を提示し，気に なった部分との関連を説明するよう促す[03] 巻き戻し操作が多かった部分を 小テスト結果と結びつける[04] 間違えた問題は何かを説明するよう促す[05] 間違えた問題について説明する[06] 16
17. 事例3：A1の原因の言語化 問題の原因を「用語・定義の混同」と特定できた 問題と視聴箇所を結び原因を問う[１0] 複数定義による混乱を言語化する[11] 原因は何かを深掘りしながら問う[１２] 用語・定義の混同として，説明する[13] 選択肢の混同箇所を具体的に問う[１４] 用語間の混同箇所を具体的に示す[1５] 17
18. 事例5：A1の次の学習調整の言語化 「注意して見る・聞く」と，改善の方向性を言語化した 再び同じ原因を起こさないように，次の学習をどう するかを問う[21] 注意して見る・聞くという方略を出す[22] 提案された方略を肯定しつつ，より具体的な方法も 合わせて提案して，対話を終了する[23] LLMチューターシステムが，設計通りの質問を段階的にできている。 A1は，質問に対して段階的に過不足なく回答できている。 18
19. A2とLLMチューターの対話 結果： 振り返りの対話を行うことなく、対話が終わった A1：発表者自身 A2：大学3年生 • 振り返りの意図と効果を 知っている • 振り返りの意図と効果を 知らない • A1の事例は，LLMチュー ターシステムの設計意図に 沿った対話である • A2の事例は，LLMチュー ターシステムの設計意図を共 有していない状況での対話 である 19
20. 事例2：A2の問題特定 何が分からないかは明確にできている(LADなしで) 小テストの5問目が間違っていたと報告する[07] ※ この時点で，何を間違えたかを特定できている その問題で間違った答えを選んだ理由を問う[08] 選択理由ではなく，間違った答えと正解で 用語がどのように違うかを問い返している[09] 20
21. 事例4：A2の原因の言語化 内容理解に終始し，なぜ間違えたかは対話しなかった 用語がどう違うかを聞かれたため，「方向」について どういう意味を持つかを考えようと提案する[16] 提案を受け入れずに，求める答えの箇所を問う[17] 箇所を教えつつ，より深く考えようと促す[18] A2の回答を受け止め，さらに具体的に 考えてみようと提案する[19] 自身で答えを考えて 合っているかを確認している[20] 21
22. 事例6：A2の次の学習調整の言語化 ここでも，対話は学習内容の確認の繰り返しに終始した A２の説明・理解を肯定し，3つの異なる視点の利点 について説明をするよう促す[24] 動画で説明された利点を回答する[25] その応用例を肯定し，今後の線形代数学習における 活用場面を問う[26] ここで，A2は一方的に対話を打ち切った 22
23. 考察
24. A2とLLMチューターシステムの対話構造 質問-回答ループはあるが，回答へのフィードバックが不足 〇〇について，どのように理解した？（質問） このように理解しました（回答） そのように理解したんですね（受け止め） これを踏まえると，◻◻はどう考えられる？（質問） 学習者の回答を受け止めているが，正誤をフィードバックしてない 学習者にとっては，「十分な回答でない」と否定的に捉えやすい構造 24
25. フィードバックがない対話で起きること 学習者は，対話のゴールが見えない状況に陥る 〇〇については，どう考えられる？（n回目の質問） さっきから質問ばかり， 何を求めているんだ・・・？ 学習者は，LLMチューターシステムからの質問の意図を掴めない 対話のゴールが見えず、振り返りと学習調整の対話に至らなかった 25
26. LLMチューターシステムの弱点その1 学習者の回答の裏にあるコンテキストを汲み取れない 間違えた理由について、質問する （2つの言葉は同じ意味と思ったんだけど，違うんだ） その2つの言葉って、どう違うの？ ※ 学習者は、同じ意味だと思ったから間違えたという 含意で回答している （言葉の違いを聞いてきた、理解の支援が必要だ） この2つの言葉の違いは△△という点です ※ 同じ意味だと思っていたという含意を汲み取れていない 26
27. LLMチューターシステムの弱点その2 意図が分かりづらい提案・催促をする 深く考えてみるといいですね （深く考えてみるってなんだ・・・？ とりあえず説明すればいいのか？） ※ 学習者に何を答えてほしいのかを伝えられていない 27
28. 結論・今後の課題
29. まとめ お互いの意図が掴めないと，設計した対話が維持されない • 自学習環境における振り返りを支援するLLMチューターシス テムを開発した • そのLLMチューターシステムを用いた学習で行われた対話を 2事例について，分析した． • その結果，お互いの意図が掴めないと、フィードバックが不足 したりゴールが見えない対話になることが観察された • 以上により，設計通りの対話を維持されにくいという課題が明 らかになった． 29
30. 今後の課題 お互いの意図を把握した上での、学習振り返り設計が必要 • 学習者の回答のコンテキストを汲み取った上で、フィードバックでき るようにする 教室での生徒と教員の会話の中では、教員の工夫によって学習者の 回答のコンテキストを汲み取ってフィードバックを行っているはず それぞれの工夫や知見を、設計に反映したい → ご教示いただけると幸いです 30