Upgrade to Pro — share decks privately, control downloads, hide ads and more …

20200219 心理・教育測定研究会 発表資料 /20200219_terao_presentation

20200219 心理・教育測定研究会 発表資料 /20200219_terao_presentation

Takahiro Terao

February 19, 2020
Tweet

Other Decks in Research

Transcript

  1. 博論以降の研究のイメージ 2013~2018 (名大在学時) 2019 2020~ distractors in multiple-choice items cognitive

    psychology principle automatic item generation (AIG) the degree of realization in my research item difficulty modeling (IDM) (with strong theory)
  2. • 文章要約モデル (Kintsch & van Dijk, 1978) に沿って洗い出した 日本人大学生の英語文章要約パターン (寺尾・石井,2019)

    • 誤答パターンを反映させた錯乱枝を作成し,その選択率の能力群 間差を条件付き局所オッズ比で検討 • 大学生414名(男性68名,女性346名)に対して,3種類の英語文章要約問 題 (削除問題,一般化問題,統合問題) への解答を求めた • それぞれの認知過程と密接に関連する誤答の特徴2種類を含む錯乱枝を 作成し,正答枝もあわせて3枝選択問題として提示 英語文章要約問題の錯乱枝 研究1 Terao, T., & Ishii, H. (2020). A comparison of distractor selection among proficiency levels in reading tests: A focus on summarization processes in Japanese EFL learners. SAGE Open, 10, 1-14. doi: 10.1177/2158244020902087 (博論・研究7)
  3. 英語文章要約問題の錯乱枝 研究1 Terao, T., & Ishii, H. (2020). A comparison

    of distractor selection among proficiency levels in reading tests: A focus on summarization processes in Japanese EFL learners. SAGE Open, 10, 1-14. doi: 10.1177/2158244020902087 削除問題 • 必要な情報の不足 低ー中: Cond.LOR = 4.709, 95%CI = [2.396, 9.255] 中ー高: Cond.LOR = 4.318, 95%CI = [2.241, 8.321] • 不必要な情報の混入 低ー中: Cond.LOR = 3.526, 95%CI = [1.750, 7.104] 中ー高: Cond.LOR = 2.707, 95%CI = [1.493, 4.908] 一般化問題 • 具体的な事例の抜き書き 低ー中: Cond.LOR = 1.910, 95%CI = [1.102, 3.608] 中ー高: Cond.LOR = 6.077, 95%CI = [3.223, 11.458] • 不必要な情報の混入 低ー中: Cond.LOR = 2.149, 95%CI = [1.125, 4.107] 中ー高: Cond.LOR = 5.755, 95%CI = [2.958, 11.195] 統合問題 • 部分的な記述 低ー中: Cond.LOR = 3.433, 95%CI = [1.783, 6.610] 中ー高: Cond.LOR = 1.990, 95%CI = [1.135, 3.488] • 筆者の主張との相違 低ー中: Cond.LOR = 4.038, 95%CI = [2.067, 7.892] 中ー高: Cond.LOR = 2.346, 95%CI = [1.251, 4.398] (博論・研究7)
  4. • 研究1の英語文章要約問題を一部改変し,文章の違い・解答形式 の違い・錯乱枝の種類の違いが項目困難度に及ぼす影響を検討 • これらの要因をデザイン行列としてコーディングし,線形ロジス ティックテストモデル (LLTM) を適用して困難度への説明力を検討 • DNCモニター調査に参加した大学生150名(男性122名,女性28名)に

    英語文章要約問題 (削除問題,一般化問題,統合問題) への解答を求めた • それぞれの認知過程と密接に関連する誤答の特徴2種類を含む錯乱枝を 作成し,正答枝もあわせて3枝選択問題として提示 英語文章要約問題の困難度モデリング 研究2 Terao, T. (2020). Difficulty of summarization items for Japanese learners: Effects of passages, distractors, and response formats. Frontiers in Education: Assessment, Testing and Applied Measurement, 5:9, doi: 10.3389/feduc.2020.00009
  5. 英語文章要約問題の困難度モデリング 研究2 Terao, T. (2020). Difficulty of summarization items for

    Japanese learners: Effects of passages, distractors, and response formats. Frontiers in Education: Assessment, Testing and Applied Measurement, 5:9, doi: 10.3389/feduc.2020.00009 推定の簡便性の観点から, 困難度の正負を逆転させて 推定しています。
  6. アイテムモデル実験1: リスト内錯乱枝の困難度のばらつき 研究3 【参考】自動項目生成のしくみ ①認知モデルの構築 ②アイテムモデルの構築 発話思考 記述式データ 認知心理学・言語習得理論 眼球運動

    CBT操作ログ Learning Progressions 認知モデルのうち 困難度や識別力・解答時間に 影響する要因を操作した アイテムモデルの作成, Fixed Elements/Variablesの 決定 ③大量生成 Variablesを入れ替えた テスト項目の大量生成
  7. アイテムモデル実験1: リスト内錯乱枝の困難度のばらつき 研究3 • 英語文章読解問題を題材とし,錯乱枝の理論的分類 (King et al., 2004) に

    基づいて錯乱枝リストを用意し,順序多枝選択式項目を作成 • PCM,GRM,OPMを比較した上で,各選択枝の困難度(位置パラメタ) がリスト内でばらつくのか等質なのかを検討 Stem Option According to the paragraph (1), (fixed) [An option from the list 1]. [An option from the list 2]. [An option from the list 3]. [An option from the list 4]. … 文章に書かれていないことがらを含む錯乱枝リスト 事実関係の誤認を含む錯乱枝リスト 正答選択枝リスト 解釈の誤りや文脈の設定範囲の誤りを含む枝リスト 実験はCBTシステム で実施
  8. • 自動項目生成×錯乱枝で,テスト項目の量と質を両方担保する • 異なるリスト間の錯乱枝の困難度の順序性・階層性 (AHM) • 順序多枝選択式項目とstandard setting,アイテムバンクへの採択率 • 自然言語処理との融合

    • 重要文抽出・自動要約などの方法を使って,設問幹や正答選択枝の生成,錯乱枝 のもとの生成などを行い,選択枝(錯乱枝)プールを構築できるか • 上記のように作成した問題への作題者の評価 • 質を追求する日本の作題者たちが,大量生成された上記のようなテスト項目に どういった評価を行うか 今後の構想