加藤ら(2014)「Rによる項目反応理論」の第15章に関する発表と補足です。
第15章 自動テスト構成(pp. 344-370)2022年1月21日IRT-club担当:中村 大輝(広島大学大学院)
View Slide
第15章の見通し 2⚫ 等化された項目プールの中から、テストを構成する問題をどのように選ぶのが良いか?⚫ 数値計算によって最適な項目を選ぶ作業を自動化したい→自動テスト構成(automatic test assembly)⚫ 受験者の回答パターンに応じて困難度の異なるアイテムを選んで出題することにより、効率的に測定を行いたい→コンピュータ適応型テスト(computer adaptive test)◼ 本章で使用する記号識別力 α,困難度 β,当て推量 γ
15.1 自動テスト構成の概略 3自動テスト構成は、主に2つのステップからなる。①テスト仕様の決定• テスト仕様の分類と例②テスト仕様のモデル化• テスト仕様を線形計画問題として表現し、数値的最適化によってテスト構成を決定する。• テスト仕様は、制約条件と目的関数のいずれかとして数式で表現される。タイプレベルテストセット テスト 項目セット 刺激 項目質的 多肢選択は10問以下領域の範囲 教示文の内容量的 作成するフォームの数回答時間60分一定以上の精度領域の数 教示文の長さ 項目の文章量論理的 領域間の包含関係項目Aを必ず含める
15.2.1 数学テストの構成例 4数学に関する90項目の項目プールがあるとする(表15.2)。これらの項目は、2PLMで共通尺度上に等化されている。この項目プールから、以下の仕様を満たすテストフォームを1つ作成したい1. 総項目数は30 問に固定する。2. 幾何および代数の領域からそれぞれ8問以上、確率統計から5問以上の項目を含む。3. 項目30,60,90 は類似した題材を用いた応用問題であるため同時に同じテストには含めない。4. 項目1,2,3 は組み問題であるため、このうちいずれかの項目をテストに含める場合は、残りすべても必ずテストに含める。5. 標準的な θ のレンジにおいて一定以上の測定精度が保たれている。
15.2.2 線形計画法とは 5◆ 定義Ax = b, x ≧ 0 という制約条件のもとで、目的関数 cT x の値を最小にするような x の値を求める。⚫ 制約条件= arg minT⚫ 目的関数項目 j がテストに含まれる場合は𝑥𝑗= 1, そうでなければ 𝑥𝑗= 0。最終的に計算によって求められる。仕様 i によって決定される項目 j に関する要素𝑎𝑖𝑗1. 総項目数は30 問2. 幾何および代数の領域から各8 問以上、確率統計から5 問以上3. 項目30,60,90 は同時に含めない4. 項目1,2,3 のいずれかを含める場合は、残りも含める5. TIFの下限値仕様 i によって決定される要素 𝑏𝑖最も小さいTIF今回の文脈では、項目j の識別力。※決定変数 x の各要素が整数値しか取らないものを整数計画法、さらに 0or1 の二値しか取らないものを0-1整数計画法と呼ぶ。
15.2.3 項目数に関する制約 61.総項目数は30 問に固定する(i =1)σ𝑗=190 𝑥𝑗= 30 になるようなAとbは、2.幾何および代数の領域からそれぞれ8問以上、確率統計から5問以上の項目を含む (i =2,3,4)幾何の問題について、制約式は σ𝑗=130 𝑥𝑗≥ 8 になる。ここで、幾何の問題は 𝑥1~𝑥30なので、 Aとbは、となる。同様に、代数と確率統計の問題について、制約は右のように表現できる。
15.2.4 項目の包含・排除関係 7項目30,60,90 を同時には含めないという仕様を制約条件として表すと、𝑥30+ 𝑥60+ 𝑥90≤ 1 となる。このような制約は、以下のように表現できる。3.項目30,60,90 は類似した題材を用いた応用問題であるため、同時に同じテストには含めない(i =5)4. 項目1,2,3 は組み問題であるため、このうちいずれかの項目をテストに含める場合は、残りすべても必ずテストに含める。(i =6)この仕様を制約条件として表すと、2𝑥1− 𝑥2− 𝑥3= 0 となる。よって、
15.2.5 テスト情報関数に関する制約 8「一定以上の測定精度」の設定は、目標となるTIF (𝐼(𝜃)) を定めることと同義である。TIFが、 𝐼 𝜃 = σ𝐽=1𝐽 𝐼𝑗𝜃 = σ𝐽=1𝐽 𝐷2𝑎𝑗2𝑃𝑗𝜃 𝑄𝑗(𝜃) であり、መ𝜃 の標準誤差が、 𝑆𝐸 መ𝜃 𝜃 = 1𝐼(𝜃)であったことを思い出せば、あらかじめ標準誤差をどの程度以下に抑えたいか定めることで、TIFを定めることができる。しかし、実際の項目の性能とテスト仕様の制約から、標準誤差をどこまでも小さくできる訳ではない。どの程度のTIFなら達成できそうか、項目プールのTIFを描画してあたりを付ける必要がある。「標準的な θ のレンジ」を、−1 < 𝜃 < 1 として(灰色部分)、破線で示すようなTIFを想定するとすると、レンジ内で、 𝐼 ≥ 6 (i.e., SE=0.41) を達成できそうである。ただし、レンジ境界の2点だけでは、目標TIFの形が定まらないので、表のように複数の評価点をとる。このようにして定めたTIFに対して、制約条件は、5.標準的な θ のレンジにおいて、一定以上の測定精度が保たれている(i =7)約68%
15.2.5 テスト情報関数に関する制約(続き) 9目標TIFのM個の評価点について、それぞれ制約条件を設定する。例えば、𝜃1= −2 𝑚 = 1 での制約条件は、5.標準的な θ のレンジにおいて、一定以上の測定精度が保たれている(i =7)約68%となる。同様に、他の評価点についても以下のように表現できる。
制約条件の指定 10これですべての制約条件の指定ができた。制約の総数は11 個(I=11)なので、A はサイズ11 × 90 の行列、b は長さ11 のベクトルとなっている。𝑖 = 1𝑖 = 2𝑖 = 3𝑖 = 4𝑖 = 5𝑖 = 6𝑖 = 7𝑖 = 8𝑖 = 9𝑖 = 10𝑖 = 111 1 1 ⋯ 1 1 ⋯ 1 1 ⋯ 11 1 1 ⋯ 1 0 ⋯ 0 0 ⋯ 00 0 0 ⋯ 0 1 ⋯ 1 0 ⋯ 00 0 0 ⋯ 0 0 ⋯ 0 1 ⋯ 10 0 0 ⋯ 1 0 ⋯ 1 0 ⋯ 12 −1 −1 ⋯ 0 0 ⋯ 0 0 ⋯ 00.12 0.49 ⋯ ⋯ ⋯ 0.050.26 1.46 ⋯ ⋯ ⋯ 0.100.35 0.39 ⋯ ⋯ ⋯ 0.170.24 0.04 ⋯ ⋯ ⋯ 0.200.10 0.00 ⋯ ⋯ ⋯ 0.16×𝑥1𝑥2𝑥3𝑥4𝑥5𝑥6𝑥7𝑥8𝑥9𝑥10𝑥11=≥≥≥≤=≥≥≥≥≥30885102.576.008.436.002.57𝐀 𝑥1𝑥2𝑥3… 𝑥30𝑥31… 𝑥60𝑥61… 𝑥90𝐱 𝐛これらの連立方程式を満たす解 (x) は複数存在するため、目的関数を設定することで、解を1つに絞る。
15.2.6 目的関数 11制約条件5では、TIFの下限値を設定した一方で、上限値は定めていなかった。今回は、制約条件を満たす解の中で、TIFができるだけ小さい(目標値に近い)ことを目指し、目的関数として設定する。2PLM の場合は、項目 j の情報関数 𝐼𝑗(𝜃) の下側の面積𝐴𝑗は識別力 𝛼𝑗に一致することが知られている(Lord &Novick, 1968, p. 461)。TIFはIIFの和であることから、TIF最小化は、arg min 𝑗=190𝛼𝑗𝑥𝑗と表現できる。こうすれば、解が1つに定まる。
15.3 R による自動テスト構成 12ベクトルb のタイプ表記𝑖 = 1𝑖 = 2𝑖 = 3𝑖 = 4𝑖 = 5𝑖 = 6𝑖 = 7𝑖 = 8𝑖 = 9𝑖 = 10𝑖 = 111 1 1 ⋯ 1 1 ⋯ 1 1 ⋯ 11 1 1 ⋯ 1 0 ⋯ 0 0 ⋯ 00 0 0 ⋯ 0 1 ⋯ 1 0 ⋯ 00 0 0 ⋯ 0 0 ⋯ 0 1 ⋯ 10 0 0 ⋯ 1 0 ⋯ 1 0 ⋯ 12 −1 −1 ⋯ 0 0 ⋯ 0 0 ⋯ 00.12 0.49 ⋯ ⋯ ⋯ 0.050.26 1.46 ⋯ ⋯ ⋯ 0.100.35 0.39 ⋯ ⋯ ⋯ 0.170.24 0.04 ⋯ ⋯ ⋯ 0.200.10 0.00 ⋯ ⋯ ⋯ 0.16×𝑥1𝑥2𝑥3𝑥4𝑥5𝑥6𝑥7𝑥8𝑥9𝑥10𝑥11=≥≥≥≤=≥≥≥≥≥30885102.576.008.436.002.57𝐀 𝑥1𝑥2𝑥3… 𝑥30𝑥31… 𝑥60𝑥61… 𝑥90𝐱 𝐛
コンピュータ適応型テスト(補足) 13⚫ 受験者の回答パターンに応じて困難度の異なるアイテムを選んで出題することにより、効率的に測定を行いたい→コンピュータ適応型テスト(computer adaptive test)⚫ 前の問題の正誤に合わせて、より最適な困難度の問題を出せば、能力値θの推定の誤差を効率的に小さくできる⚫ 事前に設定した標準誤差を下回ったら、回答を終了する⚫ mirtCATパッケージを使って実装してみよう
14今日で青本終了!お疲れ様でした!!