適切な回帰推定量の使用が学力調査の推定精度を向上させる効果の検討

日本科学教育学会 2023年度第2回研究会
（若手活性化委員会開催）
2023年12月9日

Transcript

1. 適切な回帰推定量の使用が学力調査の推定精度を 向上させる効果の検討 1 中村 大輝 （宮崎大学） 2023年12月9日 日本科学教育学会研究会 @九州大学 C09 17:00-17:40 2023年度第2回研究会 （若手活性化委員会開催）
2. 研究の背景 2  本体調査（2007~, 毎年実施） 対象：全国の小６と中３を対象とした悉皆調査 内容：国語・数学（算数）・理科*の学力調査 学習状況に関する質問紙調査  経年変化分析調査（2013~, 不定期実施） 対象：全国の小６と中３を対象とした標本調査（各教科約300校） 内容：国語・数学（算数）・英語*の学力調査 ⇒ 標本調査のため、誤差を伴う  効率よく誤差を減らすための工夫 • 層化抽出法の採用 全国学力・学習状況調査 総予算額：年間約50億 問題意識：標本調査において、もっと効率よく誤差を減らす方法は無いだろうか？
3. 回帰推定量の利用 3 目的変数と相関の高い補助変数を事後的に使用して推定を行うことで、 より効率的に誤差を減らすことができる可能性がある 母平均（真値） 線形推定値 学力 𝑦𝑦（目的） 𝜏𝜏𝑦𝑦 =? ? ? ̂ 𝜏𝜏𝑦𝑦 = 10.21 態度 𝑥𝑥（補助） 𝜏𝜏𝑥𝑥 = 3.25 ̂ 𝜏𝜏𝑥𝑥 = 2.25 ⇒ 目の前の標本から 得られた値 ⇒ これまでの調査で 明らかになっている値  一般化回帰推定量（Generalized Regression Estimator; Cassel et al., 1976） ̂ 𝜏𝜏𝑦𝑦,GREG = ̂ 𝜏𝜏𝑦𝑦 + 𝝉𝝉𝑥𝑥 − � 𝝉𝝉𝑥𝑥 ′ � 𝒃𝒃 補助変数におけるズレ（ 𝝉𝝉𝑥𝑥 − � 𝝉𝝉𝑥𝑥 ）を母集団回帰係数の推定値 � 𝒃𝒃 で拡大して 線形推定値 ̂ 𝜏𝜏𝑦𝑦 に足し合わせることで新たな推定量を構成する ⇒ 線形推定量よりも誤差を小さくできる 真値から1.00ずれている 相関
4. 研究の目的 4 回帰推定量の使用が学力調査における測定精度の向上にどの程度貢献するか を明らかにすること 母平均（真値） 線形推定値 学力 𝑦𝑦（目的） 𝜏𝜏𝑦𝑦 =? ? ? ̂ 𝜏𝜏𝑦𝑦 = 10.21 態度 𝑥𝑥（補助） 𝜏𝜏𝑥𝑥 = 3.25 ̂ 𝜏𝜏𝑥𝑥 = 2.25 ⇒ 目の前の標本から 得られた値 ⇒ これまでの調査で 明らかになっている値 真値から1.00ずれている 相関 目的  従来の方法 抽出法：層化クラスター抽出法（300校） 推定量：線形推定量  提案する方法 抽出法：層化クラスター抽出法（300校以下） 推定量：一般化回帰推定量
5. 研究の方法 5  使用するデータ 文部科学省から貸与を受けた令和4年度全国学力・学習状況調査の 個票データを使用（小学校 N = 982669, 中学校 N = 901728）  研究の手続き 研究１：各教科への態度尺度の構成 研究２：基礎集計 研究３：推定精度のシミュレーション 母平均（真値） 線形推定値 学力 𝑦𝑦（目的） 𝜏𝜏𝑦𝑦 =? ? ? ̂ 𝜏𝜏𝑦𝑦 = 10.21 態度 𝑥𝑥（補助） 𝜏𝜏𝑥𝑥 = 3.25 ̂ 𝜏𝜏𝑥𝑥 = 2.25 国語、数学（算数）、 理科の正答数 国語、数学（算数）、 理科に関する質問紙
6. 研究1．各教科への態度尺度の構成｜方法 6 研究1では、補助変数として使用可能な各教科への態度尺度を構成する 学校種 尺度 使用項目 小学校 国語への態度尺度 令和4年度 児童質問紙 Q49-52（4項目） 算数への態度尺度 令和4年度 児童質問紙 Q53-60（8項目） 理科への態度尺度 令和4年度 児童質問紙 Q61-69（9項目） 中学校 国語への態度尺度 令和4年度 生徒質問紙 Q49-52（4項目） 数学への態度尺度 令和4年度 生徒質問紙 Q53-60（8項目） 理科への態度尺度 令和4年度 生徒質問紙 Q61-69（9項目） 「理科の勉強は好きだ」「理科 の勉強は大切だ」「理科の授業 で学習したことは，将来，社会 に出たときに役に立つ」「理科 の授業の内容はよく分かる」 • ポリコリック相関行列と固有値の減衰状況から一次元性を検討 • 多値型項目反応モデルの1つである段階反応モデルを適用
7. 研究1．各教科への態度尺度の構成｜結果 7 各教科で概ね一次元性が確認されたため、段階反応モデルを適用した分析を行った 尺度 項目 識別力 困難度1 困難度2 困難度3 国語 (𝛼𝛼 = .718) Q49 1.611 -1.577 -0.366 1.035 Q50 2.753 -2.535 -1.801 -0.605 Q51 1.708 -2.690 -1.422 0.357 Q52 1.738 -2.949 -1.988 -0.563 算数 (𝛼𝛼 = .840) Q53 1.989 -1.264 -0.442 0.438 Q54 1.816 -2.996 -2.205 -0.997 Q55 2.239 -2.116 -1.120 0.117 Q56 1.311 -3.586 -2.516 -1.084 Q57 1.620 -1.941 -0.735 0.618 Q58 2.457 -2.093 -1.049 0.136 Q59 1.824 -2.136 -0.999 0.198 Q60 1.667 -2.762 -1.555 0.033 理科 (𝛼𝛼 = .854) Q61 1.822 -2.071 -1.130 0.011 Q62 2.374 -2.334 -1.342 -0.238 Q63 1.937 -2.683 -1.603 -0.177 Q64 2.169 -1.639 -0.597 0.466 Q65 1.905 -2.120 -0.992 0.136 Q66 1.018 -0.157 1.149 2.161 Q67 1.762 -2.304 -1.078 0.311 Q68 1.994 -2.507 -1.360 0.078 Q69 1.661 -2.101 -0.852 0.591  小学校の各教科への態度尺度（N = 982669） 尺度 項目 識別力 困難度1 困難度2 困難度3 国語 (𝛼𝛼 = .726) Q49 1.288 -2.020 -0.525 1.124 Q50 3.541 -2.416 -1.661 -0.383 Q51 1.338 -3.099 -1.466 0.717 Q52 2.310 -2.532 -1.588 -0.187 数学 (𝛼𝛼 = .846) Q53 2.103 -1.233 -0.312 0.627 Q54 1.529 -2.870 -1.671 -0.102 Q55 2.073 -2.062 -0.950 0.418 Q56 1.158 -2.720 -1.270 0.394 Q57 1.640 -1.257 0.061 1.388 Q58 2.578 -1.924 -0.839 0.411 Q59 1.900 -1.935 -0.722 0.521 Q60 1.572 -2.485 -1.253 0.358 理科 (𝛼𝛼 = .870) Q61 1.895 -1.649 -0.571 0.585 Q62 2.210 -2.077 -0.916 0.385 Q63 1.852 -2.262 -0.926 0.639 Q64 2.210 -1.278 -0.117 1.016 Q65 1.957 -1.638 -0.404 0.858 Q66 1.217 -0.087 1.227 2.390 Q67 1.824 -1.831 -0.520 1.004 Q68 1.881 -2.208 -1.073 0.456 Q69 1.845 -1.930 -0.642 0.865  中学校の各教科への態度尺度（N = 901728）
8. 研究2．基礎集計 8  小学校基礎集計（N = 982669） 母平均 母分散 級内相関 母相関 B C D E F A. 国語正答数 9.313 3.122 .059 .684 .702 .291 .286 .156 B. 算数正答数 10.228 3.514 .060 ― .728 .209 .397 .157 C. 理科正答数 10.876 3.727 .057 ― ― .248 .312 .205 D. 国語態度 0.000 0.847 .039 ― ― ― .471 .492 E. 算数態度 0.000 0.914 .032 ― ― ― ― .535 F. 理科態度 0.000 0.925 .058 ― ― ― ― ―  中学校基礎集計（N = 901728） 母平均 母分散 級内相関 母相関 B C D E F A. 国語正答数 9.855 2.784 .050 .642 .630 .167 .211 .188 B. 数学正答数 7.472 3.476 .089 ― .708 .080 .411 .272 C. 理科正答数 10.610 4.065 .070 ― ― .103 .290 .308 D. 国語態度 0.000 0.859 .046 ― ― ― .329 .396 E. 数学態度 0.000 0.925 .034 ― ― ― ― .616 F. 理科態度 0.000 0.938 .056 ― ― ― ― ―
9. 研究3．推定精度のシミュレーション 9 シミュレーションの結果、一般化回帰推定量（GREG）の方が誤差が少ないことが明らかになった 教科 パラメータ 真値 推定量 期待値 真値とのズレ RMSE 小学校国語 正答数 母平均（𝜇𝜇） 9.313 Linear 9.307 -0.006 0.047 GREG 9.310 -0.003 0.042 母分散（𝜎𝜎2） 9.744 Linear 9.749 0.005 0.117 GREG 9.749 0.004 0.114 小学校算数 正答数 母平均（𝜇𝜇） 10.228 Linear 10.223 -0.005 0.052 GREG 10.226 -0.001 0.045 母分散（𝜎𝜎2） 12.349 Linear 12.354 0.005 0.147 GREG 12.354 0.004 0.145 小学校理科 正答数 母平均（𝜇𝜇） 10.876 Linear 10.871 -0.005 0.054 GREG 10.872 -0.004 0.051 母分散（𝜎𝜎2） 13.891 Linear 13.896 0.005 0.157 GREG 13.895 0.004 0.155 中学校国語 正答数 母平均（𝜇𝜇） 9.855 Linear 9.848 -0.008 0.042 GREG 9.848 -0.007 0.041 母分散（𝜎𝜎2） 7.751 Linear 7.763 0.012 0.107 GREG 7.763 0.012 0.106 中学校数学 正答数 母平均（𝜇𝜇） 7.472 Linear 7.460 -0.011 0.063 GREG 7.461 -0.011 0.060 母分散（𝜎𝜎2） 12.084 Linear 12.085 0.001 0.120 GREG 12.085 0.001 0.120 中学校理科 正答数 母平均（𝜇𝜇） 10.610 Linear 10.592 -0.017 0.066 GREG 10.594 -0.015 0.062 母分散（𝜎𝜎2） 16.522 Linear 16.491 -0.031 0.181 GREG 16.491 -0.030 0.180
10. 考察 10 • 一般化回帰推定量は一貫して線形推定量よりも誤差が小さく、相対的に高い精度を示 している • このことは同一精度の推定をより少ないサンプルサイズで実現できることを意味する • 例えば、小学校算数正答数の推定に関するデザイン効果は、従来の線形推定量を用い る方法が平均6.389であるのに対して、一般化回帰推定量を用いる方法では平均 5.077であった．これは、従来300校（約16000人）を対象に行っていた調査を約 238校（約12715人）程度まで減らすことができる可能性を示している • ただし、教科の学力と態度の相関が低かった中学校国語においては、誤差の低減効果 はわずかであった． • 一般化回帰推定量は複数の補助変数を組み込むことが可能であり、各教科への態度尺 度以外にも、学力と相関の高い諸変数を組み込むことで、さらに精度を向上させられ る可能性がある
11. まとめ 11 回帰推定量の使用が学力調査における測定精度の向上にどの程度貢献するか を明らかにすること 母平均（真値） 線形推定値 学力 𝑦𝑦（目的） 𝜏𝜏𝑦𝑦 =? ? ? ̂ 𝜏𝜏𝑦𝑦 = 10.21 態度 𝑥𝑥（補助） 𝜏𝜏𝑥𝑥 = 3.25 ̂ 𝜏𝜏𝑥𝑥 = 2.25 ⇒ 目の前の標本から 得られた値 ⇒ これまでの調査で 明らかになっている値 相関 目的 質問紙回答の情報を用いた一般化回帰推定量を導入することで， 学力推定の誤差を僅かではあるが低減させられることが示された。 300校の調査から238校の調査へ減らすことができる可能性がある。 結果 一般化回帰推定量： ̂ 𝜏𝜏𝑦𝑦,GREG = ̂ 𝜏𝜏𝑦𝑦 + 𝝉𝝉𝑥𝑥 − � 𝝉𝝉𝑥𝑥 ′ � 𝒃𝒃 令和4年度全国学力・学習状況調査の個票データを使用したシミュレーションより…