理科教育分野の研究方法論改革

日本教育心理学会第63回総会 2021年8月21日

Transcript

1. 理科教育研究における研究方法論改革 中村大輝 （広島大学大学院博士課程後期） 日本教育心理学会第63回総会 2021年8月21日～30日 全14枚＋補 📧 turidaiki@gmail.com 日本教育心理学会自主シンポジウム 「統計改革は各教育分野にどのように展開していったか」
2. 発表概要 2 1. 理科教育分野における研究テーマの変遷 2. 心理学と理科教育における研究方法論改革の歴史 3. 理科教育分野における4つの主要な改革 4. 再現性問題とQRPs
3. 理科教育分野（science education）: 研究テーマの変遷 3 理科教育分野（science education）: • 自然科学の教授学習過程に関わる幅広い研究 • 様々な分野の研究者が参加する学際領域 ⚫ 研究テーマの変遷（Lin et al., 2014, 2016, 2019） 第1位 第2位 第3位 1980-1998 学習者の概念と概念変化 （Learning-Conceptions） ― ― 1998–2002 学習者の概念と概念変化 （Learning-Conceptions） 教室文脈における学習者の 特徴（Learning-Context） 文化・社会・ジェンダー問題 （Culture, Social, & Gender） 2003–2007 教室文脈における学習者の特徴 （Learning-Context） 学習者の概念と概念変化 （Learning-Conceptions） 指導法（Teaching） 2008–2012 教室文脈における学習者の特徴 （Learning-Context） 指導法（Teaching） 学習者の概念と概念変化 （Learning-Conceptions） 2013–2017 教室文脈における学習者の特徴 （Learning-Context） 指導法（Teaching） 学習者の概念と概念変化 （Learning-Conceptions）
4. 心理学と理科教育における研究方法論改革の歴史 4 帰無仮説検定（NHST）の技術的問題 出版バイアスの指摘 心理学分野の取り組み（Fidler, 2019） 1950- 1960- 1970- より幅広いNHST批判 検定力の低さへの批判 (by Cohen) メタ分析の登場 1980- 2010- 1990- 2000- NHST論争の収束宣言（by Paul Meehl） 検定力は依然として改善せず 編集委員会の小規模な改革 APA Task Force on Statistical Inference (TFSI) TFSIの成果に基づき APA Publication Manual 改訂 有意でない論文の掲載 ベイズ統計の興隆 再現性やオープンサイエンスに関するプロジェクト プレレジ等の取り組み 理科教育分野の取り組み メタ分析の積極的な実施 質的アプローチが主流になる 項目反応理論の導入（e.g., TIMSS1995） デザイン実験アプローチ 国際大規模調査の拡大（e.g., PISA） 混合研究法の普及 ラッシュモデルの普及 サンプリングに関する議論（cRCT） マルチレベルモデル 測定領域の拡大（e.g., 知識、思考、態度） 臨床面接法 サンプルサイズの増加（2桁→3桁） 古典的テスト理論に基づく学力測定 カリキュラム目標に対応した到達度測定
5. 発表概要 5 1. 理科教育分野における研究テーマの変遷 2. 心理学と理科教育における研究方法論改革の歴史 3. 理科教育分野における4つの主要な改革 4. 再現性問題とQRPs
6. 思いつきの測定器→妥当性の追求 6 ⚫ 妥当性概念の変遷（村山，2012） 構成概念 妥当性 内容的な側面の証拠 測定指標が構成概念を十分に代表しているか。旧来 の内容的妥当性もここに含まれる。 本質的な側面の証拠 測定指標（反応時間など）への反応プロセスが心理 学的に説明できるか。 構造的な側面の証拠 測定指標の内的な構造（因子構造など）が仮説・理 論に合致しているか。 一般化可能性の側面の証拠 測定結果が他の実施時期,被験者集団,項目セットな どに一般化できるか。旧来の信頼性の概念も含む。 外的な側面の証拠 外的変数との間に，理論から予測されるパターンの 関係がみられるか。旧来の基準連関妥当性も含む。 ・ ・ ⚫ 証拠の種類と検討数（中村ら，印刷中） 43 15 5 8 3 2 0 10 20 30 40 50 0 1 2 3 4 5 側面 検討 未検討 内容的な側面 31 (40.79%) 45 (59.21%) 本質的な側面 4 (5.26%) 72 (94.74%) 構造的な側面 14 (18.42%) 62 (81.58%) 一般化可能性の側面 17 (22.37%) 59 (77.63%) 外的な側面 5 (6.58%) 71 (93.42%) • 過去4年間の『理科教育学研究』の実証研究における測定法を分析 三位一体観（内容，基準関連，構成概念妥当性） ↓ 単一的な構成概念妥当性 ➢ Messick（1995） テスト得点の解釈に必要な証拠を集める ➢ Borsboom et al.（2004） テスト得点の生成メカニズムを考える 検討数 論文数
7. 個別の研究知見→メタ分析による統合 7 ⚫ メタ分析のメリット • 効果量という共通の指標に基づいて定量的な研究を 統合できる →平均効果量 • 多くのサンプルを統合することで、標本誤差の影響 を減らすことができる • 知見の一貫性を評価できる（e.g., Q, I2） ⚫ 理科教育分野におけるメタ分析の取り組み Bredderman (1980) 【活動中心のカリキュラムと学力】 Haladyna & Shaughnessy (1982)【性別と科学の態度】 Druva & Anderson (1983) 【教師の学習歴と生徒の成績】 Fleming & Malone (1983) 【SESと科学の学力】 Shymansky et al. (1990) 【探究的指導の効果】 Bowen (2000) 【共同的な学習の効果】 Firman et al. (2019) 【探究に基づく科学学習】 中村ら（2020） 【理科の指導法と学力】 ◆ 技術的な発展 Random-Effects Model Multilevel Meta-Analysis MASEM（Meta-Analytic SEM） Network Meta-Analysis Bayesian meta-analysis Robust Variance Estimation Fail-Safe N p-curve analysis Trim & Fill https://osf.io/625je/wiki/x. 理科教育分野でのメタ分析の先行研究/
8. 古典的テスト理論→現代的テスト理論 8 ⚫ 項目反応理論（IRT）のメリット • 項目の特性や尺度の測定精度をきめ細かく検討できる • 集団に依存しない評価が可能になる • 無作為抽出の代わりに母集団を代表する典型的な集団 からの有意抽出を用いることができる • 複数のテストを等化し、同一尺度上で評価できる ⚫ 理科教育分野におけるIRTの応用例 ⚫ 認知診断モデル（CDM）への発展 ◼ TIMSS調査 ◼ PISA調査 • 記述式問題：2PL • 多肢選択式：3PL • 多値反応 ：PCM • 多肢選択式：1PL (~2012), 2PL (2015~) • 多値反応 ：PCM, NRM ※混合効果多項ロジットモデル ➢ 各問題で必要となる領域ごとのスキルを診断（山口・岡田, 2017） DINO NIDO C-RUM A-CDM DINA NIDA R-RUM 非補償モデル 補償モデル LCDM G-DINA →応用例として, Anamezie & Nnadi (2019) GDM 飽和モデル
9. 統計的帰無仮説検定→ベイズ統計→ベイズモデリング？ 9 ◼ 中村・雲財・松浦（2021） ➢ 尺度開発：GRMとGPCMの比較 ⚫ 心理学における「ベイズ」の流行 ⚫ 理科教育分野におけるベイズ統計の導入 ◼ 原田ら（2020） ➢ メタ認知尺度と理科学力の母相関係数の推定 ◼ 山根ら（2020） ➢ Poisson分布およびZIP分布を想定したモデルの比較 ◆ 清水（2018）図1より
10. 心理学と理科教育における研究方法論改革の歴史（再掲） 10 帰無仮説検定（NHST）の技術的問題 出版バイアスの指摘 心理学分野の取り組み（Fidler, 2019） 1950- 1960- 1970- より幅広いNHST批判 検定力の低さへの批判 (by Cohen) メタ分析の登場 1980- 2010- 1990- 2000- NHST論争の収束宣言（by Paul Meehl） 検定力は依然として改善せず 編集委員会の小規模な改革 APA Task Force on Statistical Inference (TFSI) TFSIの成果に基づき APA Publication Manual 改訂 有意でない論文の掲載 ベイズ統計の興隆 再現性やオープンサイエンスに関するプロジェクト プレレジ等の取り組み 理科教育分野の取り組み メタ分析の積極的な実施 質的アプローチが主流になる 項目反応理論の導入（e.g., TIMSS1995） デザイン実験アプローチ 国際大規模調査の拡大（e.g., PISA） 混合研究法の普及 ラッシュモデルの普及 サンプリングに関する議論（cRCT） マルチレベルモデル 測定領域の拡大（e.g., 知識、思考、態度） 臨床面接法 サンプルサイズの増加（2桁→3桁） 古典的テスト理論に基づく学力測定 カリキュラム目標に対応した到達度測定
11. 再現性の危機（Reproducibility Crisis） 11 52％ 大いに危機的 状況にある 38％ やや危機的 状況にある 3％ 危機的状況 にはない 1576人 の研究者が回答 7％ 分からない ⚫ Baker（2016） Nature ダイジェスト Vol. 13 No. 8 doi: 10.1038/ndigest.2016.160822 を基に作成 ⚫ Makel & Plucker（2014） ⚫ Gordon et al.（2020） 教育分野の高IF雑誌に掲載の追試論文を分析 ・再現に成功した追試 → 70% ・異なる著者が追試した場合 → 54% 「再現性の危機はありますか？」 教育分野の 再現成功率は 42% と予測されている Fig.1 (b)
12. 再現性の危機の原因 12 ⚫ 問題のある研究実践（Questionable research practices, QRPs） p-hacking, cherry picking, HARKing, … ◼ Makel, Hodges, Cook, & Plucker（2021） ➢ 1488名の教育学者を対象にQRPsの経験を調査 • 有意にならなかった研究や変数を報告しなかった経験がある → 61.69% • 有意な結果が得られるよう複数の統計分析法を試した経験がある → 49.75% QRPs ⚫ 理科教育分野における再現性問題への対応 ◼ Taylor et al. (2016) 1. 追試の積極的な実施 2. 実証研究における研究デザインの再考 3. 事前登録の実施 4. データ共有への取り組み強化 ◼ 中村・原田・久坂・雲財・松浦（印刷中） 1. 追試の積極的な実施 2. 適切な研究方法の普及 3. 事前登録制度の導入 4. オープンサイエンスの実施
13. まとめ 13 ⚫1950年代以降の理科教育分野の方法論改革 1. 思いつきの測定器 → 妥当性の継続的な追求 2. 個別の研究知見 → メタ分析による統合 3. 古典的テスト理論 → 現代的テスト理論 4. 統計的帰無仮説検定 → ベイズ統計 ⚫現在取り組んでいる改革 ➢ QRPsの防止と再現性の向上
14. 文献リスト 14 • Anamezie, R. C., & Nnadi, F. O. (2019). Application of Cognitive Diagnostic Model in Assessment of Basic Electricity Practical Skills Proficiency among Physics Education Undergraduates in Enugu State University of Science and Technology. British Journal of Education, 7(3), 47–57. • Baker, M. (2016). 1,500 scientists lift the lid on reproducibility. Nature News, 533(7604), 452. • Borsboom, D., Mellenbergh, G. J., & van Heerden, J. (2004). The Concept of Validity. Psychological Review, 111(4), 1061–1071. • Gordon, M., Viganola, D., Bishop, M., Chen, Y., Dreber, A., Goldfedder, B., Holzmeister, F., Johannesson, M., Liu, Y., Twardy, C., Wang, J., & Pfeiffer, T. (2020). Are replication rates the same across academic fields? Community forecasts from the DARPA SCORE programme. Royal Society Open Science, 7(7), 200566. • 原田勇希・久坂哲也・草場実・鈴木誠（2020）「理科教育用メタ認知測定尺度の再考」『理科教育学研究』60(3), 627–641. • Lin, T. J., Lin, T. C., Potvin, P., & Tsai, C. C. (2019). Research trends in science education from 2013 to 2017: a systematic content analysis of publications in selected journals. International Journal of Science Education, 41(3), 367–387. • Lin, T.-C., Lin, T.-J., & Tsai, -C.-C. (2014). Research trends in science education from 2008 to 2012: A systematic content analysis of publications in selected journals. International Journal of Science Education, 36(8), 1346–1372. • Lin, J.-W., Yen, M.-H., Liang, J.-C., Chiu, M.-H., & Guo, C.-J. (2016). Examining the factors that influence students’ science learning processes and their learning outcomes: 30 years of conceptual change research. Eurasia Journal of Mathematics, Science & Technology Education, 12(9), 2617–2646. • Makel, M. C., Hodges, J., Cook, B. G., & Plucker, J. A. (2021). Both questionable and open research practices are prevalent in education research. Educational Researcher, online first, 1–12. • Makel, M. C., & Plucker, J. A. (2014). Facts are more important than novelty: Replication in the education sciences. Educational Researcher, 43(6), 304–316. • Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons' responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749. • 中村大輝・原田勇希・久坂哲也・雲財寛・松浦拓也（印刷中）「理科教育学における再現性の危機とその原因」『理科教育学研究』62(1). • 中村大輝・田村智哉・小林誠・永田さくら・大森一磨・大野俊一・堀田晃毅・松浦拓也（2020）「理科における授業実践の効果に関するメタ 分析―教育センターの実践報告を対象として―」『科学教育研究』44(4)，215–233. • 中村大輝・雲財寛・松浦拓也（2021）「理科における認知欲求尺度の再構成および項目反応理論に基づく検討 」『科学教育研究』45(2), 215– 233. • 清水裕士（2018）「心理学におけるベイズ統計モデリング」『心理学評論』 62(1), 22–41. • Taylor, J., Furtak, E., Kowalski, S., Martinez, A., Slavin, R., Stuhlsatz, M., & Wilson, C. (2016). Emergent themes from recent research syntheses in science education and their implications for research design, replication, and reporting practices. Journal of Research in Science Teaching, 53(8), 1216–1231. • 山口一大・岡田謙介（2017）「近年の認知診断モデルの展開」『行動計量学』44(2), 181–198. • 山根悠平・雲財寛・稲田結美・角屋重樹（2020）「理科における研究倫理・研究不正に関する大学生の経験と認識」『理科教育学研究』 61(1), 139–152.