いま、なぜ研究方法論なのか?：研究の再現性と問題のある研究実践の課題

2021年9月19日
日本理科教育学会全国大会
課題研究発表８

Transcript

1. いま、なぜ研究方法論なのか? 研究の再現性と問題のある研究実践の課題 4 中村 大輝 （広島大学大学院） 2021年9月19日 理科教育学会全国大会 課題研究発表８ （趣旨説明）
2. 再現性の危機（Replicability Crisis） 5 52％ 大いに危機的 状況にある 38％ やや危機的 状況にある 3％ 危機的状況 にはない 1576人 の研究者が回答 7％ 分からない ⚫ Baker（2016） 「再現性の危機はありますか？ 」 ⚫ Makel & Plucker（2014） ⚫ Gordon et al.（2020） 教育分野の高IF雑誌に掲載の追試論文を分析 ・再現に成功した追試 → 67% ・異なる著者が追試した場合 → 54% 教育分野の 再現成功率は 42% と予測されている Fig.1 (b) ◼ 再現性（Replicability） 過去の研究知見と同じ結果が得られるかの程度 → 追試によって、同じ結果が得られるかを検証
3. 再現に失敗した事例 6 ⚫ 山口・前田（2011）による追試 元論文のような説明の効果は認められなかった ⚫ 麻柄（1990） 誤った知識を適切に位置づける説明を与えることが 大学生の誤概念修正に効果的 ◼ 理科教育分野の事例１ ⚫ 古屋・安達（2018）による追試 小学生よりも大学生の方が問題解決能力が高い → 正反対の結果となった ⚫ 川﨑ら（2015） 大学生よりも小学生の方が問題解決能力が高い ◼ 理科教育分野の事例２ 表11 表３
4. 再現性の危機の原因 7 1. 問題のある研究実践（Questionable research practices, QRPs） • p-hacking : サンプルの不正な追加・除去によって有意にする • cherry picking : 有意になった項目だけ報告 • 誤った多重比較 : 補正のない検定の繰り返し →危険率αのインフレ • HARKing : 結果が分かった後で仮説を設定 ⚫ Makel et al.（2021）の調査 1488名の教育学者を対象にQRPsやデータ公開の経験を調査 • 有意にならなかった研究や変数を報告しなかった経験がある → 61.69% • 有意な結果が得られるよう複数の統計分析法を試した経験がある → 49.75% • データをオンラインでオープンに公開したことがある → 45.61% • コードやマテリアルをオンラインでオープンに公開したことがある → 58.94% 2. 透明性の低さ • データが提供・公開されていない（Minocher et al., 2020; Wicherts et al., 2006） • 研究の手続きで不透明な箇所が多い（Wicherts et al., 2016） QRPs オープン サイエンス
5. 国内の理科教育分野におけるQRPsの調査 8 中村大輝・原田勇希・久坂哲也・雲財寛・松浦拓也（2021）「理科教育学における再現性の危機とその原因」 『理科教育学研究』62(1), 3-22. 10.11639/sjst.sp20016 研究仮説 サンプ リング 測定 量的分析 報告 統計的 推論 妥当性の確認不足 母集団の未定義 出版バイアス p-hacking 検定力不足 HARKing 過度の一般化 記載情報の不足 理科教育学研究 • 過去4年間の論文が対象 • QRPsが行われているかを調査 ◼ 研究の結果 ◼ 研究の方法 • 研究の各過程で問題のある研究実践（QRPs）が行われている実態がある
6. QRPsへの対応策の提案 9 ◼ 問題のある研究実践（QRPs） 研究仮説 サンプ リング 測定 量的分析 報告 統計的 推論 ◼ 本発表における対応策の提案 測定の妥当性を検証するアプローチ の明確化（中村） HARKing： 結果が分かった後で仮説を立てる 母集団の未定義： 母集団が定義されていない 妥当性の確認不足： 測定の妥当性が確認されていない 検定力不足：不適切なサンプルサイズ p-hacking：不適切なp値の操作 過度の一般化： 結論が過度に一般化されている 出版バイアス：公表されない結果がある 情報の不足：データ、コードの未公開 サンプリングと一般化可能性（松浦） 学校現場における実践研究のため の方法論（久坂） 帰無仮説検定による知見の一般化 にともなう問題（原田） オープンサイエンスの視点から見た 理科教育研究のあり方（雲財）
7. まとめ 10 ◼ 背景 • 過去の知見が再現されないという再現性の危機 • その原因として、問題のある研究実践（QRPs）の存在がある • 理科教育分野における適切な研究実践の具体については示されてこなかった ◼ 課題研究の目的 量的研究を中心とした研究方法論に関する課題と解決策に関する話題を提供し， 問題提起や論点整理を行うことで， 今後の理科教育学分野において研究方法論に関する議論が活性化すること ◼ 期待される成果 理科教育研究におけるQRPsが減少し、研究の質が向上することで、 再現性のあるより確かな知見の導出に貢献すると考えられる
8. 引用文献 11 • Baker, M. (2016). 1,500 scientists lift the lid on reproducibility. Nature News, 533(7604), 452. • 古屋光一・安達正敏（2018）「小学生，中学生，大学生の理科における問題解決能力の比較」『北海道教育大学紀要. 教育科 学編』第68巻，第2号，323–336. • Gordon, M., Viganola, D., Bishop, M., Chen, Y., Dreber, A., Goldfedder, B., Holzmeister, F., Johannesson, M., Liu, Y., Twardy, C., Wang, J., & Pfeiffer, T. (2020). Are replication rates the same across academic fields? Community forecasts from the DARPA SCORE programme. Royal Society Open Science, 7(7), 200566. • 川﨑弘作・角屋重樹・木下博義・石井雅幸・後藤顕一（2015）「初等教育教員養成課程学生の理科における問題解決能力の 実態に関する研究」『理科教育学研究』第56巻，第2号，151–159. • 麻柄啓一（1990）「誤った知識の組み替えに関する一研究」『教育心理学研究』第38巻，第4号，455–461. • Makel, M. C., Hodges, J., Cook, B. G., & Plucker, J. A. (2021). Both questionable and open research practices are prevalent in education research. Educational Researcher, online first, 1–12. • Makel, M. C., & Plucker, J. A. (2014). Facts are more important than novelty: Replication in the education sciences. Educational Researcher, 43(6), 304–316. • Minocher, R., Atmaca, S., Bavero, C., McElreath, R., & Beheim, B. (2020). Reproducibility improves exponentially over 63 years of social learning research. PsyArXiv. • 中村大輝・原田勇希・久坂哲也・雲財寛・松浦拓也（2021）「理科教育学における再現性の危機とその原因」『理科教育学 研究』62(1), 3-22. • Wicherts, J. M., Borsboom, D., Kats, J., & Molenaar, D. (2006). The poor availability of psychological research data for reanalysis. American Psychologist, 61(7), 726–728. • Wicherts, J. M., Veldkamp, C. L., Augusteijn, H. E., Bakker, M., van Aert, R. C., & van Assen, M. A. (2016). Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p- Hacking. Frontiers in psychology, 7, 1832. • 山口陽弘・前田高之（2011）「メタ認知的支援が理科教育のルール学習に及ぼす効果の検討」『群馬大学教育実践研究』第 28号，267–277.