学習指導法の効果を検証する研究デザインに関する⽅法論的研究 ―⽅法論的プラグマティズムを基盤にした多⾯的な検証⽅法の提案― 東海⼤学児童教育学部 雲財 寛 unzai@tsc.u-tokai.ac.jp 2023/10/7 ⽇本教科教育学会第49回全国⼤会＠弘前⼤学

研究の概要 2 研究の⽬的 学習指導法の効果を検証する研究デザインの提案 どんな研究デザイン︖ ⽅法論的プラグマティズムを認識論的基盤にした多⾯的な検証⽅法に基づく研究デザイン 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など 学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論，ベイズ推定，交差遅延効果モ デルなど

研究の背景｜よりよいエビデンスの創出 3 ●学習効果に影響を及ぼすものは何か︖ ーメタ分析による実証研究の統合 ーHattieのVisible Learning プロジェクト ●メタ分析は頑健なデータであることを前提とする ー「ゴミを⼊れてもゴミが出てくる」 ー頑健なエビデンスは頑健な⼀次研究から https://www.visiblelearning.com/content/visible-learning-research 頑健なデータを得るための研究デザインを検討する必要がある

研究の背景｜教育研究における問題点（国外） 4 ●（医学）教育研究の７つの⼤罪（Picho & Artino Jr, 2016） 1. 不⼗分な⽂献レビューの呪い 2. 検出⼒不⾜ 3. 測定の重要性の無視 4. 誤った統計ツールの使⽤ 5. データの無慈悲な拷問とその他の疑わしい分析⼿法 6. P値の奴隷 7. 結果の報告や⽣データの管理における透明性の⽋如

研究の背景｜教育研究における問題点（国内） 5 ●国内の理科教育教育研究における研究⽅法の問題点（中村・原⽥・久坂・雲財・松浦，2021） ー『理科教育学研究』に掲載の過去 4 年間の論⽂における QRPs の実態を調査 ー８種類の問題のある研究実践が確認された ①妥当性の確認不⾜，②⺟集団の未定義，③出版バイアス，④誤った多重⽐較 ⑤検定⼒不⾜，⑥HARKing，⑦過度の⼀般化，⑧記載情報の不⾜ ー再現性の危機に対応する⽅法として 4つの提案 １．理科教育学分野における過去の研究に対する積極的な追試の実施 ２．問題のある研究実践を防⽌するための適切な研究⽅法の普及 ３．事前登録制度の導⼊ ４．オープンサイエンスを推進と積極的なデータ公開

研究の背景｜テストのガイドライン 6 ●Standards for Educational & Psychological Testing（AERA et al, 2014） ーテストと評価による基準とガイドラインを⽰した本 ーアメリカ教育研究協会（AERA），アメリカ⼼理学会（APA），アメリカ教育測定 協議会（NCME）の共同執筆 ー内容︓妥当性，信頼性，公平性，利⽤上の注意点など ー関連領域の専⾨家による合意形成・ガイドライン策定 ー多くの研究者が参照している（はず）

問題の所在｜学習指導法の効果を検証する研究の課題点 7 ●学習指導法の効果を検証する研究の⽅法論的な課題 ー無数にある変数 教師，指導法，学習者，教室⽂化，教室環境など・・・ ーアウトプットを規定することの困難さ ー学習指導法の効果をいつ測られるべきか︖ 実施直後に伸びていたらそれでいいのか︖ 数年後に減衰しないのか︖ ーどのようにして「この学習指導法は◯◯に対して効果的である」という因果関係を実証するか︖ ー量的研究︖ 質的研究︖ 混合研究︖ 終わりなきパラダイム論争 ●検討の⽷⼝は︖ ⽅法論的プラグマティズム（Foster, 2023）を認識論的基盤とした多⾯的な検証⽅法の提案

研究の⽬的・⽅法 8 研究の⽬的 学習指導法の効果を検証する研究デザインの提案 研究の⽅法 ・認識論的基盤の検討 ・学習指導法の効果を検証する観点の検討

研究パラダイムに関するこれまでの議論 9 教育界，特に科学教育界では，他の研究パラダイムの研究を無視する傾向がある（Kincheloe & Tobin, 2009） 表⾯的で限定的 逸話的で ⽅法論的な 厳密さに⽋ける 実証主義者 （量） 解釈主義者 （質） ポスト実証主義の 調査研究 解釈主義・構成主義の 調査研究 研究トピック ・効果の評価 ・介⼊教育プログラムの有効性 ・⼤規模な評価・調査 ⽂化、⾔語使⽤、教室や学校の⽇常的 な交流に焦点を当てた教師と⽣徒の⽣ きられた経験 研究デザイン 代表的サンプリング、定量的測定、 データを複数のプロセスから検証する 説明的なデザイン（例．実験や調査研 究） ⾃然主義的な環境における探索的デザ イン（例︓グラウンデッド・セオリー、 エスノグラフィー、現象学研究）、厚 い記述を含む進化した研究⽅法 参加者との関係 性における研究 者の役割 客観的で、バイアスのかかっていない データ収集者、研究参加者とは密接に かかわらないデータ解釈者 研究参加者の⽣きられた経験を洞察的 かつ情熱的に意味づける⼈、ストー リーテラー 質の基準 • 構造・概念の明確な定義 • 客観的かつ包括的なデータを得るた めの厳格な研究⼿法 • 測定の信頼性 知識主張の内的・外 的妥当性 • 現場での⻑時間の有意義な交流と、 データの再解析・再反省の繰り返し • 研究者のスキル、感性、誠実さに依 存 • メンバーチェック、オーディットト レイル、ピアレビュー、トライアン ギュレーション 報告のスタイル ・伝統的な科学研究のフォーマット ・三⼈称で書かれる ・厚い記述 ・伝統的な実証研究として可能 ・参加者の⽣活体験と研究者の解釈を 織り交ぜたストーリーテリング Treagust, D. F., & Won, M. (2023). Paradigms in science education research. In Handbook of research on science education (pp. 3-27). Routledge. 「量」と「質」はグローバルなアイデ ンティティ・マーカーとして機能して しまっている（Foster, 2023）

⽅法論的プラグマティズムとは︖ 10 ⽅法論的プラグマティズム RQ（リサーチクエスチョン）に最適な研究デザインや⼿法を選択するためのアプローチ 包括的原則（Foster, 2023） ●RQ・状況依存性 ー本質的に良い⽅法，悪い⽅法は存在せず，それぞれの状況において，特定のRQに適した⽅法が存在する ー⽅法論的プラグマティズムを定義するには⼗分に定義されたリサーチクエスチョンを前提となる ●研究⼿法 ー質的⽅法，量的⽅法，混合法のいずれを⽤いるかは研究のニーズのみに基づき純粋にプラグマティックに決定される ー混合法の優位性を事前に約束するものではない ●その他 ⽅法論的プラグマティズムはいかなる意味においても「中⽴的な」パラダイムとして描くことはできない

学習指導法の効果検証 11 ●今回着⽬する「指導法の効果検証」というニーズを踏まえると・・・ ー「学習指導法の効果を⽰す証拠を収集する」という研究デザインになる ー主たる⽬的︓量的⼿法，質的⼿法，混合法のあらゆる⼿法を⽤いて証拠を収集すること ー⽅法やデータを問わず，多様な視点から多様な証拠を収集し，統合する ●学習指導法の効果検証に⽤いられてきた評価物・評価ツール ー質問紙 ー評価問題 ーワークシート・ノートの記述 ー⾏動観察 ーパフォーマンス課題 これらの証拠をどのように位置づけるか︖

公共政策学における評価観点の援⽤ 12 様々な証拠を位置づける理論的枠組みとして公共政策学のプログラム評価の観点を援⽤ ー「学習指導法」と「公共政策」の類似性 ー条件の統制が難しい集団に対する介⼊ プログラムの 評価の種類 志向性 セオリー評価 プログラムセオリーに基づく因果関係の設定やデザインは適切か︖ プロセス評価 プログラムプロセスはプログラムセオリーに基づき正しく実施されているのか︖ アウトカム評価 プログラムは対象集団に対してどのような影響を与えているのか︖ プログラム評価の主要要素（名島，2018） 理論的裏付け 学習過程・学習活動 平均効果

学習指導法の効果検証の観点 13 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など 学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論，ベイズ推定， 交差遅延効果モデルなど

理論的裏付け 14 ●学術的な知⾒に基づいている学習指導法であるか︖ 理科の⽂脈でいうと，動機づけの諸理論，概念変容の諸理論など 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など 学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論，ベイズ推定， 交差遅延効果モデルなど

学習過程・学習活動 15 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など 学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論，ベイズ推定， 交差遅延効果モデルなど ●学習者が意図通りの学習活動を実施できているか︖ 特定の教授・学習理論に基づいていたとしても，実際の学習過程や学習活動が 意図しないものであれば，再検討する必要がある

平均効果 16 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など 学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論，ベイズ推定， 交差遅延効果モデルなど ●学習者集団の平均的な変容はどの程度か︖ ー統計的仮説検定のロジックは背理法であるため，有意差がなかった場合には何も結論することができない ー統計的因果推論やベイズ統計に基づく分析が妥当である

そのほか重要な観点 17 ●適切な情報開⽰ 実践した学校の周辺環境，教師・学習者の特性，教室⽂化など これらの情報を踏まえたうえで，総合的に学習指導法の効果を評価することが重要である

学習指導法の効果を検証する研究デザイン（例） 18 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など 学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論，ベイズ推定， 交差遅延効果モデルなど 実践前 実践中 実践後 ・厳密な⽂献レビュー ・RQ・構成概念の厳密な定義 ・妥当性・信頼性の⾼い評価⽅法の選択 ・統計的因果推論が可能な調査デザイン ・実践前後のデータの収集 ・実践中のデータの収集 ・発話・⾏動・記述分析 ・統計的因果推論 ・ベイズ推定 など

まとめと今後の課題 19 本研究の概要 今後の課題 ー学習指導法の効果の統合の⽅法 ーメタ分析（ハッティ，2018）やメタエスノグラフィー（⿃⽥，2008）などを参考に検討する予定 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など 学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論，ベイズ推定，交差遅延効果モ デルなど