Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
学習指導法の効果を検証する研究デザインに関する方法論的研究 ―方法論的プラグマティズムを基盤に...
Search
Unzai Hiroshi
October 08, 2023
Research
0
270
学習指導法の効果を検証する研究デザインに関する方法論的研究 ―方法論的プラグマティズムを基盤にした多面的な検証方法の提案―
大会名:日本教科教育学会第49回全国大会(弘前大会)
開催日:2023年10月7〜8日
発表日:2023年10月7日
場所:弘前大学
Unzai Hiroshi
October 08, 2023
Tweet
Share
More Decks by Unzai Hiroshi
See All by Unzai Hiroshi
理科教育研究のパラダイム / Paradigms in Science Education Research
unzaih
0
370
理科の固有性に関する基礎的研究―「自然科学の性質」と「歴史学の性質」の比較を中心として―/Nature of School Science(Rika): A Comparison of "Nature of Science" and "Nature of History"
unzaih
0
340
1977-2020 年の『科学教育研究』のレビュー ―研究方法に着目して―/A Review of “Journal of Science Education in Japan” in 1977-2020: How have we been researching?
unzaih
0
110
先行研究の調べ方―理科教育の研究領域を例として―/ Literature Review in Science Education
unzaih
0
790
「科学とは何か」をどのように教えるかー理科教育学の視点からー
unzaih
0
710
オープンサイエンスの視点から見た理科教育研究のあり方
unzaih
1
240
Other Decks in Research
See All in Research
Isotropy, Clusters, and Classifiers
hpprc
3
540
大規模言語モデルのバイアス
yukinobaba
PRO
4
600
LLM時代にLabは何をすべきか聞いて回った1年間
hargon24
1
400
研究の進め方 ランダムネスとの付き合い方について
joisino
PRO
47
17k
工学としてのSRE再訪 / Revisiting SRE as Engineering
yuukit
18
10k
[第62回NLPコロキウム]「なりきり」を促すHCI設計:対話型接客ロボットの遠隔操作者へのリアルタイム変換音声フィードバックの適用
nami_ogawa
0
280
文献紹介:A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
a1da4
0
190
LLM based AI Agents Overview -What, Why, How-
masatoto
1
400
アジャイルコミュニティが、宗教ポイと云われるのは何故なのか?
fujiihideo
0
390
MIRU2024チュートリアル「様々なセンサやモダリティを用いたシーン状態推定」
miso2024
3
2k
湯村研究室の紹介2024 / yumulab2024
yumulab
0
140
SSII2024 [PD] SSII、次の30年への期待
ssii
PRO
2
1.4k
Featured
See All Featured
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
279
13k
Docker and Python
trallard
40
3k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
1
240
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
22k
Automating Front-end Workflow
addyosmani
1365
200k
Facilitating Awesome Meetings
lara
49
6k
A Modern Web Designer's Workflow
chriscoyier
692
190k
Designing with Data
zakiwarfel
98
5.1k
Building Better People: How to give real-time feedback that sticks.
wjessup
360
19k
Infographics Made Easy
chrislema
239
18k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
29
1.7k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
23
1.7k
Transcript
学習指導法の効果を検証する研究デザインに関する⽅法論的研究 ―⽅法論的プラグマティズムを基盤にした多⾯的な検証⽅法の提案― 東海⼤学児童教育学部 雲財 寛
[email protected]
2023/10/7 ⽇本教科教育学会第49回全国⼤会@弘前⼤学
研究の概要 2 研究の⽬的 学習指導法の効果を検証する研究デザインの提案 どんな研究デザイン︖ ⽅法論的プラグマティズムを認識論的基盤にした多⾯的な検証⽅法に基づく研究デザイン 学習指導法の 効果検証の観点 概要 アプローチ
理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など 学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定,交差遅延効果モ デルなど
研究の背景|よりよいエビデンスの創出 3 •学習効果に影響を及ぼすものは何か︖ ーメタ分析による実証研究の統合 ーHattieのVisible Learning プロジェクト •メタ分析は頑健なデータであることを前提とする ー「ゴミを⼊れてもゴミが出てくる」 ー頑健なエビデンスは頑健な⼀次研究から
https://www.visiblelearning.com/content/visible-learning-research 頑健なデータを得るための研究デザインを検討する必要がある
研究の背景|教育研究における問題点(国外) 4 •(医学)教育研究の7つの⼤罪(Picho & Artino Jr, 2016) 1. 不⼗分な⽂献レビューの呪い 2.
検出⼒不⾜ 3. 測定の重要性の無視 4. 誤った統計ツールの使⽤ 5. データの無慈悲な拷問とその他の疑わしい分析⼿法 6. P値の奴隷 7. 結果の報告や⽣データの管理における透明性の⽋如
研究の背景|教育研究における問題点(国内) 5 •国内の理科教育教育研究における研究⽅法の問題点(中村・原⽥・久坂・雲財・松浦,2021) ー『理科教育学研究』に掲載の過去 4 年間の論⽂における QRPs の実態を調査 ー8種類の問題のある研究実践が確認された ①妥当性の確認不⾜,②⺟集団の未定義,③出版バイアス,④誤った多重⽐較
⑤検定⼒不⾜,⑥HARKing,⑦過度の⼀般化,⑧記載情報の不⾜ ー再現性の危機に対応する⽅法として 4つの提案 1.理科教育学分野における過去の研究に対する積極的な追試の実施 2.問題のある研究実践を防⽌するための適切な研究⽅法の普及 3.事前登録制度の導⼊ 4.オープンサイエンスを推進と積極的なデータ公開
研究の背景|テストのガイドライン 6 •Standards for Educational & Psychological Testing(AERA et al,
2014) ーテストと評価による基準とガイドラインを⽰した本 ーアメリカ教育研究協会(AERA),アメリカ⼼理学会(APA),アメリカ教育測定 協議会(NCME)の共同執筆 ー内容︓妥当性,信頼性,公平性,利⽤上の注意点など ー関連領域の専⾨家による合意形成・ガイドライン策定 ー多くの研究者が参照している(はず)
問題の所在|学習指導法の効果を検証する研究の課題点 7 •学習指導法の効果を検証する研究の⽅法論的な課題 ー無数にある変数 教師,指導法,学習者,教室⽂化,教室環境など・・・ ーアウトプットを規定することの困難さ ー学習指導法の効果をいつ測られるべきか︖ 実施直後に伸びていたらそれでいいのか︖ 数年後に減衰しないのか︖ ーどのようにして「この学習指導法は◯◯に対して効果的である」という因果関係を実証するか︖
ー量的研究︖ 質的研究︖ 混合研究︖ 終わりなきパラダイム論争 •検討の⽷⼝は︖ ⽅法論的プラグマティズム(Foster, 2023)を認識論的基盤とした多⾯的な検証⽅法の提案
研究の⽬的・⽅法 8 研究の⽬的 学習指導法の効果を検証する研究デザインの提案 研究の⽅法 ・認識論的基盤の検討 ・学習指導法の効果を検証する観点の検討
研究パラダイムに関するこれまでの議論 9 教育界,特に科学教育界では,他の研究パラダイムの研究を無視する傾向がある(Kincheloe & Tobin, 2009) 表⾯的で限定的 逸話的で ⽅法論的な 厳密さに⽋ける
実証主義者 (量) 解釈主義者 (質) ポスト実証主義の 調査研究 解釈主義・構成主義の 調査研究 研究トピック ・効果の評価 ・介⼊教育プログラムの有効性 ・⼤規模な評価・調査 ⽂化、⾔語使⽤、教室や学校の⽇常的 な交流に焦点を当てた教師と⽣徒の⽣ きられた経験 研究デザイン 代表的サンプリング、定量的測定、 データを複数のプロセスから検証する 説明的なデザイン(例.実験や調査研 究) ⾃然主義的な環境における探索的デザ イン(例︓グラウンデッド・セオリー、 エスノグラフィー、現象学研究)、厚 い記述を含む進化した研究⽅法 参加者との関係 性における研究 者の役割 客観的で、バイアスのかかっていない データ収集者、研究参加者とは密接に かかわらないデータ解釈者 研究参加者の⽣きられた経験を洞察的 かつ情熱的に意味づける⼈、ストー リーテラー 質の基準 • 構造・概念の明確な定義 • 客観的かつ包括的なデータを得るた めの厳格な研究⼿法 • 測定の信頼性 知識主張の内的・外 的妥当性 • 現場での⻑時間の有意義な交流と、 データの再解析・再反省の繰り返し • 研究者のスキル、感性、誠実さに依 存 • メンバーチェック、オーディットト レイル、ピアレビュー、トライアン ギュレーション 報告のスタイル ・伝統的な科学研究のフォーマット ・三⼈称で書かれる ・厚い記述 ・伝統的な実証研究として可能 ・参加者の⽣活体験と研究者の解釈を 織り交ぜたストーリーテリング Treagust, D. F., & Won, M. (2023). Paradigms in science education research. In Handbook of research on science education (pp. 3-27). Routledge. 「量」と「質」はグローバルなアイデ ンティティ・マーカーとして機能して しまっている(Foster, 2023)
⽅法論的プラグマティズムとは︖ 10 ⽅法論的プラグマティズム RQ(リサーチクエスチョン)に最適な研究デザインや⼿法を選択するためのアプローチ 包括的原則(Foster, 2023) •RQ・状況依存性 ー本質的に良い⽅法,悪い⽅法は存在せず,それぞれの状況において,特定のRQに適した⽅法が存在する ー⽅法論的プラグマティズムを定義するには⼗分に定義されたリサーチクエスチョンを前提となる •研究⼿法
ー質的⽅法,量的⽅法,混合法のいずれを⽤いるかは研究のニーズのみに基づき純粋にプラグマティックに決定される ー混合法の優位性を事前に約束するものではない •その他 ⽅法論的プラグマティズムはいかなる意味においても「中⽴的な」パラダイムとして描くことはできない
学習指導法の効果検証 11 •今回着⽬する「指導法の効果検証」というニーズを踏まえると・・・ ー「学習指導法の効果を⽰す証拠を収集する」という研究デザインになる ー主たる⽬的︓量的⼿法,質的⼿法,混合法のあらゆる⼿法を⽤いて証拠を収集すること ー⽅法やデータを問わず,多様な視点から多様な証拠を収集し,統合する •学習指導法の効果検証に⽤いられてきた評価物・評価ツール ー質問紙 ー評価問題 ーワークシート・ノートの記述
ー⾏動観察 ーパフォーマンス課題 これらの証拠をどのように位置づけるか︖
公共政策学における評価観点の援⽤ 12 様々な証拠を位置づける理論的枠組みとして公共政策学のプログラム評価の観点を援⽤ ー「学習指導法」と「公共政策」の類似性 ー条件の統制が難しい集団に対する介⼊ プログラムの 評価の種類 志向性 セオリー評価 プログラムセオリーに基づく因果関係の設定やデザインは適切か︖
プロセス評価 プログラムプロセスはプログラムセオリーに基づき正しく実施されているのか︖ アウトカム評価 プログラムは対象集団に対してどのような影響を与えているのか︖ プログラム評価の主要要素(名島,2018) 理論的裏付け 学習過程・学習活動 平均効果
学習指導法の効果検証の観点 13 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など
学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定, 交差遅延効果モデルなど
理論的裏付け 14 •学術的な知⾒に基づいている学習指導法であるか︖ 理科の⽂脈でいうと,動機づけの諸理論,概念変容の諸理論など 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に
よって裏付けられているか 関連する先⾏研究に基づく論証など 学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定, 交差遅延効果モデルなど
学習過程・学習活動 15 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など
学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定, 交差遅延効果モデルなど •学習者が意図通りの学習活動を実施できているか︖ 特定の教授・学習理論に基づいていたとしても,実際の学習過程や学習活動が 意図しないものであれば,再検討する必要がある
平均効果 16 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など
学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定, 交差遅延効果モデルなど •学習者集団の平均的な変容はどの程度か︖ ー統計的仮説検定のロジックは背理法であるため,有意差がなかった場合には何も結論することができない ー統計的因果推論やベイズ統計に基づく分析が妥当である
そのほか重要な観点 17 •適切な情報開⽰ 実践した学校の周辺環境,教師・学習者の特性,教室⽂化など これらの情報を踏まえたうえで,総合的に学習指導法の効果を評価することが重要である
学習指導法の効果を検証する研究デザイン(例) 18 学習指導法の 効果検証の観点 概要 アプローチ 理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など
学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定, 交差遅延効果モデルなど 実践前 実践中 実践後 ・厳密な⽂献レビュー ・RQ・構成概念の厳密な定義 ・妥当性・信頼性の⾼い評価⽅法の選択 ・統計的因果推論が可能な調査デザイン ・実践前後のデータの収集 ・実践中のデータの収集 ・発話・⾏動・記述分析 ・統計的因果推論 ・ベイズ推定 など
まとめと今後の課題 19 本研究の概要 今後の課題 ー学習指導法の効果の統合の⽅法 ーメタ分析(ハッティ,2018)やメタエスノグラフィー(⿃⽥,2008)などを参考に検討する予定 学習指導法の 効果検証の観点 概要 アプローチ
理論的裏付け その学習指導法は特定の教授・学習理論に よって裏付けられているか 関連する先⾏研究に基づく論証など 学習過程・学習活動 実際の学習過程・学習活動は意図通りか 発話・⾏動・記述分析など 平均効果 その学習指導法は学習者集団にどの程度効 果があるのか 統計的因果推論,ベイズ推定,交差遅延効果モ デルなど