JAEP2019 Discussion: Evidence synthesis

Transcript

1. 指定討論： 因果効果を評価するための 研究デザインと統計分析，オープンサイエンス 東京大学 教育学研究科 岡田謙介 (ken@p.u-tokyo.ac.jp) 1 日本教育心理学会第61回総会（日本大学） 自主シンポジウム「知見の統合は何をもたらすのか」 Sep 15, 2018 スライド： https://tinyurl.com/20190915okada
2. 要旨  知見の統合の意義は大きい。環境も整ってきた。  実証研究の蓄積，統計分析法の発展  ただし参加者数・研究数の多さは，必ずしも「より確 かな知見」を意味しない  因果効果を評価できる研究デザイン・分析法が肝要  実験（ランダム化比較試験）  統計的因果推論  異質性の検討  感度分析  オープンサイエンスは知見の統合にも貢献する  個票データを統合すれば，異質性の検討や共変量 調整，メカニズムに踏み込んだ検討が可能に  事前登録は出版バイアスの問題を解消 2 https://tinyurl.com/20190915okada
3. 3 独立変数 ｘ 例：受講 従属変数 y 例：就労 共変量 z 例：性格 独立変数 ｘ 例：受講 従属変数 y 例：就労 共変量 z 例：性格 ランダム割り当てにより 要因から除外できる 独立変数へ介入することの 効果は(基本)わからない 効果量は因果効果の大きさ を意味しない 実験 (ランダム化 比較試験RCT) 調査・観察 独立変数の因果効果を 調べることができる
4. RCTのメタ分析  実験≈ランダム化比較試験（RCT）のメタ分析は， 最高位のエビデンスと位置づけられる  同様の位置づけはGRADEなどでも(国里, 2017)  因果効果は対象集団に依存する概念であり，集団平均 であること，異質性の検討は依然重要なことに注意 4 Schonhofer et al. (2008). Clinical practice guideline: Non-invasive mechanical ventilation as treatment of acute respiratory failure. Deutsches Ärzteblatt International, 105, 424-433. 国里愛彦 (2017). 介入効果のメタ分析. 日本心理学会第79回大会 シンポジウム 現場に役立つ心理学(5)
5. 5 独立変数 ｘ 例：受講 従属変数 y 例：就労 共変量 z 例：性格 調査・観察  実験が困難なリサーチ クエスチョンもある  因果効果を推論するた めには統計的因果推論 の枠組みを利用できる  共変量モデリング マッチング，層 別・階層モデル 傾向スコア解析  異質性の検討や，感度 分析（仮定やモデルを 変えたときにどの程度 果が変わるのかの検 討）が一層重要 星野崇宏・岡田謙介 (2006). 傾向スコアを用いた共変量調整による因果効果の推定と臨床医学・疫学・薬学・公衆衛生分 野での応用について. 保健医療科学, 55, 230-243.
6. 個票データによる知見の統合がより有効 6 個票データに基づく メタ分析の研究数  検出力の増大  異質性の発見を容易に  共変量調整を可能に Riley, R. D. et al. (2010). Meta-analysis of individual participant data: rationale, conduct, and reporting. BMJ 2010;340:c221
7. 個票データによるメタ分析研究の例 7 心理学でも Ebert et al. (2016). Does Internet-based guided-self-help for depression cause harm? Psychological Medicine, 46, 2679-2693.
8. オープンサイエンスの普及 8 例：本研究室の OSFプロジェクト 三浦麻子(2018). 心理学におけるオープンサイエンス 心理学評論, 61, 3-12. 三浦麻子(2019). あなたもできるオープンサイエンス 日本心理学会第83回大会 心研小委員会企画シンポジウム 星野崇宏・岡田謙介 (2019). いかに研究結果を有意に見せるか？ 教育心理学年報, 58, 291-296
9. オープンサイエンスの普及  心理学科の研究者のうち何割がOpen Science Frameworkアカウントを持っているか 9 Nosek, B. (2019). The ｒise of open science in psychology, a preliminary report. Center for Open Science blog.
10. エコチル調査(2011～)の例 得られたデータは原則とし て全ての者に対して公開される。 データが活用され、科学の進歩ならびに環境健康施策の推進に資 することが期待される。 データの利用に関しては、本調査の設計・実施に関わった研究 者に対し、その関与に応じて、優先的に使用・解析する機会を与 える。調査に関わって いない者に対しては、一定期間が経過する まで、データの利用を制限する。 (「基本計画」より) 10
11. 研究の事前登録(pre-registration)  仮説  方法  デザイン（独立変数・従属変数・共変量）  サンプル・除外基準  分析計画  用いる変数  統計分析法  OSFでは本日朝現 在29万5千件の 事前登録が記録 されている 11 OSF Registries van't Veer & Giner-Sorolla (2016). Pre-registration in social psychology—A discussion andsuggested template. Journal of Experimental Social Psychology, 67, 2-12. 加藤司 (2018) 『パーソナリティ研究』の新たな挑戦―追試研究と事前登録研究の掲載について パーソナリティ研究, 27, 99-124. 事前登録された知見の統合は， より高いエビデンスと言えるだろう
12. まとめ  知見の統合の意義は大きい。環境も整ってきた。  実証研究の蓄積，統計分析法の発展  ただし参加者数・研究数の多さは，必ずしも「より確 かな知見」を意味しない  因果効果を評価できる研究デザイン・分析法が肝要  実験（ランダム化比較試験）  統計的因果推論  異質性の検討  感度分析  オープンサイエンスは知見の統合にも貢献する  個票データを統合すれば，異質性の検討や共変量 調整，メカニズムに踏み込んだ検討が可能に  事前登録は出版バイアスの問題を解消 12 https://tinyurl.com/20190915okada