ReproducibiliTea material on Szollosi & Donkin (2021)

ReproducibiliTea Tokyo
2021.9.2.

Transcript

1. Arrested Theory Development: The Misguided Distinction Between Exploratory and Confirmatory Research @ReproducibiliTea Tokyo ☕ September 2nd, 2021 Presentation by Daiki Nakamura Szollosi, A., & Donkin, C. (2021). Arrested Theory Development: The Misguided Distinction Between Exploratory and Confirmatory Research. Perspectives on Psychological Science, 16(4), 717–724. https://doi.org/10.1177/1745691620966796 https://twitter.com/chbergma/status/928960816589746182
2. About the Authors 2 Aba Szollosi Postdoctoral Research Assistant in the School of Psychology, University of New South Wales. Chris Donkin Associate Professor in the School of Psychology, University of New South Wales. #Main interests I am interested in cognitive psychology, particularly in developing and testing computational and mathematical models of cognitive processes. #Main interests I am interested broadly in how people learn and make decisions.
3. Introduction 3 ⚫ これまでの再現性向上の取り組み • 研究方法や手続きの改善 ➢ 事前登録（Nosek et al., 2018; Wagenmakers et al., 2012） ➢ 直接的追試（Pashler & Harris, 2012; Simons, 2014; Zwaan et al., 2018） ⚫ 理論の改善の方が重要ではないかという意見 Fiedler (2017, 2018); Gray (2017); Shiffrin et al. (2018); Oberauer & Lewandowsky (2019) • 探索型と検証型の研究を区別しよう • 探索型では、理論を支持する効果を発見する。効果が見つからなくても理論は反証されない • 検証型では、仮説の不一致＝反証 • 理論を計算モデルで定式化することで、厳密な仮説を設定できる ⚫ 本論文の主張 • 再現性の問題の原因は、問題のある理論生成にある • 多くの心理学理論に内在する柔軟性が問題 • 実証研究の前に、理論の柔軟性を評価するべき 理論の危機論文のまとめ by Eiko Fried https://osf.io/mqsrc
4. Controversies Around Social Priming: A Case Study 4 ⚫ ソーシャル・プライミング研究と再現性 • ソーシャル・プライミング：ある概念的な意味を持つ刺激が、その意味に関連し た方法で人々の行動に影響を与える ➢ 例）Professor-priming：大学教授という概念でプライミングすると、サッカーの フーリガンという概念でプライミングした場合に比べて、クイズの成績が良くなる (Dijksterhuis & van Knippenberg, 1998) • 追試の結果、再現に失敗してきた（e.g., Doyen et al., 2012; Harris et al., 2013; Pashler et al., 2012; Shanks et al., 2013） • Professor-priming 研究の大規模な追試（O'Donnell et al., 2018） ⚫ 再現性問題の原因 • 問題の原因は、探索的研究と確証的研究を区別してこなかったこととされてきた • 探索的研究に基づく後付けの説明（postdictions）が事前の予測（prediction）と して提示されると、不確実性を誤認させることになる（Nosek et al., 2018） • そこで、両者を区別するために、事前登録や直接的追試などに取り組んできた • しかし、理論の柔軟性の方が問題なのではないか？ • Professor-priming の研究を例に、検討していくよ。
5. Development of Good Theories 5 ⚫ 良い理論とは何か？ • 科学理論：物事がどのようにして（How）、なぜ（Why）、世界に現れるのかにつ いての説明的な推測の集合体 • 既存の理論の欠陥を検出して修正しようとすることで、良い説明がもたらされる （Popper, 1959） • 良い説明の重要な特性は、変化しにくいこと（Deutsch, 2011） • 良い理論の３つの基準（Deutsch, 2016） （a）事象を説明できている（WhyとHowの質問に暫定的に満足できる答えを与える） （b）他の良い理論と整合性がある （c）事象に簡単には適合させることができない →ありとあらゆる観測パターンを説明できるような柔軟性が無い • 理論を構成する推測は、現象を説明可能にする一方で、柔軟性があってはならない • これまでの心理学理論の柔軟性に関する議論では、理論の数学的表現に柔軟性に焦 点が当てられていた（e.g., Roberts & Pashler, 2000） • しかし、本研究では理論そのものの柔軟性に焦点を当てる
6. Development of Good Theories 6 ⚫ 理論を批判する２つの方法 １．議論による批判 • 前述の基準と照らして評価 • ある理論では既存の観測を説明できないという議論の形態 ２．実証研究による批判 • 理論が説明できない観測結果を示すことで批判する • しかし、理論がどのような状況でも当てはまる柔軟なものであれば、実証研究によ る批判を免れることができてしまう。 ⚫ 批判による理論の変更 • どちらの批判方法であっても、問題が見つかれば理論を変更する必要がある • 変更された理論も、既存の理論や観測結果と矛盾してはいけないので、良い理論は 変更の方法も制約するし、変更に耐えられる（？）
7. Development of Good Theories 7 ⚫ Professor-priming の追試の例（O'Donnell et al., 2018） • 事前登録に沿ってデータが収集される前に、理論に１つの変更が加えられた • 予備調査に基づき、性別がプライミングの効果を和らげることが提案された • なぜそのような調整が必要なのかが漠然としか書かれていない • 男性の方がプライミングの影響を受けやすいという調整だったが、逆の予測も可能で あったはず • 性別がプライミングに関係するとどのように行動に影響を及ぼすのかが明記されていな いため、理論の中で予測が簡単に変わってしまう • 実際、事前登録された追試で性別の効果が認められなかった際には、当初の変更を断念 し、実験の目的を意識することでプライミング効果が抑制されるという新たなモデレー ターが追加された (Dijksterhuis, 2018) • しかし、このような意識による抑制は再現されなかった (Newell & Shaw, 2017) • 理論の柔軟性を検討するのに、実証研究は必ずしも必要ではない • 理論に柔軟性があれば、どんな追試結果も柔軟に説明できてしまう • 実際、Professor-priming の追試の例では、再現に失敗したのに理論を柔軟に変更する ことで結果が説明されていた • 実証研究による理論の批判が有用なのは、既存の理論に問題を生じさせることができる 場合に限られるが、変化しやすい柔軟な理論は問題を生じさせることができない
8. O'Donnell et al. (2018) 8 (a) female participants and (b) male participants. Fig 1. Results of the primary analyses https://doi.org/10.1177%2F1745691618755704
9. 事前の p-curve analysis 9 https://twitter.com/Research_Tim/status/968074008427204609/photo/3 私は、p-カーブが効果を支持しない場合の非再現性と、p-カーブが 効果を示した場合の非再現性を区別する必要があると思います。 p-カーブが良いということは、再現性があるということではなく、 「特定の方法でp-ハックしていない」ということに過ぎません。 高齢者プライミングに比べて、 教授プライミングの p-curve は良いように見えたが・・・
10. The Misguided Exploratory–Confirmatory Distinction 10 ⚫ 探索的／確証的研究の区別は理論の柔軟性の低減に貢献するか？ • 一見すると、事前登録や直接的追試によって、探索的／確証的研究を区別すること は理論の柔軟性の低減に貢献するように見える • 探索的研究によって調整された理論には懐疑的になり、確証的研究によって予測が 証明された理論には自信が持てるため • しかし、確証的研究において理論の予測を固定することは柔軟な理論でも可能 • 柔軟な理論に合致する多くの可能な予測の中から１つを選び、予測として設定する • 理論がどんな観測にも適応できる柔軟なものであれば、観測結果によって理論が反 証されない（i.e., 反証可能性の危機） • Professor-priming の追試の例では、性別の効果は事前登録された（＝探索的／確 証的研究は区別されていた）ものの、理論的考察がなされていなかった • その結果、実験で効果が観察されなかったときにも、この新たな観察によって理論 が損なわれることはなかった • それどころか、理論の柔軟性を利用して、新たな調整変数が推測され、新しい実証 実験が提案されることになっていった（Dijksterhuis, 2018） • 実証研究による理論批判ではなく、議論による理論批判が事前になされていれば、 追試をする前に同じ結論に達していたはず
11. The Misguided Exploratory–Confirmatory Distinction 11 ⚫ 理論の柔軟性と再現性問題 • 事前予測と事後予測の区別は、理論開発には関係ない • 理論が変化しにくいものであれば、実験の後に提案された理論だからといって、 その理論に懐疑的になる理由はない • 反対に、変更が容易な理論であれば、たとえ事前に固定された予測が実験で証明 されたとしても、その理論を受け入れる理由はない • 柔軟な予測ではなく、理論に内在する柔軟性こそが、再現性の問題の根本原因である • 心理学が再現性の問題を抱えているのは、何でも簡単に説明できてしまうこと説明力 の低い理論に基づいて、結果が再現できることを期待しているから • 追試が有効なのは、良い理論に対してのみ
12. Unarresting Theory Development 12 ⚫ 理論に内在する柔軟性を評価する方法 • ３つの基準で評価し、不十分であることがわかれば、改善のための変更を行う ①現象を説明できている、②他の理論と整合的、③適合させにくい ⚫ Professor-priming の例 • 性別という調整変数を検討する上では、性別という観点から当該理論を問い直 し、過去の観測結果を説明できているかを検討し、性別の効果の説明を理論に 加える必要があった • 関連する理論が無いため、理論の柔軟性が制約されなかった ⚫ 理論生成の透明性 • 理論が生成・更新されるプロセスを示すことで、透明性を高め、説明責任を果 たすことも重要
13. Conclusion 13 • 良い理論から導かれる予測は、簡単には変えられないので、事前予測・事後予測の 区別は不要 • 柔軟な理論が豊富にあることの方が、現在の心理学の再現性の問題を説明するのに 適している • 議論による理論批判をより重視することで、再現性を向上させることができるので はないか
14. 感想 14 ⚫ 柔軟性の無い良い心理学理論とは？ ①現象を説明できている →説明できているかの判断に曖昧さや柔軟性が残り続けるのでは？ →提案可能な説明空間を制約するだけのロバストな現象がない ②他の理論と整合的 →他の理論との整合性は、理論のもっともらしさを高める一方で、絶対的な基準に はなり得ないのでは？関連する理論が提案されていないだけの場合もあり得る。 ③簡単には適合させることができない →実際問題、心理学理論を精緻化することで、提案可能な予測空間を狭められるの か？むしろ、変数が増えることで提案可能な予測空間は広がるのではないか？ • Deutsch（2016）が気になるが、理解できる気がしなかった。
15. 補足資料 15
16. Eronen & Bringmann (2021) 16 ⚫ 優れた心理学理論を構築するための3つの基本的な困難 1. ロバストな現象の欠如 2. 構成概念の妥当性と反復的検証の欠如 3. 因果関係の確立の問題 ➢ 理論の危機を解決するためには，これらの問題に取り組み，議論を重ねる必要がある ⚫ 心理学研究に対する提言 • 「現象の発見」や「現象駆動型の研究」をもっと行うべき（Borsboom et al., 2021; De Houwer, 2011; Haig, 2013; Trafimow & Earp, 2016） ➢ 新たな現象を発見し、すでに発見された現象についてより強固な証拠を集めることで，候補とな る理論の空間が制約される ➢ 現象の背後にあるメカニズムがわからなくても、その現象が存在することを知ることは、科学や 社会にとって非常に重要 • 理論を制約する強固な現象群は依然として存在せず、使用される構成概念は妥当性が疑わ しい状況で、心理学の理論をより数学的、形式的にすることが心理学の進歩につながるか は疑問 • 概念の明確化と構成要素の検証が重要であり、検証は反復的かつ継続的なプロセスである と考えるべき ➢ 明確に定義され、明確に測定可能な構成要素を持つことで、ターゲットを絞った介入を行い、そ の効果を追跡することが容易になる