ReproducibiliTea material on Eronen & Bringmann (2021)

ReproducibiliTea Tokyo
2021.5.13.

Transcript

1. The Theory Crisis in Psychology: How to Move Forward @ReproducibiliTea Tokyo ☕ May 13, 2021 Presentation by Daiki Nakamura Eronen, M. I., & Bringmann, L. F. (2021). The Theory Crisis in Psychology: How to Move Forward. Perspectives on Psychological Science. https://doi.org/10.1177/1745691620970586 https://twitter.com/chbergma/status/928960816589746182
2. About the Authors 2 Markus I. Eronen Department of Theoretical Philosophy, University of Groningen. Associate editor of the journal Theory & Psychology and a co-coordinator of the master program Philosophy, Science and Humanities. #Current research topics (1) causal discovery and downward causation (2) the role of theory in psychology (3) levels and the nature of hierarchical organization Laura F. Bringmann Department of Psychometrics and Statistics, University of Groningen. #Main interests Time series analyses, dynamical networks, ESM in clinical practice, and philosophy of psychology and psychiatry.
3. 理論の危機 3 ⚫ 心理学の理論的基盤が揺らいでいる（i.e., 理論の危機） • 心理学における理論の質の低さの問題（e.g., Fiedler, 2017; van Rooij, 2019） • 再現性の危機よりももっと根本的な「理論の危機」に直面している • 単に統計的な手法や習慣を改善するだけではなく、よりよい理論の開発（？）に 焦点を移すべき ⚫ Paul Meehl によるかつての指摘（Meehl, 1967, 1978, 1990） • 心理学者は新しい理論を開発するのが好きだが、理論の累積的な進歩をもたら すのではない • 理論は決定的に反論されることもなく、確立された知識として受け入れられる こともなく、放棄されるか忘れ去られるまで漂っている 例） theories of “level of aspiration” and “risky shift” ➢ 1930年代に熱狂的に受け入れられ、1960年代には忘れ去られた ⚫ ABC of Behavior Change Theories（Michie et al., 2014） • 心理学の行動変容分野における83の理論が掲載 • 普遍的に受け入れられたり、決定的に反論されたりするものは１つもない • 例）Ego-depletion theory (Baumeister et al., 1998, 2000) の流行と衰退 （Friese et al., 2019） • 心理学における理論の役割は変化していない Paul E. Meehl [1920-2003]
4. なぜ、理論が進歩しないのか 4 ⚫ 理論の曖昧さと反証の機能不全 • 心理学の理論は曖昧で抽象的に定式化される傾向があり、それを改変・検証 することが困難である（Meehl, 1978, 1990） • ある理論が現象を説明できない欠陥を持っていることがわかっても，過去の 成功例に注目してその理論を使い続けることが多い（e.g., the Rescorla- Wagner model of classical conditioning; Miller et al., 1995） • 欠陥があることがわかっていながら決定的な反証がなされていない心理学理 論が、数多く併存している（Meehl, 1990） ⚫ 理論の改善に向けたこれまでの提案（e.g., Gigerenzer, 2010; Muthukrishna & Henrich, 2019; Oberauer & Lewandowsky, 2019; van Rooij & Baggio, 2020） • 心理学の理論をより正確なものにする • 良い理論を構築する方法を教える ⚫ 本研究のアプローチ • 理論の危機の原因は、心理学者の知識や努力不足ではなく、心理学理論の性 質上の問題にあると考える • この問題について、Meehl（1978）から現在に至るまでの科学哲学の発展を 踏まえた議論を行う ① ロバストな現象に よる理論の制約が ない ② 構成概念妥当性の 問題 ③ 心理変数間の因果 関係を見つけるこ との難しさ
5. 理論の制約条件としての現象 5 十分な制約を与えるに足るロバスト な現象に関する知識がない 自然科学 心理学 △ 理論と現象の関係 理論 → 現象 現象 → 理論 説明 予測 〇 〇 制約 限定 △ 心理学の理論は非常に曖昧に定式化 されているため、現象に関する正確 な予測ができない（e.g., Oberauer & Lewandowsky, 2019） ★進化論の例 ダーウィンの膨大な観察に基づく証拠とロバスト な現象が存在（特定の観察方法に依存せず、複数 の方法で検証可能） このような現象の存在が、採択可能な理論空間に 強い制約を与えていた ★天体の運動に関する例 何世紀にもわたる天体の動きのパターンに関する データが、理論生成に強い制約を与えていた 心理学では、データ量は増えているものの、質的 に問題のあるものが多く、生物学や物理学に匹敵 するような強固な現象の大規模な蓄積がない 心理学の多くの領域では、理論に強い制約を与え るようなロバストな現象が幅広く存在していない このように考えると，頑健な現象が比較的少ない 心理学の分野で理論的な進歩がほとんど見られな いのは当然のこと
6. ケーススタディ：自我消耗理論 6 ◼ Ego Depletion Theory (Baumeister et al., 1998, 2000) ⚫ 現象 自制を必要とする課題（例：難しいパズルを解く）を行った後に、自制を 必要とする課題（例：クッキーを食べたいという誘惑に耐える）を行うと、 パフォーマンスが低下する ⚫ 理論 *Strength (or muscle, or resource) model of self-control 自制心は、それが必要となるすべての課題で使用される、限られた領域 全体の資源であり、枯渇する可能性がある ◆ 現象そのものへの懐疑 • 自我消耗の証拠はほとんど見当たらない（Hagger et al., 2016） • 効果量は小さく（d = 0.04）、95%CIは０を含む ◆理論への懐疑 • 他のモデルでも説明できる（Inzlicht & Friese, 2019） • Inzlicht & Schmeichel（2012）のモデル：一般的な資源が枯渇するの ではなく，モチベーションの低下や注意のシフトによって説明される
7. 心理学的構成概念の問題 7 ⚫ 構成概念の乱立 • 心理学的構成概念の改善と検証に注目が集まっていない • 新しい構成概念とそれに対応する尺度が絶えず導入され，古い構成概念と思われるものに 新しい用語が作られ，同じ用語が明らかに異なる構成概念に使われるなどしている ⚫ 構成概念妥当性とは • 構成概念が理論的枠組み（nomological network）に組み込まれていること（Cronbach & Meehl, 1955） • 測定値が測定しようと意図したものを測定できているか（Borsboom et al., 2004） ⚫ 構成概念妥当性の検討不足 • 心理学者は、尺度の信頼性を検討する一方で、妥当性の証拠をあまり報告しない（e.g., Zumbo & Chan, 2014） ➢ 信頼性の証拠を示すことは比較的容易であるのに対し（e.g., Cronbachのα）、妥当性 の証拠を示すことは非常に困難だから ➢ 妥当性については、単純な定量的指標はなく、妥当性とは何か、妥当性の証拠は何で あるべきかについてさえ、合意が得られていない（Newton & Shaw, 2013） • 妥当性を確立するには、対象となる属性の変動が実際にテストスコアの変動を引き起こし ていることを示す必要がある（Bringmann & Eronen, 2016; Borsboom et al., 2004）
8. 概念の洗練：心理学と自然科学の比較 8 ◆自然科学 • 自然科学における概念や分類は、さらなる実験や 観察、理論的枠組みの改善によって、常に洗練さ れていく → Epistemic Iteration 例）生物分類の理論的枠組み ◆心理学 • 継続的な検証の重要性が主張される一方で、積極的には取り組まれていない • 様々な実践が重ねられて深く定着すると、変更することで生じる影響が大きい （e.g., 抑うつの診断は、健康保険の決定に重要な役割を果たしている） • 心理学においてロバストな現象が得られない原因の一つは、構成概念の検証と いうプロセスが重視されていないことにある • ただし、例外的に検証が重ねられてきたものもある 例）記憶の研究 ➢ 1880年代にエビングハウスが記憶の研究を始めたとき、記憶の種類を考慮していな かった。 ➢ 1950年代からの研究では、非宣言的／宣言的記憶、エピソード記憶／意味記憶など、 多くの種類の記憶が識別され、新しい証拠や議論に照らし合わせて、今もなお洗練 されている。
9. 原因を見つけることの難しさ 9 ⚫ 理論には因果関係の説明が必要 • 優れた理論の主な特徴は、何らかの方法で因果関係を追跡できること（e.g., Craver, 2007） ➢ 例）ダーウィンの進化論は進化の原因（自然選択）を説明し、DNA理論は遺伝の因果関係を説明 している • 心理学の理論は、心の働きを説明することを目的としている限り、心の因果関係のメカニ ズムも反映すべき • 心理変数間の因果関係を発見することは、極めて困難 or 不可能である（Eronen, 2020） ⚫ 介入理論（The Interventionist Theory of Causation）に基づく因果関係の解釈 • 因果関係の特徴は、（相関関係とは異なり）操作やコントロールに利用可能な関係であるこ と • 「XがYの原因であるのは、他の変数を固定した状態で、Xに介入してYを変化させることが 可能である場合」「Xの操作は、Xを経由しない他の経路でYを変化させてはならない」 • Rubinの因果モデル（e.g., Rubin, 2005）や Campbellの因果モデル（e.g., Shadish et al., 2002）にも同じような考えが登場 • 無作為化によって、他の変数を固定できる
10. 原因を見つけることの難しさ（続き） 10 ⚫ 心理学における介入の問題点 • 対象となる1つの変数だけではなく，他のいくつかの変数も変化させること（i.e., fat-handed） ➢ 思考や影響などの心理的変数を直接操作する方法がないために生じる（Chiesa, 1992; Hughes et al, 2016） ➢ 例）意欲、注意力、不安感などの他の心理状態を変化させることなく、自制心を操作することは不可能 • 言葉による指示やその他の外部刺激によって間接的に操作する必要があるが、1つの変数のみを変 えるのに十分な精度ではない • 心理的変数は，自己報告や行動指標などを通して間接的にしか測定できないため、介入によって どの変数が正確に変化したのかを検証・確認することは非常に困難 • Yを原因Xを経由するルートでのみ変化させることができない ➢ 例）自我消耗実験では、自制心が非常に多様な方法で操作されるが、因果関係を主張するためには、推 定される効果（i.e., 第2課題のパフォーマンス低下）に関して自制心を一義的に操作するものでなければな らない • 心理的変数への正確な介入は困難であり、因果推論のための信頼できる基盤とはならない
11. Discussion 11 ⚫ 優れた心理学理論を構築するための3つの基本的な困難 1. ロバストな現象の欠如 2. 構成概念の妥当性と反復的検証の欠如 3. 因果関係の確立の問題 ➢ 理論の危機を解決するためには，これらの問題に取り組み，議論を重ねる必要がある ⚫ 心理学研究に対する提言 • 「現象の発見」や「現象駆動型の研究」をもっと行うべき（Borsboom et al., 2021; De Houwer, 2011; Haig, 2013; Trafimow & Earp, 2016） ➢ 新たな現象を発見し、すでに発見された現象についてより強固な証拠を集めることで，候補とな る理論の空間が制約される ➢ 現象の背後にあるメカニズムがわからなくても、その現象が存在することを知ることは、科学や 社会にとって非常に重要 • 理論を制約する強固な現象群は依然として存在せず、使用される構成概念は妥当性が疑わ しい状況で、心理学の理論をより数学的、形式的にすることが心理学の進歩につながるか は疑問 • 概念の明確化と構成要素の検証が重要であり、検証は反復的かつ継続的なプロセスである と考えるべき ➢ 明確に定義され、明確に測定可能な構成要素を持つことで、ターゲットを絞った介入を行い、そ の効果を追跡することが容易になる
12. 改善の取り組みの事例 12 ◼ 自我消耗研究のその後 現在では、自制心や関連する概念などの重要な構成要素をよりよく定義し、 それらの測定方法を検証する取り組みが増えている（Friese et al., 2019; Inzlicht & Friese, 2019; Lurquin & Miyake, 2017） ◼ Functional-cognitive paradigm (De Houwer, 2011; Hughes et al., 2016) 環境と行動の関係に関するロバストな現象を確立し、精神的構成要素の観点 からの説明を試みている ◼ Theory for panic disorder（Robinaugh et al., 2020） パニック障害に限定した理論の提案。 パニック発作に関連する現象は強固な証拠があるので、特定の障害に限定す ることで、理論に制約をかけることが可能に。
13. 著者からのメッセージ 13 However, we by no means intend to suggest that theorizing in psychology is hopeless or a waste of resources or that we should return to a kind of behaviorism in which theories about mental processes are rejected as unscientific. The issues we have raised should not be seen as insurmountable obstacles but rather as challenges that need to be met before good psychological theories can be developed in a given domain. 【訳】しかしながら，私たちは決して，心理学における理論化が絶望的であったり，資源の 無駄であったり，心的プロセスに関する理論を非科学的なものとして否定する一種の行動主 義に戻るべきだと示唆するつもりはありません。私たちが提起した問題は、乗り越えられな い障害ではなく、ある領域で優れた心理学的理論が開発される前に満たされるべき課題であ ると考えるべきです。
14. 補足資料 14
15. 科学としての心理学―理論とは何か?なぜ必要か?どう構築するか? 15 P.6（３）経験的データによる支持と反証の限界 心理学が研究対象とする心的営みのように、同様の営み（ない し心的状態）をもたらす要因が多数存在する可能性が推定され、 しかも要因相互の構造的な規定関係も明確化しにくい科学では、 とくに研究の初期には蓋然的法則の集合体から出発せざるを得 ないが、蓋然的法則というものは、もともと例外的データの出 現を排除しきれないものだから、データによる反証力が決定的 なものとは言えないという弱点は、研究の出発点からつきま とっているといえる。 PP.13-15（３）観察不能な心的営みをどう扱うか？ しかし、このような（*新行動主義の）工夫にも根本的な疑問 が残されることになった。すなわち、「特定の操作によって、 一義的に生活体に一定の状態をもたらしうるといえるのか？」 「仮に、近似的にそのように操作できる変数があるとしても、 そのような変数の範囲での図式化は、非常に多くの潜在的変数 からの影響を無視することにならないか？」「そもそも、刻々 に変化する内的な心的営みの過程を、いくつかの操作的に定義 される変数の組み合わせで代表できるか？」といった疑問であ る。