統計検定・P値への過度の依存 再現性の危機の中心的問題 疑わしい研究慣行（Questionable Research Practices, QRPs） Pハッキング HARKing (Hypothesizing After the Results are Known) チェリーピッキング 検定の内在的問題 基準率に依存 わずかな効果量でもサンプルサイズが大きければ有意になる ランダムサンプリングの仮定（ランダム効果、一般化可能性） 10
「平均脳」にもとづく推論 脳イメージングでは、多数の被験者のグループ解析が一般的 グループ平均の脳マップはどの個人の脳マップとも似ていないことが多い 心理や行動（state, not trait）について、個体を超えたグループの「母平 均」に意味はある？ 脳活動や行動は一義的には個体に属するもの グループの知見を個体に汎化するには「エルゴード性」が必要。だ が…↓ Fisher, A. J. et al. Lack of group-to-individual generalizability is a threat to human subjects research. Proceedings of the National Academy of Sciences 115, E6106–E6115 (2018). http://doi.org/10.1073/pnas.1711978115 個体ごとにextensive に計測するアプローチを重視すべき（→Small is beautiful） Naselaris, T., Allen, E. & Kay, K. Extensive sampling for complete models of individual brains. Current Opinion in Behavioral Sciences 40, 45–51 (2021). https://doi.org/10.1016/j.cobeha.2020.12.008 12
再現性の危機 古くから繰り返し議論されてきたが2010年代になって心理学を中心に問題が表 面化し、改革が進められてきた。書籍や解説論文も多数発表されている 書籍 Chambers, C. The Seven Deadly Sins of Psychology: A Manifesto for Reforming the Culture of Scientific Practice. (Princeton University Press, 2019). 【邦訳】クリス・チェインバーズ. 心理学の7つの大罪――真の科学で あるために私たちがすべきこと. (みすず書房, 2019). Ritchie, S. Science Fictions: How Fraud, Bias, Negligence, and Hype Undermine the Search for Truth. (Metropolitan Books, 2020) なかむらかずや. 書評｜壊れた科学に泣かないで｜"Science Fictions" by Stuart Ritchie. カタパルトスープレックス (1603323000). https://www.catapultsuplex.com/entry/science-fictions 13
心理学における再現性の検証 Open Science Collaboration. Estimating the reproducibility of psychological science. Science (2015). https://doi.org/10.1126/science.aac 4716 心理学の主要ジャーナル3誌 （Psychological Science, Journal of Personality and Social Psychology, Journal of Experimental Psychology: Learning, Memory, and Cognition）に2008年に掲載された 97報の研究を追試 36％でのみで、オリジナルと同じ方 向で統計的に有意 効果量は、オリジナルの約半分 18
同じような行動実験でも、経済学の行動実験の再現率は61％、実験哲学(哲 学者による行動・心理実験)は78% Camerer, C. F. et al. Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nat Hum Behav 2, 637–644 (2018). Cova, F. et al. Estimating the Reproducibility of Experimental Philosophy. Rev Phil. Psych. (2021). 1000回以上引用されている著名な論文の再現性がない（社会的プライミン グ、ステレオタイプ脅威、パワーポーズ、自我消耗、顔面フィードバック 仮説、「目」の効果、などなど）。条件によっては効果があるが、効果量 はとても小さい 再現性のない研究ほど引用される。ジャーナルの「ランク」が高いほど信 頼性が低い Serra-Garcia, M. & Gneezy, U. Nonreplicable publications are cited more than replicable ones. Science Advances (2021). Brembs, B. Prestigious Science Journals Struggle to Reach Even Average Reliability. Frontiers in Human Neuroscience (2018). 19
神経科学研究の再現性 過去の研究の再現性を検証する目立った動きはない 動物実験（とくにサル）では、実験系を厳密に再現することが難しい 「モデル動物」・プロトコル標準化でよいのか？ 異質性・多様性も重要 Voelkl, B. et al. Reproducibility of animal research in light of biological variation. Nat Rev Neurosci (2020). ニューロンやサンプルの恣意的な選択 「サルは２頭でいいんですか」（→一般化可能性） 効果量・検出力の分析から、ポジテイブな結果の半数以上は偽陽性と推測 される（認知神経科学） Szucs, D. & Ioannidis, J. P. A. Empirical assessment of published effect sizes and power in the recent cognitive neuroscience and psychology literature. PLOS Biology (2017). 20
VBM研究（脳構造と行動[trait]の相関）の低い再現性 Boekel, W. et al. A purely confirmatory replication study of structural brain-behavior correlations. Cortex (2015).https://doi.org/10.1016/j.cortex.2014.11.019 Kharabian Masouleh, S. et al. Empirical examination of the replicability of associations between brain structure and psychological variables. eLife (2019). https://doi.org/10.7554/eLife.43464 安静時脳活動・機能結合（resting state brain activity, functional connectivity）「バイオマーカー」の低い再現性 Noble, S. et al. Influences on the Test–Retest Reliability of Functional Connectivity MRI and its Relationship with Behavioral Utility. Cerebral Cortex (2017). https://doi.org/10.1093/cercor/bhx230 He, Y. et al. Nonreplication of functional connectivity differences in autism spectrum disorder across multiple sites and denoising strategies. Human Brain Mapping (2020). https://doi.org/10.1002/hbm.24879 21
神経科学研究の一般化可能性 標準的な行動課題（恐怖条件づけ、遅延見本合わせ課題、ストップシグナ ル課題、など）で得られた知見は、自然な条件下の行動に汎化できるか （生態学的妥当性） 「コントロールされた実験」の再現しやすさとのトレードオフ Nastase, S. A., Goldstein, A. & Hasson, U. Keep it real: rethinking the primacy of experimental control in cognitive neuroscience. NeuroImage (2020). https://doi.org/10.1016/j.neuroimage.2020.117254 Sonkusare, S., Breakspear, M. & Guo, C. Naturalistic Stimuli in Neuroscience: Critically Acclaimed. Trends in Cognitive Sciences 0, (2019). https://doi.org/10.1016/j.tics.2019.05.004 in vitroからin vivoへ、線虫、ハエ、マウスからヒトへ汎化できるか 22
技術的・倫理的に追試が困難 たとえば、1990年代のサルの電気生理研究は今後再現されるのか 一般性のある知識や法則として受け継ぐべきか、歴史的叙述として記 録すべきか 精神疾患治療に役立ってきたか 半世紀以上の研究、何千ものRCT、何百万もの投資資金を経ても、精 神障害に対する心理療法や薬物療法の効果の大きさは限定的であり、 現在行われている治療研究は頭打ち」 Leichsenring, F. et al. The efficacy of psychotherapies and pharmacotherapies for mental disorders in adults: an umbrella review and meta-analytic evaluation of recent meta-analyses. World Psychiatry (2022). https://doi.org/10.1002/wps.20941 23
Questionable Research Practices (QRPs） あからさまな研究不正（ねつ造、改ざん、盗用、等）ではないが、研究者 の価値観に違反する研究行動で、研究成果の信頼性に害を及ぼす研究実践 QRPsという言葉は、John, Loewenstein, Prelec（2012）で広まった 調査の結果、回答者の半数以上のQRPs行っており、そのような行 為が問題だとは認識していなかった 代表的なQRPsであるPハッキングと任意停止(optional stopping)が、オラ ンダで初めて、研究の誠実性に関する行動規範に違反と認定される Lakens, D. The 20% Statistician: P-hacking and optional stopping have been judged violations of scientific integrity. The 20% Statistician (2020). ネカト（捏造、改ざん、盗作）と同等の研究不正とされる日も近いか 25
Researcher degree of freedom (研究者自由度) 論文には報告されないデータ収集と分析の自由度があり、偽陽性率を最大5%と する名目にもかかわらず、実質的に、どのような研究でも「統計的に有意」な 結果を発表できてしまう Simmons, J. P., Nelson, L. D. & Simonsohn, U. False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychol Sci 22, 1359–1366 (2011). https://doi.org/10.1177/0956797611417632 特に脳イメージング研究では、解析段階の自由度が高い 最近の241件のfMRI研究において、方法論の報告と方法論の選択をレビュ ー。研究の数とほぼ同数のユニークな分析パイプラインが存在 Carp, J. The secret lives of experiments: Methods reporting in the fMRI literature. NeuroImage 63, 289–300 (2012). https://doi.org/10.1016/j.neuroimage.2012.07.004 27
Why Most Published Research Findings Are False Ioannidis, J. P. A. Why Most Published Research Findings Are False. PLoS Med (2005). https://doi.org/10.1371/journal.pmed.0020124 再現性が広く議論される以前に、統計検定のロジック、サンプルサイズの小 ささ、実験デザインの自由度、インセンティブ・競争、などがもたらす研 究の再現性の低さについて、シンプルなモデルを用いて議論した論考 統計検定（P値）は、finding(ここでは「統計的に有意な」研究成果)の正し さを保証するものではない むしろ、多くの分野では、主張されているfindingは、単にバイアスを表現 したものである(Null field, 虚無分野) 32
説明から予測へ 私が機械学習を推す理由 統計学はデータ生成メカニズムを説明するというが、一般的な統計モデルは神 経科学の実験データの生成プロセスの説明になっていない。そのようなモデル のパラメータを精緻に推定し、検定をすることにどれだけ意味があるのか。一 方現状では、実験データを説明できるような生物・物理学的プロセス・機構モ デルは限られている モデルのパラメータを解釈することよりも、データにどれだけ汎化可能な情報 があるかを調べるのが現実的なアプローチではないか Kamitani, Y. & Tong, F. Decoding the visual and subjective contents of the human brain. Nat Neurosci 8, 679–685 (2005). https://doi.org/10.1038/nn1444 43
重回帰分析のモデル選択も要注意 AICやBICなどでモデル選択した後、同じデータで選択されたモデルの 検定を行うとバイアスが生じる。別データを使わず対処する方法も研 究されている 竹内一郎. データ駆動型科学のための選択的推論(2019). https://www.ieice.org/~sita/forum/article/2019/201903231310. pdf Voodoo correlation: 統計的に有意だった変数（脳画像の画素など）を選択 し、同じデータを使って課題との相関係数を計算すると、データのS/Nから 考えてありえない高い相関になる Vul, E. et al. Puzzlingly High Correlations in fMRI Studies of Emotion, Personality, and Social Cognition. Perspect Psychol Sci 4, 274–290 (2009). http://dx.doi.org/10.1111/j.1745-6924.2009.01125.x https://escholarship.org/content/qt92v2k0hm/qt92v2k0hm.pdf 二度漬けは偽陽性への最速のショートカット 53
予測モデルの仮定 一般的な統計的推論の場合では、多くの仮定が満たされている必要がある 線形回帰の場合、線形性や誤差の分散・分布、観測の独立性など 予測モデルではこれらの標準的な仮定は不要 バイアスと分散のトレードオフに注目し、分散を減少させながらバイ アスを積極的に活かす戦略 予測変数と応答変数の間に線形関係の仮定は不要。線形と非線形を問 わず、モデルの予測性能を比較して、1つを選択することができる 正しいモデル vs. 良いモデル しかし、観測が独立であるという仮定は残る。一つのクラスタに属す る相関する観測値が、訓練セットとテストセットをまたがないように するなどの対応が必要 de Rooij, M. & Weeda, W. Cross-Validation: A Method Every Psychologist Should Know. Advances in Methods and Practices in Psychological Science 3, 248–263 (2020). 54
二重過程理論の見直し Evans, J. St. B. T. & Stanovich, K. E. Dual-Process Theories of Higher Cognition: Advancing the Debate. Perspect Psychol Sci 8, 223–241 (2013). https://doi.org/10.1177/1745691612460685 二重過程理論者の著者らもシステム1、２の使用を中止。タイプ1、2処理と いう古い用語に戻した。「システム」は脳内の一連の処理・入出力を連想 させる タイプ1は、必ずしも進化的に古いとされる領域にあるとは限らない 意識的な思考が必ずしも行動を制御しているとは限らない タイプ1の過程が常に認知バイアスの原因となり、タイプ2の過程が常に正 しい反応の原因となる、というのは誤り 64
ykamit
genomethica
norihirosuzuki
usamik26
koro485
sshimizu2006
dasaptaerwin
ngehlenborg
naokiuc
dougneiner
holman
michaelherold
jcasabona
moore
jakevdp
garrettdimon
mza
tmm1
erikaheidi
danielanewman
tanoku