ReproducibiliTea material on Hardwicke et al. (2021)

ReproducibiliTea Tokyo
2021.12.2.

Transcript

1. Citation Patterns Following a Strongly
   Contradictory Replication Result:
   Four Case Studies From Psychology
   Presentation by
   Daiki Nakamura
   @ReproducibiliTea Tokyo
   ☕ December 2, 2021
   Hardwicke, T. E., Szűcs, D., Thibault, R. T., Crüwell, S., van den Akker, O. R.,
   Nuijten, M. B., & Ioannidis, J. P. A. (2021). Citation Patterns Following a Strongly
   Contradictory Replication Result: Four Case Studies From Psychology. Advances in
   Methods and Practices in Psychological Science.
   https://doi.org/10.1177/25152459211040837
   https://osf.io/w8h2q/
   

   View Slide

2. 2
   About Authors
   Tom E. Hardwicke University of Amsterdam
   Dénes Szűcs University of Cambridge
   Robert T. Thibault University of Bristol
   Sophia Crüwell University of Cambridge
   Olmo R. van den Akker Tilburg University
   Michèle B. Nuijten Tilburg University
   John P. A. Ioannidis Stanford University
   

   View Slide

3. Scientific self-correction 3
   ⚫ 科学における自己修正（self-correction）
   • 科学における自己修正の機能によって、不正確な主張が放棄され、正確な主張が補強され
   ることで、科学的知見の確からしさが徐々に向上する（Vazire & Holcombe, 2020）
   ⚫ 追試研究の影響
   • 追試（Replication）は、自己修正のプロセスを推進する働きを持つと期待されている
   （Ioannidis, 2012; Zwaan et al., 2018）
   • 元の研究と矛盾する結果が出た場合、その後の研究で元の研究がどのように引用されるかに
   影響を与えると予想される
   例）元の知見の効果が再現されなかった→好意的な引用の減少と批判的な引用の増加
   • しかし、実際の引用パターンは、研究コミュニティが追試結果に対してどのように反応する
   かによって異なる
   ⚫ 本研究の目的
   • 心理学の分野で発表された4つの有名なマルチラボでの追試で、元の研究の結果と強く矛盾し、
   それを上回る結果が得られた場合に、追試後の引用パターンがどうなるかを明らかにする
   

   View Slide

4. Citation patterns that might follow a contradictory replication result 4
   ⚫ 再現に失敗した追試の結果に続く可能性のある引用パターン（Table 1）
   Progressive responses Regressive responses
   信念の更新
   ◼ 信念修正
   元の発見の信頼性が低下していること
   を反映して、好意的な引用の数が減少
   し、否定的な引用が増加する。
   ◼ 信念の永続化
   元の発見の信頼性が持続していることを反
   映して、好意的な引用の数が維持または増
   加する。
   引用の
   バランス
   ◼ 偏りのない引用
   元の研究を引用する論文は、関連する
   証拠を考慮して、矛盾する追試の結果
   も引用する。
   ◼ 偏りのある引用
   元の研究を引用する論文は、矛盾する追試
   の結果を引用しない。確認不足や意図的な
   省略によって関連する証拠が無視される。
   擁護の有無
   ◼ 明示的擁護
   元の研究と矛盾する追試の両方を好意
   的に引用している論文で、元の知見の
   信頼性が損なわれていない理由を示す
   具体的な反論を提供している
   ◼ 擁護が無い場合
   元の研究と矛盾する追試の両方を好意的に
   引用している論文で、元の発見の信頼性が
   損なわれていない理由を示す具体的な反論
   を提供していない
   • 追試の知見も誤っている可能性はあるため、元の知見の支持者が追試に反論する
   明示的な擁護を行った場合は進歩的な反応と見なすことができる。
   

   View Slide

5. Four case studies in the field of psychology 5
   • 再現に失敗した後の引用パターンの変化について、4つの追試を例に検討する。
   • 元の研究の23倍から211倍のサンプルサイズで、事前に登録された複数の研究室での
   追試が行われたため、元の知見と矛盾した結果は信頼性の高いものだと考えられる
   

   View Slide

6. Method 6
   ⚫ 調査の概要
   • 各原著論文の発表日から2019年12月31日までの引用
   履歴を、2020年8月12日に Web of Scienceを使用して
   ダウンロード→全文が入手できたもののみ引用箇所を
   確認・集計
   ※ただし、Baumeisterのケースは引用論文数が多いため、追試前
   後で無作為に40%の論文を抽出して検討
   • 引用箇所を確認し、好意的／批判的引用を分類（追試
   が発表された１年前から2019年までの範囲）
   • 追試が行われた後の論文では、追試が引用されている
   かを確認
   • 追試を引用している論文では、追試に対して反論があ
   るかとその内容を記録
   質
   的
   • 研究プロトコルは、2018年4月7日に事前登録（https://osf.io/eh5qd/）
   

   View Slide

7. Results: Annual citation counts and citation valence 7
   ※標準化引用数：追試実施年の引用数を100とした場合の各年の引用数、実線：全ジャーナル、破線：同一ジャーナル
   追試
   

   View Slide

8. Annual citation counts and citation valence 8
   • 追試前は、5つの論文全てにおいて大部分が好意的な引用だった
   • 多くのケースで、追試後に批判的な引用がわずかに増加し、好意的な引用がわずか
   に減少するという消極的な信念修正パターン（Progressive responses）を示している
   ➢ Strack：批判的な引用が0％→7％、好意的な引用が88％→78％
   • しかし、批判的な引用の数は非常に少なく、以前として好意的な引用が大多数を占
   めている。これは、信念が持続する停滞パターン（Regressive responses）。
   ➢ Baumeister：好意的な引用が79％→77％
   

   View Slide

9. Citation balance and citation bias 9
   追試引用あり 追試引用なし
   13%
   41%
   20% 18%
   

   View Slide

10. Explicit defense and absent defense 10
    • 原著論文と追試を引用した論文（co-citing articles）が、原著論文を擁護するための
    明示的な反論を行ったかどうか（Table 4）
    • 明示的な反論を行った論文は、半数以下
    • 原著論文を擁護するために提示された反論の種類（Table 5）
    (方法論の違いと
    調整変数)
    (追加の証拠)
    (専門的知識)
    内12件は、原著論文の著者を含む論文
    

    View Slide

11. Citations to replication studies and co-citation of original studies 11
    • 追試の被引用数と原著論文の共同引用数（Table 6）
    • 原著論文とは別に引用されることも多くある
    • 再現性問題の議論の中での引用？
    

    View Slide

12. Discussion 12
    ⚫ 心理学研究は自己修正性を持つか？
    • 本研究では、心理学分野における４つの否定的な追試の結果に対して、研究コミュニティがど
    のように対応したかを調査した
    • 積極的な修正（好意的な引用の減少と批判的な引用の増加）という形で、いくつかの進歩的な反応
    パターンが観察された
    • 一方で、信念の持続（好意的な引用の持続と批判的な引用の少なさ、特にBaumeisterのケース）と、
    かなりの引用バイアス（追試を無視、Sripadaを除くすべてのケース）が観察された
    • 著者が原著論文を好意的に引用している場合、原著論文を擁護するための明確な反論を行って
    いる論文は半数程度
    • 好意的な引用パターンは、その後に信頼性の高い研究で矛盾する結果が発表されても（Tatsioni
    et al., 2007）、あるいは完全に撤回されても（Budd et al., 1998; Fernández & Vadillo, 2020）変化し
    にくい
    • ある理論がそれに対する圧倒的な証拠にもかかわらず定着すると、肯定的な証拠は否定的な証
    拠よりも優先的に引用される（Bastiaansen et al., 2015; Greenberg, 2009）
    • 既存の信念を支持する証拠を優先的に探し出して処理する確証バイアス
    

    View Slide

13. Discussion 13
    ⚫ 引用バイアスへの対応
    • 引用バイアスの２つの原因
    (a) 追試の結果についての認識不足
    (b) 追試の結果を無視する決定
    • 自分の研究に関連する膨大な量の文献を常に把握しておくことは困難
    • 原著論文と追試論文をデータベース上で紐づける機能を導入する解決策が考えられる
    例）最近では、「Zotero」が、データベース内の論文が撤回されたときにユーザーに警告す
    る機能を導入した（Zotero, 2019）
    • しかし、関連する追試を定義・特定することは簡単ではなく（Neuliep & Crandall, 1993）、
    人間の判断が必要な部分もある
    • 別の解決策としては、研究者が個々の研究よりも、関連するエビデンスが体系的に特定され
    た最新のエビデンスサマリー（i.e., レビュー、メタ分析）を参照するよう促すことが考えられる
    → 質の高いシステマティックレビューやメタアナリシスが必要
    

    View Slide

14. 個人的な感想 14
    • 追試によって決定的な確証／反証が行われるわけではないが、今回の事例のような
    大規模で信頼性の高い追試の結果が出ている状況で、それらが引用されない、影響
    力を持たないという状況は自己修正性に疑問を投げかけるものだと感じた
    • 研究者が、引用する文献をどのように決定するかの詳細なプロセスを検討する必要
    がありそう
    • データベース検索の表示順序の問題
    • 現実的な影響力を考えれば、一般の人向けの書籍や記事での引用パターンの変化も
    検討していく必要があるのではないか
    

    View Slide