Materials for ReproducibiliTea session on Pownall et al. 2022

Materials for ReproducibiliTea session on Pownall et al. 2022
RepTea Tokyo 2023.1.19.

Transcript

1. The impact of open and reproducible scholarship on students’ scientific literacy, engagement, and attitudes towards science: A review and synthesis of the evidence Presentation by Daiki Nakamura @ReproducibiliTea Tokyo ☕ January 19, 2023 Pownall, M., Azevedo, F., König, L. M., Slack, H. R., Evans, T. R., Flack, Z., … F. (2022, April 8). The impact of open and reproducible scholarship on students’ scientific literacy, engagement, and attitudes towards science: A review and synthesis of the evidence. https://doi.org/10.31222/osf.io/9e526 https://osf.io/4jqbw/ オープンで再現可能な研究に関する教育の効果
2. 過去のRepTeaより 2022.11.24 2 • Rogersの拡散モデル：新技術がイノベーターやアーリーアダプターに よって最初に使用され、その後、主流に受け入れられていく • KOのRepTeaに関する講義の受講者が・・・ ⚫ Nosek et al. (2022) Fig.3
3. 3 About Authors https://forrt.org
4. 研究の背景 4 ⚫ Open Scholarship • 広義には、研究の透明性、厳密性、再現性、複製可能性、蓄積性、包括性を高めるべ きだという信念を指す（Parsons et al.、2022） • Open Scholarshipを促進するための様々な取り組み – 研究の事前登録やRegistered Reports（Chambers & Tzavella, 2022; Lindsay et al., 2016; Nosek et al., 2015） – オープンマテリアル、コード、データ（Houtkoop et al., 2018） – オープンアクセス出版（Nosek & Bar-Anan, 2012） ⚫ Open Scholarship 教育 • オープンで再現可能な研究の教育に取り組むことが緊急かつ継続的に必要（Azevedo et al.、2022） • オープンで再現可能な学問が学部や大学院の教育や学習に明確に組み込まれていなけ れば、学生はオープンで再現可能な学問を継続的に推進し、持続的な文化の変革に貢 献するための知識やスキルを十分に身につけることができない（Azevedo et al., 2019; Pownall et al., 2021a） • そのような教育は、研究者養成という観点だけでなく、学生自身にも有益ではないか
5. 本論文の目的 5 • オープンで再現可能な学問を取り入れることが学生の成果に与える影響を調査した証拠を レビューし、統合すること • 以下の3点に対する影響を検討 – （1）学生の科学的リテラシー ➢オープンリサーチに対する理解、科学的知見の利用、転移可能なスキルの開発 – （2）学生の研究参加への取り組み ➢学習意欲、学生の参加とコラボレーション、 オープンリサーチへの将来的な取り組み – （3）学生の研究に対する態度 ➢学生の科学に対する信頼、研究結果に対する確信
6. 研究の方法 6 ⚫ 文献検索 • 以下のデータベースでキーワードを実施 https://osf.io/29qvh – 主要な学術プラットフォーム（Web of Science、Scopus、EBSCOhost、 Pubmed、Medline, Embase） – プレプリントアーカイブ（PsyArXiv; ProQuest dissertations, Open Science Framework, EdArXiv, MetaArXiv） – 未発表研究の学術リソース（ERIC, Bielefeld Academic Search Engine, OpenGrey） – その他（FORRTコミュニティ、Twitter） ⚫ 包含基準 1. 大学生、大学院生、研究生を含む高等教育の文脈におけるオープンで再現可能な学問 を論じた論文であること 2. オープンかつ再現可能な科学が、学生の成果に与える影響について具体的に言及して いること
7. 研究の方法 7 ⚫ 検索キーワード teaching; mentoring; pedagogy; open scholarship; open educational resources; replication; reproducibility; research repository; student projects; empirical dissertation; team science; data sharing; replication crisis; reproducibility crisis; Many Labs; Hagen Cumulative Science Project; questionable research practices; responsible conduct of research; detrimental ethical practice; educational practice; Collaborative Replications and Education Project (CREP); dissertation; College Teaching; Framework of Open Reproducible Research Training (FORRT); Project TIER; research transparency; service learning; credibility; preprints; registered reports; public understanding of science; science communication; epistemic trust; trust in science; attitudes toward science; open source materials; undergraduate preregistration assignment; scholarship of teaching and learning; Higher Education. 教育、指導、教育学、オープンな学問、オープンな教育資源、複製、再現性、研究リポジトリ、学生プロジェクト、実証 的論文、チーム科学、データ共有、複製の危機、再現性の危機、Many Labs、Hagen Cumulative Science Project、疑わしい 研究実践、研究の責任ある実施、有害な倫理実践、教育実践、Collaborative, CREP、大学教授、オープンな再現性研究ト レーニングの枠組み（FORRT）、Project TIER、研究の透明性、奉仕学習、信頼性、大学教授、研究者養成、研究者養成、 教育実践、研究者育成、研究者養成、研究者育成、Replications and Education Project (CREP)、学位論文、大学教育、 Framework of Open Reproducible Research Training (FORRT); Project TIER、研究の透明性、サービス学習、信頼性、プレプ リント、登録レポート、科学の一般理解、科学コミュニケーション、認識論の信頼、科学への信頼、科学に対する態度、 オープンソース資料、学部登録前の課題、教育と学習の学識者、高等教育
8. 検索結果の概要 8 • 検索は2021年12月～2022年1月に実施 • 検索の結果、866の論文を特定 • 前述の2つの包含基準を満たすかを検討した上で、複数人で独立してコーディ ングを実施 • 抽出基準に満たない論文（N = 829）は削除。最終的に36の論文を抽出。 • 評価者間信頼性は高い（κ=0.915） • いくつかのベストプラクティスも見つかった 事例 URL 説明 PsyTeachR, University of Glasgow https://psyte achr.github.io / グラスゴー大学の PsyTeachR プロジェクト（McAleer, 2021）は、R と RStudio を学ぶ学生を「リアルで厄介 な」オープンデータセットで足場固めすることで、学生の データリテラシーの向上を目指しています。これは、カリ キュラム全体にオープンで再現可能な学問を埋め込むため の、学部独自のアプローチです。 ・リアルなデータを使用する真正性が学習意欲につながる ⋮ ⋮ ⋮
9. （1）科学的リテラシーに与える影響 9 ⚫ 科学的リテラシーとは • 科学的リテラシーとは広義には、科学文化と科学を行うことの両方に関連する知識（内容／ 手続き／認識論）、スキル、コンピテンシー、態度を指す – 研究分野の例：統計的能力、研究実践の理解、学生が学業を通じて身につける実践的な 研究スキルなど • 近年、学部・大学院教育のコアコンピテンシーとして科学的リテラシーが重視されている （OECD, 2006, 2017） ◼ オープンリサーチに対する理解 ◼ 科学的な知見の利用 ◼ 転移可能なスキル ◆ 整理の枠組み （1）学生の科学的リテラシー オープンリサーチに対する理解、科学的知見の利用、 転移可能なスキルの開発 （2）学生の研究参加への取り組み 学習意欲、学生の参加とコラボレーション、オープ ンリサーチへの将来的な取り組み （3）学生の研究に対する態度 学生の科学に対する信頼、研究結果に対する確信
10. オープンリサーチに対する理解の向上１ 10 ✓ オープンリサーチのツールの使用を組み込んだ実践を通して、オープンリサーチに対する理 解が向上した事例 ⚫ Blincoe and Buchert（2020） • 心理学の学部生が事前登録によって、Nullや有意でない結果が研究において持つ価値を理解 • 学部生と一緒に事前登録することは、問題のある研究実践（QRPs）を学生を示す機会にも なる • 先験的な研究決定と事後的な研究決定の違いを認識することができるようになる ⚫ Toelch and Ostwald（2018） • 地域研究プロジェクトにオープンで透明性の高い研究プロジェクトを組み込むための大学院 の実践的なコースを設定（60時間） • 学生はオープンリサーチの理念のほか、事前登録、FAIR（Findability、Accessibility、 Interoperability、Reusability）データ共有、バージョン管理、オープンアクセス出力などの実 践を学習 • 学生はオープンな学術活動やコースの実践的な研究プロジェクト要素に概ね好意的であり、 参加者の80％がオープンな手法を用いることで、自分自身の研究の質が向上することに同意
11. オープンリサーチに対する理解の向上２ 11 ⚫ Hagen Cumulative Science Project（Jekel et al., 2020） • ドイツの学部生が研究プロジェクトを完了するためのコース要件の一部として、追試研究を 行うための体系的な仕組みとして設定された • 学生はプロジェクトを事前登録し、データや解析コードを共有し、オープンソースの統計ソ フトの利用が推奨。80以上の追試プロジェクトが実施された。 • 学生がオープンプラクティスについて学び、それを利用して論文化作業を成功させたことが 示唆されている ⚫ Collaborative Open-science REsearch (CORE; Feldman., 2022) • 香港大学心理学部の学生と海外の若手研究者による、判断・意思決定と社会心理学の大量複 製・拡張プロジェクト →20の査読付き論文へ • 査読付き論文を出版するという明確なキャリア上の利点以外にも、学生は、再現性のある オープンソースソフトウェア（JamoviやRなど）を用いた分析やコーディング、原著論文の分 析や評価（エラーの検出、効果量や信頼区間の計算など）、検出力分析（G*PowerやRパッケージ の使用など）、プロセスにおける結果の厳格な解釈（p値に過度に頼らないなど）といった科学 リテラシーを身につけていた
12. オープンリサーチに対する理解の向上３ 12 ⚫ Smith et al.（2021） • 生物統計学の教員が選んだインパクトのある論文の結果を、原著の生データと報告された統 計手法を使って学生が再現 • その結果、研究過程や再現実験の理解が深まり、新しい統計手法に触れる機会が増えた。科 学的な文章を書く練習をするようになった。データ解析に対する自信がついた。 ⚫ Collaborative Replications and Education Project（CREP; Wagge et al., 2019） • CREPチームの監督下で、学生が追試プロジェクトを実施することを支援 • 学生は、OSF、内部ピアレビュープロセス、事前登録、オープンデータやコードなどのツー ルの経験を得ることができる • 120以上の学生グループがCREPを通じてプロジェクトを開始し、 再現性に基づく研究トレーニングの価値に対する幅広い関心を示している ⚫ Sacco and Brown（2019） • 大学院生の問題のある研究実践（QRPs）の受容度を下げるための教育介入を実施 • 1週間後には効果があったが、2カ月後にはQRPの受容度が上がっていた • 科学的リテラシーを維持するためには、このようなトレーニングの繰り返しが必要かも
13. 科学的な知見の利用 13 ✓ 研究成果を解釈し、批判的に評価し、利用する学生の能力を育成することも重要 ⚫ Haas and Rouse（2022） • 科学的記録における訂正の概念や関連用語を紹介し、文献検索中に遭遇した訂正通知 を識別し解釈する方法を教える実践 • 出版された研究の実質的な誤りが確認された場合、訂正を行うことが重要だが、 errata, corrigenda, retractions など、訂正を意味する様々な用語があるため複雑 • 訂正の役割を理解することは、学術出版プロセスに関する必要な知識を提供すると同 時に、科学的記録の正確さと完全性を確保するための誤りや責任といった概念を導入 することにもなる ⚫ Marshall and Underwood（2019） • 経済学分野の実証的研究論文の構成要素、書式、スタイルの規則について学ぶことを 通して、研究のプロセスを学ぶ。 ⚫ Frank and Saxe（2012） • 追試を通して他人の論文を注意深く読む能力を育成 • 他人の不完全な研究報告を整理しようとするフラストレーションを経験することが、 将来自身で研究プロトコルを書く時に役立つ
14. 転移可能なスキル 14 • オープン・スカラシップに取り組むことで、学生は、共同コーディング、問題解決、 知識の共同生産などの分野で、チームの一員として働く能力を養うことができる （Button et al., 2020; Çetinkaya-Rundel & Ellison, 2021; Marwick et al., 2020; Stiemsma et al., 2020） • 再現可能な学問のトレーニングを受けた学生は、透明でアクセスしやすい方法で研究 結果を伝えるトレーニングを受けているため、科学コミュニケーションにも長けてい る（Baran & AlZoubi, 2020; Kathawalla et al.、2021） • オープンな学問を学ぶことが科学を批判的に分析する能力に役立ち、また、信頼や誠 実さといったより広い倫理的問題の理解も深まる（Baran & AlZoubi, 2020） • 透明性が高く、他者が容易にアクセスできるように整理されたコードやデータを作成 する習慣が身につき、学生の将来のキャリアに役立つ可能性がある（Marwick et a;., 2020） • しかし、学生の成果にはほとんど影響がないことを示す証拠もある（e.g., Nurse & Staiger, 2019）
15. （2）学生の研究参加への取り組み 15 • 学生が研究についての教育や学習に参加してくれなければ話は始まらない • 学生のエンゲージメント：広く学生が学業に関わり、楽しむ程度 ◼ 学習意欲（感情） ◼ 学生の参加とコラボレーション（認知） ◼ オープンリサーチへの将来的な取り組み（行動） ◆ 整理の枠組み （1）学生の科学的リテラシー オープンリサーチに対する理解、科学的知見の利用、 転移可能なスキルの開発 （2）学生の研究参加への取り組み 学習意欲、学生の参加とコラボレーション、オープ ンリサーチへの将来的な取り組み （3）学生の研究に対する態度 学生の科学に対する信頼、研究結果に対する確信
16. 学習意欲 16 ⚫ Frank and Saxe（2012） • 追試という実際の科学研究に貢献する機会は学生を動機づける最善の方法 ⚫ PsyTeachR プロジェクト（McAleer, 2021参照） • RとRStudioを使用して再現可能で頑健な方法で実際のデータセットを分析する • 実際のデータを使用する真正性が学習意欲につながる ⚫ Button et al.（2020） • 意味のある大規模データセットにアクセスできること、他大学の学者、学生、研究者 とネットワークを作る機会、アイデアや知識の共有、事前登録に貢献することに学生 は価値を感じている ⚫ Lin（2019） • オープン教材は学生の学習意欲を高める • アクセシビリティの高さ、障害への対応、教材の信憑性・洗練性、費用削減、生涯教 育への貢献、学び方の主体的な選択機会の提供 ⚫ Hare et al.（2020） • オープン教育リソースは作成する課題も学習意欲を高める
17. 学生の参加とコラボレーション／オープンリサーチへの将来的な取り組み 17 ◼ 学生の参加とコラボレーション • 協力的なアプローチを採用することによって、学生の注意力、モチベーション、 内省が高まる ⚫ Button et al.（2020） • チームサイエンスのアプローチを教育に取り入れることで、学生が他の機関の 仲間や研究者とネットワークを作り、より優れた実践に触れることができ、そ の結果、チームの一員として孤立せず、より高く評価されると感じていた ◼ オープンリサーチへの将来的な取り組み ⚫ Çetinkaya-Rundel and Ellison（2021） • データサイエンスのコース内にオープンな教育リソース、特に再現可能なコン ピューティングスキルを導入することで、その後の授業への参加率が向上 ⚫ Becker（2020） • オープン・スカラシップの実践が、科学への貢献者として知識の集合体に参加 することを促す
18. 学生の研究に対する態度 18 • 態度：特定の行動、話題、実践に対する個人の肯定的、否定的、中立的な感情 • 過去10年で、透明性と厳密性の取り組みや改革に対する学者や研究者の態度は変 化している • オープンかつ再現可能な学問の実践に対する学生の態度は介入によって変化する か？ ◼ 学生の科学に対する信頼 ◼ 研究結果に対する確信 ◆ 整理の枠組み （1）学生の科学的リテラシー オープンリサーチに対する理解、科学的知見の利用、 転移可能なスキルの開発 （2）学生の研究参加への取り組み 学習意欲、学生の参加とコラボレーション、オープ ンリサーチへの将来的な取り組み （3）学生の研究に対する態度 学生の科学に対する信頼、研究結果に対する確信
19. 学生の科学に対する信頼／研究結果に対する確信 19 ⚫ Chopik et al.（2018） • 再現性の危機に関する1時間の講義の後、心理学者によって行われた科学的研 究に対する学生の信頼が有意に緩やかに減少した • 一方で、学生の大学院進学の意図には影響を与えなかった ⚫ Sacco and Brown（2019） • 心理学大学院生を対象とした1時間のトレーニングモジュールの後、学生は心 理学の研究結果を信頼することが一時的に減少した ※学生や若手研究者がオープンリサーチに取り組むことで起こりうる負の影響や意図し ない結果についてはKowalczyk et al.（2022）を参照 ⚫ Sarafoglou et al.（2019） • 「心理学の7つの大罪」（Chambers, 2019）という本を用いて良い研究実践 について議論する修士レベルのコースを設定 • 学生は再現性に関するテーマに興味を持つ一方で、再現性危機や心理学に対す る信頼の危機を知り、悲観的な気持ちになったと報告
20. ディスカッション 20 • オープンで再現可能な学術的アプローチを教育に組み込むことは、短期、中期、 長期的に学生に利益を与えることができることを示唆 • 具体的には、科学研究を理解し実施する学生の能力に影響を与える • 研究プロセス、ピアレビュー、研究で使用された統計分析に対する理解が深まり、 学生が科学を理解することに貢献する • 学生のチームワーク、コミュニケーション能力、科学的な文章力など、他のスキ ルへ転移する。自分の研究に対してより大きな主体性を育む新しい機会を生み出 す。 • オープンな教育資源の導入は、教材へのアクセス性が向上し、貴重な知識をすべ ての人が参照できるようになる • しかし、学生のリテラシーを持続的に変化させるためには長時間の介入が必要 • 学生が科学的研究に対する信頼を低下させたままコースを修了するのではなく、 再現性のない研究を避けるための手段として、開かれた実践に対する積極的な姿 勢を身につけることが重要
21. ベストプラクティスの紹介 21 事例 URL 説明 PsyTeachR, University of Glasgow https://psyteach r.github.io/ グラスゴー大学の PsyTeachR プロジェクト（McAleer, 2021）は、R と RStudio を学ぶ学生を「リアルで厄介な」オープンデータセットで足 場固めすることで、学生のデータリテラシーの向上を目指しています。 これは、カリキュラム全体にオープンで再現可能な学問を埋め込むため の、学部独自のアプローチです。 RepliCATS in the classroom https://replicats. research.unimel b.edu.au/ RepliCATSプロジェクトは、研究者が集まり、研究の主張の信頼性につ いて議論し、推定するものです。このプロジェクトにより、いくつかの 信頼性の次元が特定され、カスタムメイドのデジタルプラットフォーム が開発され、現在「reliCATS in the classroom」イニシアティブの一環 として、様々な学部メソッドコースで展開されています。この取り組み では、学生はまず、発表された研究結果を様々な信頼性の次元に沿って 個別に評価し、次に、その評価の根拠について仲間と議論し、最後に最 新の信頼性評価を提出します。repliCATS in the classroomチームは、 現在、学生がこのアプローチをどのように受け止めているか、また、カ スタム環境以外で信頼性の次元を使用するかどうかを調査しています。 The Framework for Open and Reproducible Research Training https://forrt.org FORRT-A Framework for Open and Reproducible Research Trainingは、350人以上の若手研究者が参加する受賞歴のある学際的コ ミュニティで、教育改革とメタサイエンス研究を通じて、高等教育に オープンな奨学金原則を取り入れ、研究の透明性、再現性、厳密性およ び倫理性を高めることを目的としています。
22. ベストプラクティスの紹介 22 事例 URL 説明 Principles and Practices in Open Research (PaPOR TRaIL) https://open.ucc .ie/browse/all/c pd/courses/papo r-trail-principles- and-practices-of- open-research- 003cpd PaPOR TRaILは、学部生と大学院生のためのオープンリサーチに関する 無料コースです。自分のペースで進められるオンラインコースで、学生 が独自に受講したり、既存の研究カリキュラムに組み込んだりすること ができます。学生はまず、オープン・リサーチの原則と実践を包括的に 理解するための入門モジュールを修了することができます。このモ ジュールを完了した後、学生は、以下のオープンリサーチの実践方法を 示す 6 つのスキルベースのセクションのいずれか、またはすべてを完了 することを選択できます。6 つのスキルベースのモジュールには、研究 の完全性、事前登録、研究データ管理、再現可能な実践、オープンな報 告、オープンな知識の普及が含まれます。 Teaching Integrity in Empirical Research (ProjectTier) https://www.pro jecttier.org/ ProjectTIERは、社会科学全般にわたる研究の完全性、頑健性、開放性 を向上させることを目的としています。ProjectTIERは、教室のリソー ス、コース教材、オープンで再現可能な教育実践のためのインスピレー ションを共有しています。 RIOT Club https://riotscien ce.co.uk/ R.I.O.T. Science Club は、Reproducible, Interpretable, Open, and Transparent Science のトレーニングを提供する科学コミュニティです。 RIOTは、科学者、臨床医、一般市民など、すべての人が情報や学びにア クセスできるよう促進し、再現可能で、容易に解釈できる結果、分析、 コードの実現を目指しています。