(Reading) Preregistering NLP research

Komachi lab.

Transcript

1. NAACL 2021 Best Thematic Paper
2. - Growing concerns about the reproducibility of scientific research -> ʻreproducibility crisisʼ • There are worries about the reproducibility of NLP research (Fokkens et al., 2013; Cohen et al., 2018; Moore and Rayson, 2018; Branco et al., 2020). - The NLP community is rapidly adopting guidelines, in the form of Dodge et al.ʼs (2019) reproducibility checklist that authors for EMNLP2020 need to fill in. 2 Introduction モデル、アルゴリズムについて Statementについて データセットについて コードについて
3. - preregistrationの⽬的は研究者がデータに触れる前に、仮説と研究⽅法が明⽰さ れるようにすること • でないと、すべての研究決定が暗黙的に⾏われて研究の信頼性と⼀般性に悪影響がおよぶ （ The garden of forking paths ） - ⾔い換えると、exploratory researchとconfirmatory researchの区別 • exploratory research -> preregistration必要ない • confirmatory research -> preregistration必要（仮説を⽴てられる） - 「preregister」や「preregistration」はNLPの論⽂ではほとんど使⽤されていな い。 - Preregistrationの説明と、NLPでどのくらい⾏われているか、NLPにどのように導 ⼊すれば良いかのレポートを⾏う 3 Introduction
4. - 典型的なPreregistration formを紹介 - Time stampがあり、研究を⾏う前に決定した証拠になる - 理想的には、計画と実際に⾏った研究が完全に⼀致する。 不測の事態によって研究を変更しなければならないことがあるが、最終報告書に変更内容（そ の理由を含む）が明記されていれば問題ない。 4 Typical preregistration form 量的研究 質的研究
5. - Registered reports “[split] conventional peer review in half” - 著者は研究を実施する前に、研究計画を提出して審査を受ける（予備登録に似ている） - 計画が受理されると、著者は「計画通りに研究を実施すれば、研究が出版される」という保証 を得る - 計画からの逸脱は最終報告書に記載 - 利点 • 出版バイアスを回避できる。研究は結果に基づいて判断されないので、ポジティブな結果 もネガティブな結果も同じように出版される。 • レビューによって研究デザインの⽋陥が修正され、多くのエネルギーを節約できる • タイムスタンプによって、類似の研究が発表される前に⾃分がアイデアを持っていたこと を⽰すことができる • できるだけ早く発表しなければならないというプレッシャーを和らげ、スクープされる⼼ 配をせずに、好きなだけ時間をかけて研究を実施することができる。これは、NLPにおけ るslow scienceの導⼊である。 - Registered reportsを採⽤しているNLPジャーナルを我々は知らないが、強く勧め る 5 Registered reports
6. - To determine what a preregistration for NLP research should look like, we need to consider the different kinds of research contributions in NLP. (6種) • Position Paper -> Not suitable • Computationally-aided linguistic analysis • NLP engineering experiment paper • Reproduction Paper • Resource Paper 1）データ収集の⽬的、 2）サンプリング（どの⽂書を含めるか）、 3）アノテーション（どのようなフレームワーク／視点 (perspective)を⽤いるか） が重要。 研究の⽬的がサンプリングやアノテーションにどのように影響したかをメモしておくと、研究の⽬的が 違う⽅向に向かった場合に便利 • Survey Paper PRISMAガイドラインに従うべき。 ：どこで⽂献を検索したか、どのような検索⽤語を使⽤したか、どのような基準で論⽂の選択 したか 6 タイプ別のpreregistration 量的&質的（エラー分析） ：チェリーピックの例と⼀緒にいくつかの 「レモン」も提⽰すべき
7. - 査読者の⽅々の質問 • Preregistrationは⼿間がかかりますか？ A.予備登録による研究プロジェクトへの負担はほとんどない。特にIRB（Institutional Review Board）の承認が必要なプロジェクトの場合は、いずれにしても同じような内 容の記述が必要。 研究を⾏う前に論⽂を書き始めるのに良いアプローチである。 • Preregistrationの引⽤はどうする？ A. ArXivと同じ。 例えば、BMC Public Healthのような医学雑誌では、結果の出ていない研究プロトコ ルが公開されていて、他⼈に引⽤されている • 同時進⾏の研究をどう扱えばいいのか？ A.同様の結果が得られた複数の独⽴した研究を発表することは、たとえ新しい洞察が得 られなくても研究結果の頑健性を⽰す証拠となる。 7 Questions about preregistration
8. 8 Limitation - Three limitations: • Flexibility 実験を⾏う前に著者がすべての結果を予⾒することは困難であり、不可能かも。 • Fraud 不正な研究者が、creating multiple preregistrationsを⾏ったり、すでに実施された研究 をpreregistrationしたりすることを防ぐ⽅法がない。 • Applicability 主に量的研究（特に実験）向けに開発されており、質的研究についても提案されている が（Haven and Grootel, 2019）、このアイデアが流⾏るかどうかはわからない。 Szollosiら（2020）は、preregistrationは透明性を⾼めるかもしれないが、それだけで は科学的な推論や理論の発展にはつながらないと主張している。 NLPの⼤部分は理論以前のものである（効果は観察されているが、なぜその効果が起こ るのかについての理論的な説明がない）ので、実験を⾏う前に、まず理論開発に焦点を 当てるべきという主張もありえる。
9. - NLPのためのリスト 9 Conclusion