Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文輪読会 第1回 AI論文読み方講座

AcademiX
February 18, 2023

論文輪読会 第1回 AI論文読み方講座

AcademiX が開催した 第1回 論文輪読会「AI論文読み方講座」に関する資料

日時:2023/02/18
発表者:大熊拓海さん

<概要>
AIの最新技術を詳細までキャッチアップする為には、論文を読む事が必要不可欠である一方、普段論文を読まない方にとっては中々ハードルが高いように思われる。
本講座では、そのような論文読み初学者の為に、
・そもそも論文とは何か
・なぜ論文を読むのか
・どの論文を読むべきなのか
・どのように論文を読むのか
を順番に丁寧に説明している。

AcademiX

February 18, 2023
Tweet

More Decks by AcademiX

Other Decks in Science

Transcript

  1. 経歴 • 2019年 3月 東京大学 工学部 計数工学科卒業 • 2021年 3月

    東京大学 情報理工学系研究科 創造情報学専攻 修士課程 修了 (修了時に研究科長賞受賞) • 2021年 4月 同 博士課程 進学 (休学中) • 2021年 6月 Airion株式会社 創業 • 2022年 7月 AI学生団体「AcademiX」設立 専門分野 • 画像認識(Few-shot Learning、Human Pose Estimation) その他 • 東京大学 工学系研究科 講義「深層学習」講師(2020年度-) • 松尾研スプリングセミナー講義 監修 (画像認識) 講師 (画像認識/生成モデル) • 2021年度未踏アドバンスト事業採択 • Twitter: @shien5963 (link) 大熊拓海 自己紹介
  2. 何故論文が大切なのか • 論文=研究成果に関する一次情報にアクセスする唯一の方法 • 書籍や解説記事からも情報は得られるが、 • メジャーな論文・研究に限られる。 • いわゆる「論文の要約」なので、情報量がかなり落ちる。 •

    (素人が書いた解説記事は)信憑性が数段落ちる。 • 書籍は出版に時間がかかるので、最先端まで網羅しきれない。 (AcademiX の勉強会も本をベースにしているので、最先端までは追えていない) • 最先端の理論や技術を理解する為には、論文の読解が必要不可欠。
  3. 論文を理解する為に 研究者は分かりやすく論文を書いているのに、理解できないとしたら、、、 • 読む順番が良くない → 小説の様に頭から読むのが正しいという訳ではない(後述) • 論文のコンテキスト・前提条件が理解出来ていない → イントロや関連研究をしっかり読む必要がある(後述)

    • 英語を読めていない → DeepL等の翻訳を使ってみよう • 実は分かりやすい or 良い論文ではなかった → よほど重要な研究でない限り(少なくとも初心者は)読まなくても良いかも → しかし、読み方が分かっていないと「わかりにくいか否か」の判断すら出来ない
  4. 研究者は分かりやすく論文を書いているのに、理解できないとしたら、、、 • 読む順番が良くない → 小説の様に頭から読むのが正しいという訳ではない(後述) • 論文のコンテキストが共有出来ていない → イントロや関連研究をしっかり読む必要がある(後述) •

    英語を読めていない → DeepL等の翻訳を使ってみよう • 実は分かりやすい or 良い論文ではなかった → よほど重要な研究でない限り(少なくとも初心者は)読まなくても良いかも → しかし、読み方が分かっていないと「わかりにくいか否か」の判断すら出来ない こうならない様にする為に 正しい読み方を学びましょう!!
  5. 特定分野の大まかな把握 分野のキーとなる論文を浅く広く抑える必要がある(論文を「浅く」読む方法は後述)。 キーとなる論文を見つけるためには、 1. 「サーベイ論文」を当たってどの論文が重要か(≒被引用数が多いか)を見極める サーベイ論文は、特定分野の概要を把握する為の文章で(新規の研究ではない)、 タイトルに大体 “survey” の単語が含まれている。 例)”Pose

    Estimation survey” でGoogle検索すると、” 2D Human Pose Estimation: A Survey”というサーベイ 論文がヒットする。 2. 日本語の解説記事を等を当たる 有名な論文は日本語の解説記事も多く出ているので、適当な単語で検索かけてみる。 一からサーベイ論文で探すよりも手っ取り早いことも多い。 色々読んでいくうちに、段々と分野の大まかな全体像を把握できるはずである。
  6. 輪読会での発表 1. 興味のある分野で、最近出た論文(1年以内くらいが目安) ・Paper with Code が便利。 2. トップ学会に採択された論文 ・トップ学会に関しては

    https://research-p.com/column/1144 あたりを参考。 ・学会の採択には半年くらい時間がかかるので、最新論文に関しては必須ではない。 3. 自分がしっかり理解でき、人に説明できる自身のある論文 の3条件を満たす論文を選べるとベター 初心者のうちは、もし論文を理解しきれなくてもリカバリーできるように、 QiitaやAI-SCHOLAR等で日本語記事が出ている論文を選ぶと良いかもしれない。 ※ 上記も素人が書いた記事が多く、内容に誤りを含む場合もあるので注意。
  7. 実装するアルゴリズムの検討 • 理論よりも、既存実装・学習済みモデルが存在することが重要 • Paper with Code で探すのが楽 • Paper

    with Code で該当するタスクを 検索する。 • ベンチマークを選択肢、精度上位の手 法の一覧を見る。 • GitHubのリポジトリが存在する手法は マークをクリックしてアクセスできる。 • 手法の精度とリポジトリの信頼度・使 いやすさを考慮して、実装するアルゴ リズムを検討する。
  8. 論文の構成 まず、一般的な(AI分野の)論文は以下の構成で書かれている。 0. 概要 (Abstract) : 論文全体の概要 1. 序論 (Introduction)

    : 研究が行われた背景や前提知識 2. 関連研究 (Related Work) : 関連する先行研究を示す 3. 手法の説明 (Method) : メインとなるトピック・手法の説明 4. 実験 (Experiment) : 手法の有効性等を示す為の実験・主結果 5. 考察 (Discussion) : 更に理解を深めるための追加実験・考察 6. 結論 (Conclusion) : 研究全体の総括
  9. 上から順番に読むのか? 0. 概要 (Abstract) : 論文全体の概要 1. 序論 (Introduction) :

    研究が行われた背景や前提知識 2. 関連研究 (Related Work) : 関連する先行研究を示す 3. 手法の説明 (Method) : メインとなるトピック・手法の説明 4. 実験 (Experiment) : 手法の有効性等を示す為の実験・主結果 5. 考察 (Discussion) : 更に理解を深めるための追加実験・考察 6. 結論 (Conclusion) : 研究全体の総括
  10. 0. 概要 (Abstract) : 論文全体の概要 1. 序論 (Introduction) : 研究が行われた背景や前提知識

    2. 関連研究 (Related Work) : 関連する先行研究を示す 3. 手法の説明 (Method) : メインとなるトピック・手法の説明 4. 実験 (Experiment) : 手法の有効性等を示す為の実験・主結果 5. 考察 (Discussion) : 更に理解を深めるための追加実験・考察 6. 結論 (Conclusion) : 研究全体の総括 素直に上から読むのはお薦め出来ない ではどの順番がベストなのか?
  11. まず概要・結論を読むべき 0. 概要 (Abstract) 1. 序論 (Introduction) 2. 関連研究 (Related

    Work) 3. 手法の説明 (Method) 4. 実験 (Experiment) 5. 考察 (Discussion) 6. 結論 (Conclusion) • 概要と結論を読み、研究の大枠を把握する。 • 研究の目的は何か、何故重要なのか、成果及び限界点 は何処か等を理解する。 • これらを読んだ結果、自分が知りたい内容とは異 なると感じた場合、読むのを止める。 • 一般に、論文を一本理解するにはそれなりの労力がか かるので、無駄を省ける。
  12. 次に序論・関連研究を読む 0. 概要 (Abstract) 1. 序論 (Introduction) 2. 関連研究 (Related

    Work) 3. 手法の説明 (Method) 4. 実験 (Experiment) 5. 考察 (Discussion) 6. 結論 (Conclusion) • 研究目的、問題領域、研究範囲、先行研究等、 研究が行われる前提条件を把握する。 • 特に、殆どの研究は単体で成立するのではなく、先行 研究に基づいて行われている為、 関連する先行研究を把握することは非常に大切。 • 読者の知識が不十分な場合、研究の前提条件が把握で きない、しっくりこない場合もある。 • この状態で論文を読んでも得るものは少ないので、 一旦読むのをストップして、先に重要な先行研究を理 解する必要がある。
  13. 熟読する 0. 概要 (Abstract) 1. 序論 (Introduction) 2. 関連研究 (Related

    Work) 3. 手法の説明 (Method) 4. 実験 (Experiment) 5. 考察 (Discussion) 6. 結論 (Conclusion) • 研究内容を詳しく把握したい場合に読む。 • 関連研究を薄く広くサーベイしている場合には読 み飛ばすことも多い。 • 「手法の説明」には詳しい数式等、「実験」には 細かいパラメータ設定や結果等が書かれるので、 納得感を得たい場合にはそれぞれを読むべき。 • 読む順番はそのまま3, 4, 5で良い。 • 「実験」と「考察」は分かれていないこともある。