Tweet
Tweet

Slide 1

Slide 1 text

機械学習研究ができる AI へ向けて 高木志郎＠「科学的発見におけるAI」 by Tokyo AI 2024/10/04

Slide 2

Slide 2 text

The AI Scientist までの研究の自動化の歴史 AI 研究の自動化 アイデア生成、アイデア実装、実験、全過程、etc... 研究ができる AI 自律性、研究とは？、社会の中の研究、etc... 最後に 2

Slide 3

Slide 3 text

The AI Scientist までの研究の自動化の歴史

Slide 4

Slide 4 text

1900s Robot AI Dendral BACON Adam AlphaFold AI Scientist MLAgent ChemCrow Coscientist MOOSE prompt2model ... Automated Theorem Proving SciML Physics Informed ML 2000s 2012 Laboratory Automation Scientific Workflow Program Synthesis Scholarly Document Processing Automated Experimental Design Literature Based Discovery Symbolic Regression ... Computer ML DNN この図は網羅的ではなく、分野や論文の選択には作成者の強い好み・主観が入っており、時系列も厳密ではない可能性がありますので、参考程度でお願いします Nobel Turing Challenge AI for Science 4thScience Curious Agent AI Feynman Geometric DL Galactica Bayes for Science Neural Operator ReviewRobot PaperRobot MLR-Copilot AlphaGeometry data2paper ... WINGS ... ... ChatGPT 2022 Scientific Claim Verifi. Mahoro Solevent SemNet ... DISK 3rdScience [Wang+ 2023] 2017 Transformer AutoML MLOps AM Logic Theorist Automatic Statistician Eve

Slide 5

Slide 5 text

1900s Robot AI Dendral BACON Adam AlphaFold AI Scientist MLAgent ChemCrow Coscientist MOOSE prompt2model ... Automated Theorem Proving SciML Physics Informed ML 2000s 2012 Laboratory Automation Scientific Workflow Program Synthesis Scholarly Document Processing Automated Experimental Design Literature Based Discovery Symbolic Regression ... Computer ML DNN この図は網羅的ではなく、分野や論文の選択には作成者の強い好み・主観が入っており、時系列も厳密ではない可能性がありますので、参考程度でお願いします Nobel Turing Challenge AI for Science 4thScience Curious Agent AI Feynman Geometric DL Galactica Bayes for Science Neural Operator ReviewRobot PaperRobot MLR-Copilot AlphaGeometry data2paper ... WINGS ... ... ChatGPT 2022 Scientific Claim Verifi. Mahoro Solevent SemNet ... DISK 3rdScience [Wang+ 2023] 2017 Transformer AutoML MLOps AM Logic Theorist Automatic Statistician Eve

Slide 6

Slide 6 text

[Langley+ 1987] [Schmidhuber 1991] 5

Slide 7

Slide 7 text

1900s Robot AI Dendral BACON Adam AlphaFold AI Scientist MLAgent ChemCrow Coscientist MOOSE prompt2model ... 2000s 2012 Computer ML DNN この図は網羅的ではなく、分野や論文の選択には作成者の強い好み・主観が入っており、時系列も厳密ではない可能性がありますので、参考程度でお願いします Nobel Turing Challenge AI for Science 4thScience Curious Agent AI Feynman Galactica ReviewRobot PaperRobot MLR-Copilot AlphaGeometry data2paper ... WINGS ChatGPT 2022 Mahoro Solevent SemNet Automated Theorem Proving Laboratory Automation Scientific Workflow Program Synthesis Scholarly Document Processing Automated Experimental Design Literature Based Discovery Symbolic Regression ... Bayes for Science ... DISK 3rdScience [Wang+ 2023] 2017 Transformer SciML Physics Informed ML Geometric DL Neural Operator ... ... Scientific Claim Verifi. AutoML MLOps AM Logic Theorist Automatic Statistician Eve

Slide 8

Slide 8 text

[Wang+ 2023] [Zhang+ 2023] 8

Slide 9

Slide 9 text

https://ornlcda.github.io/SDProc/cfp.html 9

Slide 10

Slide 10 text

多くの AI for Science / Research Automation の取り組みは... 研究の部分タスクの自動化であり、アイデア生成から知識創出まで の一気通貫な研究過程の自動化ではない 1. 機械が取る行動/解くべき具体的なタスク/解の候補となる空間など を事前に人間が厳密に固定しておりオープンエンド/自律的でない 2. →AI 科学者というよりも、科学のための道具としての AI/機械 10

Slide 11

Slide 11 text

1900s Robot AI Dendral BACON Adam AlphaFold AI Scientist MLAgent ChemCrow Coscientist MOOSE prompt2model ... Automated Theorem Proving SciML Physics Informed ML 2000s 2012 Laboratory Automation Scientific Workflow AutoML MLOps Program Synthesis Scholarly Document Processing Automated Experimental Design Literature Based Discovery Symbolic Regression ... Computer ML DNN この図は網羅的ではなく、分野や論文の選択には作成者の強い好み・主観が入っており、時系列も厳密ではない可能性がありますので、参考程度でお願いします Nobel Turing Challenge AI for Science 4thScience Curious Agent AI Feynman Geometric DL Galactica Bayes for Science Neural Operator ReviewRobot PaperRobot MLR-Copilot AlphaGeometry data2paper ... WINGS ... ... ChatGPT 2022 Scientific Claim Verifi. Mahoro Solevent SemNet ... DISK 3rdScience [Wang+ 2023] 2017 Transformer End-to-End 自動実行 AM Logic Theorist Automatic Statistician Eve

Slide 12

Slide 12 text

[Kitano 2021] [King+ 2009] [Waltz+ 2009] 12

Slide 13

Slide 13 text

高橋恒一「万能知能と科学の主観性と自律性、およびその変質」＠科学基礎論学会 2024 13

Slide 14

Slide 14 text

1900s Robot AI Dendral BACON Adam AlphaFold AI Scientist MLAgent ChemCrow Coscientist MOOSE prompt2model ... Automated Theorem Proving SciML Physics Informed ML 2000s 2012 Laboratory Automation Scientific Workflow Program Synthesis Scholarly Document Processing Automated Experimental Design Literature Based Discovery Symbolic Regression ... Computer ML DNN この図は網羅的ではなく、分野や論文の選択には作成者の強い好み・主観が入っており、時系列も厳密ではない可能性がありますので、参考程度でお願いします Nobel Turing Challenge AI for Science 4thScience Curious Agent AI Feynman Geometric DL Galactica Bayes for Science Neural Operator ReviewRobot PaperRobot MLR-Copilot AlphaGeometry data2paper ... WINGS ... ... ChatGPT 2022 Scientific Claim Verifi. Mahoro Solevent SemNet ... DISK 3rdScience [Wang+ 2023] 2017 Transformer AutoML MLOps Open-Ended/自律性 AM Logic Theorist Automatic Statistician Eve

Slide 15

Slide 15 text

1900s Robot AI Dendral BACON Adam AlphaFold AI Scientist MLAgent ChemCrow Coscientist MOOSE prompt2model ... Automated Theorem Proving SciML Physics Informed ML 2000s 2012 Laboratory Automation Scientific Workflow Program Synthesis Scholarly Document Processing Automated Experimental Design Literature Based Discovery Symbolic Regression ... Computer ML DNN この図は網羅的ではなく、分野や論文の選択には作成者の強い好み・主観が入っており、時系列も厳密ではない可能性がありますので、参考程度でお願いします Nobel Turing Challenge AI for Science 4thScience Curious Agent AI Feynman Geometric DL Galactica Bayes for Science Neural Operator ReviewRobot PaperRobot MLR-Copilot AlphaGeometry data2paper ... WINGS ... ... ChatGPT 2022 Scientific Claim Verifi. Mahoro Solevent SemNet ... DISK 3rdScience [Wang+ 2023] 2017 Transformer AutoML MLOps AM Logic Theorist Automatic Statistician Eve

Slide 16

Slide 16 text

[Lu+ 2024] https://sakana.ai/ai-scientist-jp/ 16

Slide 17

Slide 17 text

[Lu+ 2024] 17

Slide 18

Slide 18 text

[Lu+ 2024] 18

Slide 19

Slide 19 text

AI Scientist は 機械学習の研究でオープンエンドなアイデアの生成から、実験の実 施/論文の執筆/さらには査読までを一気通貫で自動実行した 先ほど見せたレベルの質の論文の自動生成まで持っていった という点で新規！ 「研究するAI」の共通イメージを作ったこと、 「AI Scientist 作ろう」というメッセージを発信したことが重要！ 19

Slide 20

Slide 20 text

Paper Copilot: A Self-Evolving and Efficient LLM System for Personalized Academic Assistance The emergence of Large Language Models (LLM) as a tool in literature reviews: an LLM automated systematic review Towards Automated Machine Learning Research Can Large Language Models Unlock Novel Scientific Research Ideas? Automating the Practice of Science -- Opportunities, Challenges, and Implications Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers Towards Fully Autonomous Research Powered by LLMs: Case Study on Simulations Automated Design of Agentic Systems CodeRefine: A Pipeline for Enhancing LLM-Generated Code Implementations of Research Papers MLR-Copilot: Autonomous Machine Learning Research based on Large Language Models Agents SciAgents: Automating scientific discovery through multi-agent intelligent graph reasoning ....!!! 2024年8月以降 arXiv に投稿された研究 AI Scientist の登場以降、潮目が変わっている！ 20

Slide 21

Slide 21 text

AI研究の自動化

Slide 22

Slide 22 text

ML研究は基本的な操作の組み合わせによる営みであり、この基本的操 作の能力が LLM の登場によって飛躍的に向上している LLMs & LLM Agents ... Reasoning Planning Thinking Tool Use Scholarly Document Processing Coding Computer Operation ... e.g. [Hou et al, 2023] e.g. [Huang et al, 2023, Huang et al, 2024, Mialon et al, 2023, ...] e.g. [Zhao et al, 2023, Wang 2023, ...] 22

Slide 23

Slide 23 text

論文を読む/人から聞くなどして、研究テーマを決める 先行研究を探すなどして分野の課題感などを見つける それらを解消するような方法を考える 考えた方法を簡単な設定で試して有望そうなら本格的な実験に進む ベースラインにする研究の実験を参考にして実験を計画・実装する 実験を実施して結果を保存・論文に載せるための図を作成する 論文を執筆する … 例えば… 23

Slide 24

Slide 24 text

Objective Solution Implementation Experiment Plan Solution Idea Experiment Result Research Paper Experiment Implementation Research Problem 24

Slide 25

Slide 25 text

Objective Solution Implementation Experiment Plan Solution Idea Experiment Result Research Paper Experiment Implementation Research Problem アイデア生成/問いの生成/課題発見 25

Slide 26

Slide 26 text

ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [Baek+ 2024] Scideator: Human-LLM Scientific Idea Generation Grounded in Research-Paper Facet Recombination [Radensky+ 2024] OpenResearcher: Unleashing AI for Accelerated Scientific Research [Zheng+ 2024] Generation and human-expert evaluation of interesting research ideas using knowledge graphs and large language models [Gu & Krenn 2024] SCIMON : Scientific Inspiration Machines Optimized for Novelty [Wang+ 2023] AutoML-GPT: Automatic Machine Learning with GPT [Zhang+ 2023] Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [Yang+ 2023] SciAgents: Automating scientific discovery through multi-agent intelligent graph reasoning [Ghafarollahi & Buehler 2024] Creative research question generation for human-computer interaction research [Liu+ 2023] Mapping the challenges of hci: An application and evaluation of chatgpt and gpt-4 for cost-efficient question answering [Oppenlaender & Hamalainen 2023] Evaluating the use of large language model in identifying top research questions in gastroenterology [Lahat+ 2023] ... and more !! [Baek+ 2024] 26

Slide 27

Slide 27 text

[Si+ 2024] Novelty [Kumar+ 2024] 現在の LLM は人間に比肩する質の研究アイ デアを生成可能であり、特に新規性の点では 人間を超えるようなアイデアも生成可能 27

Slide 28

Slide 28 text

[Wang+ 2024] [Scherbakov+ 2024] 28

Slide 29

Slide 29 text

テーマ レビュー論文 研究アイデア GenSurv AI Scientist 初期アイデア GenSurv を AI Scientist に繋いでみました！ 29

Slide 30

Slide 30 text

30

Slide 31

Slide 31 text

# チャールズ・ダーウィンの進化論発展の詳細年表 ## 1809年 - 2月12日：チャールズ・ダーウィン、イングランドのシュルーズベリーで誕生 ## 1825-1827年 - エディンバラ大学で医学を学ぶが中退 - 自然科学への興味を深める ## 1828-1831年 - ケンブリッジ大学クライスツ・カレッジに入学 - 植物学者ジョン・ヘンズローの指導を受け、生物学への関心が高まる ## 1831-1836年：ビーグル号航海 - 博物学者として世界周航に参加 - 重要な観察： 1. 南アメリカで絶滅した巨大哺乳類の化石を発見、現存種との類似性に注目 2. ガラパゴス諸島のフィンチの嘴の形状が島ごとに異なることを発見 3. ガラパゴスゾウガメの甲羅の形状の島ごとの違いを観察 - これらの観察が、種の可変性の考えの基礎となる ## 1837年 - 7月：最初の進化ノート（「赤いノート」）の執筆を開始 - 種の変化に関する初期の考えを記録 ## 1838年 - 9月：トマス・マルサスの「人口論」を読み、自然選択の概念を着想 - 生存競争の概念を発展させる https://www.kousakusha.co.jp/BOOK/ISBN978-4-87502-417-0.html ## 1842年 - 進化論の最初の概要を35ページの草稿にまとめる - 「自然選択」という用語を初めて使用 - 変異、遺伝、過剰生産、生存競争の概念を統合 ## 1844年 - より詳細な230ページの進化論草稿を執筆 - 自然選択による進化の過程をより詳細に説明 - 妻エマに草稿を託し、死後の公表を指示 ## 1846-1854年 - 主に蔓脚類（フジツボの仲間）の研究に従事 - 種の変異の範囲と遺伝の仕組みについての理解を深める ## 1854年 - 自然選択による進化の研究を本格的に再開 - 家畜育種の事例を収集し、人為選択と自然選択の類似性を探究 ## 1858年6月 - アルフレッド・ラッセル・ウォレスから類似の進化理論に関する論文を受け取る - 7月1日：リンネ協会でウォレスの論文とダーウィン自身の要約を共同発表 ## 1859年 - 11月24日：「種の起源」出版 人は一つのアイデアを生成するために多くの試行錯誤をしたり、様々な情報源からふとし た瞬間にアイデアを生成したりするが、そうしたアイデア生成はまだ ある目標を達成するための有用で具体的で深い研究レベルのアイデア生成はまだ ... など！ 31

Slide 32

Slide 32 text

Objective Solution Implementation Experiment Plan Solution Idea Experiment Result Research Paper Experiment Implementation Research Problem アイデア実現/手法提案 32

Slide 33

Slide 33 text

探索空間 手法提案/発見 手法評価 *[Hu+ 2024] を参考 33

Slide 34

Slide 34 text

探索空間 手法提案/発見 手法評価 *[Hu+ 2024] を参考 自動化の試みは昔からある AutoML をはじめとして ML の技術要素の自動提案の研究は前からある 34

Slide 35

Slide 35 text

データ モデル オプティマイザー 損失関数 評価関数 35

Slide 36

Slide 36 text

[White+ 2023] [Chen+ 2023] [Lu+ 2024] アーキテクチャ/オプティマイザ/損失関数などの機械学習の要素の 自動発見/提案の取り組みは既に存在する！ 36

Slide 37

Slide 37 text

[Hu+ 2024] 最近ではエージェントシステムの自動発見の研究も！ 37

Slide 38

Slide 38 text

探索空間 手法提案/発見 手法評価 *[Hu+ 2024] を参考 Open-Ended な試みが増えてきている！ 自動化の試みは昔からある LLM の能力向上によりオープンエンドな探索空間での手法の自動構 成/提案/発見の試みができるようになってきた！ 38

Slide 39

Slide 39 text

??? Complicated/Concrete Idea Simple/Abstract Idea Brain-inspired AI AI model Inspired by visual information processing ... ??? Papers Mathematical Model ??? Code Implementation [Fukushima 1980] (CodeRefine: A Pipeline for Enhancing LLM-Generated Code Implementations of Research Papers [Trofimova+2024]) 単純なアイデアからオープンエンドに複雑な手法を発展するのはまだ 目的達成/課題解決するような複雑な手法の構成はまだ 39

Slide 40

Slide 40 text

https://www.autores.one/

Slide 41

Slide 41 text

AutoRes 資料 by Wataru Kumagai より抜粋 41

Slide 42

Slide 42 text

論文取得 目的 論文1 手法分解 手法1A 手法1B 手法作成 論文2 手法分解 手法2A 手法2B ... 42

Slide 43

Slide 43 text

*図はイメージ https://leandojo.org/ 研究過程の構造化 定理証明/理論研究の自動化 AutoRes 資料 by Toma Tanakaより抜粋 43

Slide 44

Slide 44 text

Objective Solution Implementation Experiment Plan Solution Idea Experiment Result Research Paper Experiment Implementation Research Problem 実験計画/実行 44

Slide 45

Slide 45 text

探索空間 手法提案/発見 手法評価 *[Hu+ 2024] を参考 Open-Ended な試みが増えてきている！ 自動化の試みは昔からある 機械学習「研究」の自動化には評価方法の構築も含めた自動化が必要！！ 45

Slide 46

Slide 46 text

科学発見過程 発見の文脈 正当化の文脈 46

Slide 47

Slide 47 text

科学発見過程 発見の文脈 正当化の文脈 これまでの話（多くの AI for Science の研究）は 発見の文脈の話！ 47

Slide 48

Slide 48 text

科学発見過程 発見の文脈 正当化の文脈 正当化の文脈の自動化の試みは少ない！ 48

Slide 49

Slide 49 text

Feedback Propose Method Design Experiment Run Experiment Propose Method Design Experiment Run Experiment Feedback 49

Slide 50

Slide 50 text

学習器の学習 学習器の実行 データ 学習器 評価 学習器の評価 50

Slide 51

Slide 51 text

学習器の学習 学習器の実行 データ 学習器 評価 学習器の評価 研究で提案された手法や仮説の妥当性・有効性の評価であ り、必ずしも ML モデルの評価ではない点に注意！ 51

Slide 52

Slide 52 text

冗長な画像特徴の表現を抑制するニューラルアーキテクチャの提案 データ 学習器 評価 提案法とベースラインの実行結果の accuracy を比較して、 提案法がベースラインより優れているか否かを確認 学習器の学習 学習器の実行 学習器の評価 52

Slide 53

Slide 53 text

早く収束することが期待される Optimizer の提案 データ 学習器 評価 提案法を使った場合がベースラインの場合よりも収束時間が 短くなることを確認 学習器の学習 学習器の実行 学習器の評価 53

Slide 54

Slide 54 text

論理推論能力を高める zero-shot プロンプト技術の提案 データ 学習器 評価 提案法とベースラインのベンチマークに対するスコアを比較 して、提案法がベースラインより優れているか否かを確認 学習器の学習 学習器の実行 学習器の評価 54

Slide 55

Slide 55 text

学習器の学習 学習器の実行 学習器の評価 データ 学習器 評価 既存手法がベンチマークを解けないことを確認 ベンチマークで学習したモデルの数理的能力が上がったことを確認 機械学習モデルの数理的能力を評価するベンチマークの提案 55

Slide 56

Slide 56 text

経験的 演繹的 何かの実現 対象の理解 検証方法 目的 今回は例として手法提案×経験的検証の例を挙げたが、別の研究 タイプになれば検証のワークフローも当然変わる 56

Slide 57

Slide 57 text

[Hunag+ 2023] [Zhang+ 2023] MLAgentBench AutoML-GPT これまで述べた ML 研究の実験自動化そのものではないが、関連 する初期的な試み 57

Slide 58

Slide 58 text

[Viswanathan+ 2023] 学習器の学習 学習器の実行 学習器の評価 データ 学習器 評価 タスクはモデルの学習に 特化しているが、データ セットとモデルの自動取 得まで含めて、モデルの 訓練の自動化 Prompt2Model 58

Slide 59

Slide 59 text

[Li+ 2024] [Lu+ 2024] AI Scientist MLR-Copilot 人間が用意した実験/可視化 コードを AI が編集/実行し 質の高い実験結果を生成 実験テンプレートの取 得も含め実験コードの 作成/実行の自動化 59

Slide 60

Slide 60 text

models datasets proposed_solution.py experiment.py experiment_plan.tx t # construct & compare methods # data & baseline preparation from modules import proposed_soulution # evaluation experiment results 実験計画を python ファイルにして ~するためのモデル とデータを選んで 前処理して class Algorithm: def train_model(): class NewAlgorithm(Algorithm) def train_model(): 60

Slide 61

Slide 61 text

学習器の学習 学習器の実行 データ 学習器 評価 学習器の評価 学習器の学習 学習器の実行 New 学習器 学習器の評価 class Algorithm: class NewAlgorithm(Algorithm): 対照実験 61

Slide 62

Slide 62 text

Paper Papers GitHub Reference Code 62

Slide 63

Slide 63 text

Objective Solution Implementation Experiment Plan Solution Idea Experiment Result Research Paper Experiment Implementation Research Problem 実験結果分析 63

Slide 64

Slide 64 text

[Hong+ 2024] [Ifargan+ 2024] データ分析の自動化の試みは数多くあり、かなり複雑なパイプラインの提案もされ始めている DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [Guo+ 2024] JarviX: A LLM No code Platform for Tabular Data Analysis and Optimization [Liu+ 2023] Autonomous LLM-driven research from data to human-verifiable research papers [Ifargan+ 2024] Data Interpreter: An LLM Agent For Data Science [Hong+ 2024] Towards Automated Data Sciences with Natural Language and SageCopilot: Practices and Lessons Learned [Liao+ 2024] Towards Fully Autonomous Research Powered by LLMs: Case Study on Simulations [Liu+ 2024] ... 64

Slide 65

Slide 65 text

Feedback Propose Method Design Experiment Run Experiment Propose Method Design Experiment Run Experiment Feedback 65

Slide 66

Slide 66 text

Objective Solution Implementation Experiment Plan Solution Idea Experiment Result Research Paper Experiment Implementation Research Problem 研究過程全体 66

Slide 67

Slide 67 text

[Li+ 2024] [Lu+ 2024] AI Scientist MLR-Copilot 論文執筆・論文査読も含 めて自動化 生成する論文の質が高い 研究アイデアを論文群 から自動生成 実験テンプレートの取 得も含め実験コードの 作成も自動化 67

Slide 68

Slide 68 text

そもそも何で AI 研究の自動化か？

Slide 69

Slide 69 text

自律実行が大変 社会への影響が甚大 他分野の研究自動化にも寄与 研究成果で 自己改善 課題を 研究課題に コンピュータ内で完結 AI 安 全 性 の 技 術 的 解 決 に も 寄 与 69

Slide 70

Slide 70 text

自律実行が大変 社会への影響が甚大 他分野の研究自動化にも寄与 研究成果で 自己改善 課題を 研究課題に コンピュータ内で完結 AI 安 全 性 の 技 術 的 解 決 に も 寄 与 [Schmidhuber 1987] 70

Slide 71

Slide 71 text

課題はたくさん！ 自律性 長区間でオープンエンドな状況での適応的な意思決定の繰り返し コンピュータの完璧な操作 数学的能力/演繹的推論/系統的推論 ... などなど！ [Xie+ 2024] 72

Slide 72

Slide 72 text

既存ベンチマークは単純なタスクに制限/自由度も制限 人のような研究の自律遂行能力を評価するベンチマークが必要 研究遂行能力の評価 RQ、仮説、検証手順などの研究の中間生産物の質の評価 例：仮説の新規性の評価、RQ の重要性の評価、etc. 自律性の評価 どの過程でどの程度どんな人間の介入が必要か評価 社会的望ましさの評価 安全性、倫理、社会的影響などの評価 哲学/SciSci/STS の人などの力を借りつつ良い評価指標を設計したい [Huang+ 2023] [Zenil+ 2023] 人工研究者のベンチマーク設計の重要性 73

Slide 73

Slide 73 text

研究ができるAI

Slide 74

Slide 74 text

人間と同程度の自律性で人間と同程度の研究成果を出す AI はまだ Tool → AI Scientist というのは自律性の話 どの程度人の介入/設計無しで研究できるか？ 人は自ら目的設定する/実験結果からやること を変更する/数年かかる研究に取り組む... （long-horizon, open-ended, adaptive, ...） 実際やることは基礎技術の発展とそれを最大 活用する研究過程のフローエンジニアリング [Huang+ 2024] [Lu+ 2024] [高橋恒一「万能知能と科学の主観性と自律 性、およびその変質」＠科学基礎論学会 2024] 75

Slide 75

Slide 75 text

そもそも研究/科学とはなんでしょう？ →科学哲学者間でも合意がない（むしろ統一的定義は無いという見解） 【作業的定義】 研究とはある社会にとっての新しい知識を生産する営み？ すでに誰かがやってる ことをやっても研究 とは呼ばれなそう 研究はこの世界の知ら ないことを明らかにし ている営みという印象 人間社会とか [Takagi 2023] 76

Slide 76

Slide 76 text

研究とはある社会にとっての新しい知識を生産する営み 問いの生成 仮説の生成 何が未知か（新しいか）を特定し、それを明らかにする 答えの予想をし、それが確かなことを確認する 仮説の検証 アイデア生成/発見の文脈 正当化の文脈 77

Slide 77

Slide 77 text

研究とはある社会にとっての新しい知識を生産する営み 【作業的定義】：正当化された真なる信念？ 認識論の分野でも何が正当化かまだ合意がない 知識は主観的であり人にとっての新しい知識はAIのそれと基本異なる AI 科学者と人間の（広義の）アライメント問題 78

Slide 78

Slide 78 text

これまで議論した「科学」はある論文執筆の過程に閉じてたり抽象 的な機能の記述中心だったが実際の科学は社会に埋め込まれてる 79

Slide 79

Slide 79 text

[Taniguchi+ 2024] 科学はマルチエージェントによるコミュニケーションを通じた営み →AIがどこまで「人間のための科学」を自律実行できるのか？？ 80

Slide 80

Slide 80 text

[丸山隆一「AI科学の何が“哲学”の問題になるのか] [Nielsen & Qiu “A Vision of Metascience”] 科学は動的であり、今の科学の自動化に留まらずAIによる自動化 を前提とした新しい科学の設計の議論も重要 81

Slide 81

Slide 81 text

最後に

Slide 82

Slide 82 text

Tokyo を AI Scientist の発信地にしていこう！

Slide 83

Slide 83 text

DENDRAL: a case study of the first expert system for scientific hypothesis formation [Lindsay+ 1993] Scientific discovery: Computational explorations of the creative processes [Langley+ 1987] Curious Model-Building Control Systems [Schmidhuber 1991] Automated theory formation in mathematics [Lenat 1977] The logic theory machine: A complex information processing system [Newell & Simon 1956] Functional genomic hypothesis generation and experimentation by a robot scientist [King+ 2004] Cheaper faster drug development validated by the repositioning of drugs against neglected tropical diseases [Williams+ 2015] A semantic framework for automatic generation of computational workflows using distributed data and component catalogs [Gill+ 2011] The Automatic Statistician [Steinruecken+ 2019] Towards continuous scientific data anal- ysis and hypothesis evolution [Gil+ 2017] Robotic crowd biology with maholo labdroids [Yachie & Natsume 2017] SOLVENT: A Mixed Initiative System for Finding Analogies between Research Papers [Chan+ 2018] Attention Is All You Need [Vaswani+ 2017] AI Feynman: a Physics-Inspired Method for Symbolic Regression [Udrescu& Tegmark 2019] PaperRobot: Incremental Draft Generation of Scientific Ideas [Wang+ 2019] Predicting research trends with semantic and neural networks with an application in quantum physics [Krenn & Zeilinger 2019] ReviewRobot: Explainable Paper Review Generation based on Knowledge Synthesis [Wang+ 2020] Improved protein structure prediction using potentials from deep learning [Senior+ 2020] Galactica: A Large Language Model for Science [Taylor+ 2022] MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [Hunag+ 2023] ChemCrow: Augmenting large-language models with chemistry tools [Bran+ 2023] Autonomous chemical research with large language models [Boiko+ 2023] Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [Yang+ 2023] Prompt2Model: Generating Deployable Models from Natural Language Instructions [Viswanathan+ 2023] The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery [Lu+ 2024] MLR-Copilot: Autonomous Machine Learning Research based on Large Language Models Agents [Li+ 2024] Solving olympiad geometry without human demonstrations [Trinh+ 2024] Autonomous LLM-driven research from data to human-verifiable research papers [Ifargan+ 2024]

Slide 84

Slide 84 text

Scientific discovery in the age of artificial intelligence [Wang+ 2023] Artificial Intelligence for Science in Quantum, Atomistic, and Continuum Systems [Xhang+ 2023] Automating science [Waltz 2009] Nobel Turing Challenge: creating the engine for scientific discovery [Kitano 2021] Paper Copilot: A Self-Evolving and Efficient LLM System for Personalized Academic Assistance [Lin+ 2024] The emergence of Large Language Models (LLM) as a tool in literature reviews: an LLM automated systematic review [Scherbakov+ 2024] Towards Automated Machine Learning Research [Ardeshir+ 2024] Can Large Language Models Unlock Novel Scientific Research Ideas? [Kumar+ 2024] Automating the Practice of Science -- Opportunities, Challenges, and Implications [Musslick+ 2024] Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers [Si+ 2024] Towards Fully Autonomous Research Powered by LLMs: Case Study on Simulations [Liu+ 2024] Automated Design of Agentic Systems [Hu+ 2024] CodeRefine: A Pipeline for Enhancing LLM-Generated Code Implementations of Research Papers [Trofimova 2024] SciAgents: Automating scientific discovery through multi-agent intelligent graph reasoning [Ghafarollahi+ 2024] Survey of Large Language Models [Zhao+ 2023] A Survey on Large Language Model based Autonomous Agents [Wang+ 2023] Towards Reasoning in Large Language Models: A Survey [Huang+ 2023] Augmented Language Models: a Survey [Mialon+ 2023] Large Language Models for Software Engineering: A Systematic Literature Review [Hou+ 2023] Understanding the planning of LLM agents: A survey [Huang+ 2024] ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [Baek+ 2024] Scideator: Human-LLM Scientific Idea Generation Grounded in Research-Paper Facet Recombination [Radensky+ 2024] OpenResearcher: Unleashing AI for Accelerated Scientific Research [Zheng+ 2024] Generation and human-expert evaluation of interesting research ideas using knowledge graphs and large language models [Gu & Krenn 2024] SCIMON : Scientific Inspiration Machines Optimized for Novelty [Wang+ 2023] AutoML-GPT: Automatic Machine Learning with GPT [Zhang+ 2023] Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [Yang+ 2023]

Slide 85

Slide 85 text

SciAgents: Automating scientific discovery through multi-agent intelligent graph reasoning [Ghafarollahi & Buehler 2024] Creative research question generation for human-computer interaction research [Liu+ 2023] Mapping the challenges of hci: An application and evaluation of chatgpt and gpt-4 for cost-efficient question answering [Oppenlaender & Hamalainen 2023] Evaluating the use of large language model in identifying top research questions in gastroenterology [Lahat+ 2023] Neural Architecture Search: Insights from 1000 Papers [White+ 2023] Symbolic Discovery of Optimization Algorithms [Chen+ 2023] Discovering Preference Optimization Algorithms with and for Large Language Models [Lu+ 2024] Fukushima, 1980, Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position AutoML-GPT: Automatic Machine Learning with GPT [Zhang+ 2023] DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [Guo+ 2024] JarviX: A LLM No code Platform for Tabular Data Analysis and Optimization [Liu+ 2023] Autonomous LLM-driven research from data to human-verifiable research papers [Ifargan+ 2024] Data Interpreter: An LLM Agent For Data Science [Hong+ 2024] Towards Automated Data Sciences with Natural Language and SageCopilot: Practices and Lessons Learned [Liao+ 2024] Towards Fully Autonomous Research Powered by LLMs: Case Study on Simulations [Liu+ 2024] OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments [Xie+ 2024] The future of fundamental science led by generative closed-loop artificial intelligence [Zenil+ 2023] Speculative Exploration on the Concept of Artificial Agents Conducting Autonomous Research [Takagi 2023] Collective Predictive Coding as Model of Science: Formalizing Scientific Activities Towards Generative Science [Taniguchi+ 2024] Evolutionary principles in self-referential learning [Schmidhuber 1987]