Speculative Exploration on the Concept of Artificial Agents Conducting Autonomous Research Speculative Exploration on the Concept of Artificial Agents Conducting Autonomous Research Shiro Takagi Shiro Takagi

名前：高木志郎 専門：機械学習 twt：@takagi_shiro 　研究ができる機械が作りたい

今やってること/やりたいことについて 今やってること/やりたいことについて

研究課題生成 1: 機械学習研究を自動実行するシステムの試作 目的が入力されると、課題解決型の機械学習のリサーチプロブレムを考 え、問題を解決する方法の案を考え、実装し、有効性を実験で検証し、 結果を論文として出力するシステムを作るための初期プロトタイピング Paper Objective 課題解決法生成 手法有効性検証 論文執筆 部分問題へ分解 新規性判断 重要性判断 実現可能性判断 先行研究調査 課題定式/具体化 ... etc. 課題原因分析 解法案生成 解法案定式化 解法案実装 ... etc. 実験計画策定 実験準備 実験実施 データ分析/整理 ... etc. 「導入」 執筆 「提案」 執筆 「実験」 執筆 ... etc. 研究版の MLOps みたいなのやりたいみたいなイメージ

models datasets proposed_solution.py experiment.py experiment_plan.txt # compare methods # get existing baselines from modules import proposed_soulution # save results experiment results 実験計画を python ファイルにして ~するためのモデル とデータを選んで 研究過程の雛形を与え LLM がタスク実行 Prompt2Model Viswanathan et al. 2023

Reflection Plan Thought Action Reflection Plan Thought Action Reflection Plan Thought Action Obervation Obervation Obervation 2: 将来的にエージェントの開発を進めたい task 作業（ファイル生成など） 1. 研究サブタスク（サーベイなど） 2. 研究部分過程（仮説生成など） 3. 研究 4. agent agent agent Tools: file_edit, search, code_execution... LLM エージェントについては例えば下記参照 Wang et al. 2023, Xi et al. 2023

3: 自律研究エージェントの評価ベンチマーク作成 既存ベンチマークは単純なタスクに制限/自由度も制限 人のような研究の自律遂行能力を評価するベンチマークを作りたい 研究遂行能力の評価 RQ、仮説、検証手順などの研究の中間生産物の質の評価 例：仮説の新規性の評価、RQ の重要性の評価、etc. 自律性の評価 どの過程でどの程度どんな人間の介入が必要か評価 社会的望ましさの評価 安全性、倫理、社会的影響などの評価 哲学/SciSci/STS の人などの力を借りつつ良い評価指標を設計したい 🙇 Huang et al, 2023 Zenil et al, 2023

本発表について 本発表について

本発表の哲学との関係 研究ができる AI を作るための指針を立てるうえで哲学が提供する 概念の整理やその示唆などに関する知恵を借りたいという立場 結局何を作らなければならないのか？何が必要で何は必要では ないのか？研究する AI を作ることは可能なのか？ etc. この発表ではいわゆる AI for Science で何がされてるか、AI の科 学への応用例、AI についての哲学、ML の技術的な話、AI が科学に どのような影響を与えるかなどは、あまり議論できません 🙇 発表者は哲学は素人なのでご了承ください 🙏 皆様のご意見/ご助言いただけますと幸いです 🙇‍♀️

本発表でやること 研究する AI を作るとはどういう ことかについて考えた内容を共有 特に、悩んだことやわからなかっ たことも含め思考過程を共有 綺麗なストーリーがなくまとまり ない混然とした話になってしまう かと思いますがご容赦ください 🙇‍♂️ 私自身が哲学的議論をしているわ けでない点もご容赦ください 🙇‍♀️ Takagi, 2023

自分の関心の所在 自分の関心の所在

研究の自動化/研究への AI の応用は多数 AI for Science 応用研究：自然科学, 社会科学, 工学, etc. への応用 基礎研究：Physics Informed ML, SciML, Symbolic Regression, Experimental Design, GFlowNet, etc. 定理自動証明, AutoML, 学術文献処理, 査読自動化, 実験自動化, etc. Wang et al. 2023 Zhang et al. 2023 参考: Karniadakis et al. 2021, Hao et al. 2022, Baker et al. 2019, Kramer et al. 2023, Shahriari et al. 2015, Bengio 2021, Rabe & Szegedy 2021, Hutter et al. 2019, Weixin et al. 2023, Yachie et al. 2017

ツールとしての AI か主体としての AI か AI for Science の多くは人間の科学に役立つ AI 作成を目指してる →人間の研究の道具としての AI 自分はどうやったら「機械が」研究できるのか？に興味がある → 研究する主体としての AI（AI 科学者） Ques tion Hyp othsis Verifi cation Report/ O bserve Report/ O bserve Verifi cation Hyp othsis Ques tion VS

AI 科学者に関連する取り組み Dendral, BACON Adam, Robot Scientist, Nobel Turing Challenge AI 科学者が誕生することに関する議論 異質な科学と科学の疎外, 科学と技術の離婚 ML 基礎研究 因果推論, 能動推論, 系統的推論, 好奇心 RL, 分布外汎化 etc. LLM エージェント MLAgent, ChemCrow, Coscientist King et al 2004, 2009, Kitano et al. 2021, etc... Schmidhuber 2010, Pearl 2018, Bengio 2023, etc... Huang et al. 2023, Bran et al. 2023, Boiko et al. 2023 自律的かつ多様な研究に対して研究内容に応じて適応的に人間レベル の研究を end-to-end で実行する AI エージェントの実現はまだ Lindsay et al. 1993, Langley 1977, etc... Kureha & Kukita 2020, Takahashi 2019

何を作らないといけないか？ 何を作らないといけないか？

研究/科学を作業的にでも定義したいが... 統一的定義は無いし無理そう 科学的手法を用いる営みが科学？ 反証/パラダイム/リサーチプログラム/なんでもあり？ 科学的知識は体系的？ より広く深い知識と専門的な技術が必要な inquiry？ 研究者の間でもいろんな表現がありそう とりわけ科学/数学/人文学 etc.や理論/実験研究の間の共通する特 徴について議論することはあまりなされていなさそうな印象 Charmars 1999, Hepburn & Andersen 2021, Okasha 2002, Laudan 1987, Hansson 2021 Hepburn & Andersen 2021 Charmars 1999 Hoyningen-Huene 2013 Haack 2003

議論を進めるため一旦無理やり作業的に定義 今の研究の慣行では既にあることをやっても研究とみなされない → 研究には新しい知識を生み出すことが必要といえる...かな？ 数学/理論研究における定理と証明、工学研究におけるアルゴリズ ムや設計図、実験研究における検証結果、人文系の研究における テキストの解釈、... などが新しい知識？ 「新しい知識を生み出す」機械を作ることを目指す...？

知識って何...？ 知識って何...？

認識論という分野が知識について議論してるそう https://www.keisoshobo.co.jp/book/b524661.html https://www.keisoshobo.co.jp/book/b613600.html 認識論の議論は「知識は 1. 正当化され た 2. 真なる 3. 信念」という主張への反 論を中心に発展してる印象 正当化とは何かについての議論が中心で まだ決着してない印象（正当化が何かわ かればそれをする機械を作れば良い） 科学哲学と認識論が互いにどう関係して 発展してきたのか知りたい 例：認識論の正当化は発見と正当化 の文脈の正当化と対応する？ Steup & Neta 2024

知識を正当化された真なる信念とみなす含意 知識を生み出すとは正当化されてない信念を正当化すること？ （信念はそもそも抱かれてないかもしれない） 信念は主体に依存するので知識も主体に依存する 作るのは「人間社会にとって」新しい知識を生み出す機械 人間の方法そのままで研究する機械では不十分？ 人間と機械の何かしらの接点がどこまでも必要？ 機械は「人間の」信念を正当化しないといけない 真理促進的な正当化はどの程度認識主体に依存するの だろうか？これを機械が完全に自律的にできるように するにはどうすればいいだろうか？

問いを立てそれに答える営みとしての研究 問いを立てそれに答える営みとしての研究

研究は問いの生成と仮説の生成と仮説の検証？ 知識は新しくなければいけない → 未知を特定しそれを明らかにすると決める = 問いの生成 ここで問いは必ずしも why に限らない一般的なクエリ why question、how question、what question 問いを立てそれに答えを出そうとするのが研究という営み？ → 答えは未知なので答えの「予想」をする = 仮説の生成 → 答えの予想が答えであることを確かめる = 仮説の検証 「仮説検証型研究に限らず、研究とされる営みには一般に問いの 生成/仮説の生成/仮説の検証が必要では？」というかなり強い主張

問いの生成/仮説の生成/仮説の検証の ML 研究 問いの生成について 情報検索の研究や単純な環境の探索の研究は存在するがリサー チクエスチョンの生成に関する研究はあまりない印象 仮説の生成について AI for Science の主眼がこれだし、機械学習の主タスクが答えの 予測だと考えるとすでに仮説生成が研究のメインとすら言える 仮説の検証について 関連研究はあるが研究の仮説を検証する研究はあまりない印象 実験の自動化の取り組みはあるけど問いや仮説に対して適応的 に検証をするような取り組みはあまりない印象

問いの生成/仮説の生成/仮説の検証への所感 問いの生成/仮説の生成について 発見/正当化の区別があり前者は比較的議論が少ない？ アブダクションは why に限定？ 発見/仮説生成は探索？標本抽出？組合わせ？ アナロジーはパターン認識以上の何かであるか？ 発見の文脈の中で問いの生成と仮説の生成は区別されない？ 問いについては形式的な議論がメイン？ 仮説の検証について 豊富な議論：帰納の問題/実験の哲学 etc. 大塚先生の統計学の認識論のような、研究における正当化の認 識論の議論をもっと知りたい Cross & Roelofsen, 2024, Watson 2015 Henderson 2022, Franklin & Perovic, 2023 Otsuka, 2023 Schickore 2022 Yonemori 2007, Douven 2021, Hanson 1958 Schickore 2022, Simon 1992, Langley et al. 1987, Coley et al. 2020, Dasgupta et al. 2017, Thagard 1984, Kureha 2023

仮説生成と検証とその区別の必要性？ 機械が「機械にとっての」問い/仮説を作る必要があるのではない 人間にとっての未知が必ずしも機械にとっての未知と限らない 機械は単に知ってることを人間に教えればいいかもしれない 仮説が機械にとって自明ならその検証は何のための検証か？ 人間の研究過程は複雑だし単線的ではない 人間は一つの仮説を生成するため検証をする 仮説生成とその検証の境界はむしろ連続的？ 問い/仮説/検証のような単純な区分は後から研究過程を振り返っ てわかる→問い/仮説/検証は基礎的な単位と捉えるのがいいかも Yanai & Lercher 2019, Latour & Woolgar 1979

個人的な頭の整理 個人的な頭の整理

Knowledge Unknowns Discovery Justification AI ① Question Hypothesis (Prediction) Question Answering Verification AI ④ AI ⑨ Review Writing Share/ Store AI ⑤ AI ⑥ AI ⑦ AI ③ Unjustified Belief Justification AI ⑧ AI ②

おわりに おわりに

自律的に研究する AI を作るために、哲学の力を借りたい 非人間が研究をするとはつまりどういうことかを考えることは、 科学自体の問い直しにもつながる話であり楽しいと思う 是非1人でも多くの方が AI 科学者の哲学をやってくれると嬉しい 哲学/科学/人文学/SciSci/STS/ML/ etc. の人々、産官学の人々みん なで研究する AI についての議論を進めていけたらなと思ってます ありがとう ございました！

参考文献 参考文献

Wang et al. A Survey on Large Language Model based Autonomous Agents, 2023 Xi et al. The Rise and Potential of Large Language Model Based Agents: A Survey, 2023 Zenil et al. The Future of Fundamental Science Led by Generative Closed-Loop Artificial Intelligence, 2023 Viswanathan et al. Prompt2Model: Generating Deployable Models from Natural Language Instructions, 2023 Huang et al. Benchmarking Large Language Models As AI Research Agents, 2023 Karniadakis et al. Physics-Informed Machine Learning, 2021 Hao et al. Physics-Informed Machine Learning: A survey on Problems, Methods and Applications, 2023 Baker et al. Basic Research Needs Workshop for Scientific Machine Learning: Core Technologies for Artificial Intelligence, 2019 Kramer et al. Automated Scientific Discovery: From Equation Discovery to Autonomous Discovery Systems, 2023 Shahriari et al. Taking the Human Out of the Loop: A Review of Bayesian Optimization, 2015 Bengio et al. Flow Network Based Generative Models for Non-Iterative Diverse Candidate Generation, 2021 Rabe and Szegedy, Towards the Automatic Mathematician, 2021 Hutter et al. Automated Machine Learning: Methods, Systems, Challenges, 2019 Wexin et al. Can Large Language Models Provide Useful Feedback on Research Papers? A Large-Scale Empirical Analys, 2023 Yachie et al. Robotic crowd biology with Maholo LabDroids, 2017 Wang et al. Scientific Discovery in the Age of Artificial Intelligence, 2023 Zhang et al. Artificial Intelligence for Science in Quantum, Atomistic, and Continuum Systems, 2023 Takagi, Speculative Exploration on the Concept of Artificial Agents Conducting Autonomous Research, 2023 Lindsay et al. DENDRAL: A Case Study of the First Expert System for Scientific Hypothesis Formation, 1993 Langley, BACON: a Production System that Discovers Empirical Laws

King et al. The Automation of Science, 2009 Kitano, Nobel Turing Challenge: Creating the Engine for Scientific Discovery, 2021 Schmidhuber, Artificial Scientists & Artists Based on the Formal Theory of Creativity, 2010 Pearl, The Book of Why, 2009 Bengio, AI Scientists: Safe and Useful AI?, 2023 Bran et al. ChemCrow: Augmenting Large-Language Models with Chemistry Tools, 2023 Boiko et al. Autonomous Chemical Research with Large Language Models, 2023 呉羽 & 久木田, AI と科学研究：人工知能と人間・社会, 2020 高橋, 科学と技術の離婚, 2019 Charmars, What is This Thing Called Science?, 1999 Hepburn & Andersen, Scientific Method: The Stanford Encyclopedia of Philosophy, 2021 Okasha, Philosophy of Science: A Very Short Introduction, 2002 Laudan, The Demise of the Demarcation Problem, 1983 Hansson, Science and Pseudo-Science: The Stanford Encyclopedia of Philosophy, 2021 Hoyningen-Huene, Systematicity: The Nature of Science, 2008 Haack, Defending Science: Within Reason, 2003 上枝, 現代認識論入門, 2020 プリチャード, 知識とは何だろうか, 2022 Steup & Neta, Epistemology: The Stanford Encyclopedia of Philosophy, 2024 Scickore, Scientific Discovery: The Stanford Encyclopedia of Philosophy, 2022 Simon, Scientific Discovery as Problem Solving, 1992 Langley et al. Scientific Discovery: Computational Explorations of the Creative Process, 1987

Coley et al. Autonomous discovery in the chemical sciences part I: Progress, 2020 Coley et al. Autonomous discovery in the chemical sciences part II: Outlook, 2020 Dasgupta et al. Where Do Hypotheses Come from? 2017 Thagard, Conceptual Combination and Scientific Discovery, 1984 Kureha, Implications of Automating Science: The Possibility of Artificial Creativity and the Future of Science, 2023 米盛, アブダクション：仮説と発見の論理, 2007 Douven, Abduction: The Stanford Encyclopedia of Philosophy, 2021 Hanson, Patterns of Discovery: An Inquiry into the Conceptual Foundations of Science, 1958 Cross & Roelofsen, Questions: The Stanford Encyclopedia of Philosophy, 2024 Watson, Why Ask: the Epistemology of Questioning, 2015 Henderson, Problem of Induction: The Stanford Encyclopedia of Philosophy, 2022 Franklin & Perovic, Experiment in Physics: The Stanford Encyclopedia of Philosophy, 2023 大塚, 統計学を哲学する, 2020 Yanai & Lercher, Night Science, 2019 Latour & Woolgar, Laboratory Life, 1979