20250708オープンエンドな探索と知識発見

Transcript

1. Sakana AI エンジニア勉強会 2025/07/08
2. 自己紹介 • 加納 龍一 (かのう りゅういち) ◦ Applied Research Engineer @ Sakana AI ◦ 入社して3ヶ月 • 基礎研究と社会実装の両輪に興味 ◦ 研究 ▪ ICLR’22, ICLR’23, ICML’24, ICLR’25 ▪ 博士 (情報学) ◦ 社会実装 ▪ 前職(DeNA)における自社サービスAI活用 ▪ Kaggle Master 2/52
3. 目次 1. 導入 2. オープンエンドな探索の基礎 3. 基盤モデルの活用 4. まとめ 3/52
4. 目次 1. 導入 2. オープンエンドな探索の基礎 3. 基盤モデルの活用 4. まとめ 4/52
5. オープンエンドでないもの、オープンエンドなもの • 例: 大学受験の勉強と、大学院でやる研究活動 ◦ 決められた範囲内の知識で構成されるテストのスコアを最大化する能力 ◦ 人類がまだ知らないフロンティアを切り開く能力 (研究活動等) • 学術コミュニティにおける定義 ◦ novel: 今までにない動きをする ◦ learnable: 過去の軌跡に次の探索が基づいている (毎回ランダムではない) 5/52 https://proceedings.mlr.press/v235/hughes24a.html From the perspective of an observer, a system is open-ended if and only if the sequence of artifacts it produces is both novel and learnable.
6. Sakana AIが開発した自立型エージェント: AI Scientist 6/52
7. Sakana AIが開発した自立型エージェント: AI Scientist 7/52
8. Sakana AIが開発した自立型エージェント: AI Scientist • AI Scientist-v2が、ICLR’25のワークショップで査読プロセスを通過 ◦ 完全AI生成論文が査読プロセスを通過した世界初の事例 • 基調講演においても大々的に言及される 8/52
9. Sakana AIが開発した自立型エージェント: AI Scientist 9/52
10. 目次 1. 導入 2. オープンエンドな探索の基礎 3. 基盤モデルの活用 4. まとめ 10/52
11. オープンエンドな探索実現のために • 集団で探索する • 目的に囚われすぎない • 多様性を維持する • 環境を変える 11/52 https://www.oreilly.co.jp/books/9784814400003/
12. 進化計算 12/52 初期集団の生成 適応度の評価 選択 交叉 突然変異 Selection Variation Interaction with Environment • 本日の勉強会では進化計算に注目する
13. 動作例 13/52 https://www.youtube.com/watch?v=aeWmdojEJf0
14. 目的型探索の限界 • 目的の設定方法に品質が依存してくる ◦ ゴールとの直線距離を考えるだけではエージェントは袋小路に落ちたり 14/52 START GOAL
15. 目的型探索の限界 15/52 • 目的に対して正しく進んでいるかが都度評価できるとは限らない https://link.springer.com/book/10.1007/978-3-319-15524-1 Almost no prerequisite to any major invention was invented with that invention in mind
16. Picbreeder 16/52 https://wiki.santafe.edu/images/1/1e/Secretan_ecj11.pdf • 進化計算(CPPN-NEAT)を用いてイラストを生成するWebアプリ ◦ https://nbenko1.github.io/#/ ◦ 途中経過からは全く想像できないような絵が生まれる
17. Picbreeder • 目的型探索では辿り着けないようなものも、意図せず突然できる ◦ 途中経過を都度評価し学習を行うことの限界を示している 17/52 https://www.ncheney.com/teaching/robotics_readings/OnTheDeleteriousEffectsOfAPrioriObjectivesOnEvolutionAndRepresentation%28WoolleyStanley2011%29.pdf 人間が偶然すぐ見つけたもの 目的型探索を3万世代ぶん行ったもの
18. つまり何を言っているのか • 途中結果にこだわりすぎず、新しいものを見つけるための探索を行えば、 素晴らしいものに出会えるかもしれない 18/52 https://iclr.cc/virtual/2025/invited-talk/36780 ・新規性のある探索 ・多様な個体の作成
19. 新規性探索 (Novelty Search) • 評価指標を新規性に置き換える ◦ アーカイブ管理や近傍計算など考えることは増えるが、類似の枠組みで行える 19/52 https://www.youtube.com/watch?v=JIQP15tt5AI Fitness Novelty
20. 品質多様性 (Quality Diversity) • 意図的に多様な特性を持った個体を残し進化計算を行う ◦ MAP-Elites: グリッドを事前に定義しグリッドごとのエリートを次の世代に残す 20/52 https://openreview.net/forum?id=Kvdh12wGC0
21. 多様な結果を得る 21/52 https://link.springer.com/chapter/10.1007/978-981-99-3814-8_11 • 多様な特性を持つ個体が観測できると、ユーザー目線でも嬉しい ◦ 指標がひとつとは限らないので、色々見て決められる (重さ、速さ、作成コスト、かっこよさ...) ◦ 人間では思いつきもしなかった結果が得られることも
22. 実応用例 • 様々なところで実用されてきている ◦ 部品設計 ◦ 建築 ◦ … 22/52 https://en.wikipedia.org/wiki/Evolved_antenna
23. 目次 1. 導入 2. オープンエンドな探索の基礎 3. 基盤モデルの活用 • 抽象的な事柄の評価 • 多様なアイデアの生成 • システムデザインの自動化 4. まとめ 23/52
24. どう使う？ • 個体の変化・評価・特徴づけなどの操作において、LLMの柔軟性を活かせる ◦ 進化計算の中の突然変異や交叉に該当する部分をLLMに実行させるなど 24/52 https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/
25. 人間を超える発見 25/52 https://deepmind.google/discover/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/ • FunSearchやAlphaEvolveなど、膨大な計算資源による進化計算は強力 ◦ 評価が容易なタスクは人間を超える性能に
26. 目次 1. 導入 2. オープンエンドな探索の基礎 3. 基盤モデルの活用 • 抽象的な事柄の評価 • 多様なアイデアの生成 • システムデザインの自動化 4. まとめ 26/52
27. LLM as a Judge 27/52 10段階における評価は6 • 「定量評価しにくいもの」をそれらしく定量化できる
28. LLM as a Judge • 「定量評価しにくいもの」をそれらしく定量化できる 28/52
29. LLM as a Judgeは使い勝手が良い 29/52 • MAP-Elitesの個性を示す軸の値は、LLMに任意に判断させられる ◦ ロボットの「高さ」「幅」などでなく、たとえば「昭和っぽさ」「コミカルさ」を軸にできる https://openreview.net/forum?id=Kvdh12wGC0 昭和っぽさ コミカルさ
30. LLM as a Judgeは万能ではない • 研究テーマの面白さの評価が、人間とConsistentでない ◦ 面白いことをランダムに思いつくことはできるが、それを客観的に面白いと評価できない • ドメイン知識をLLMに学習させたり、教師あり学習したり、対応は色々 ◦ SciLitLLM: How to Adapt LLMs for Scientific Literature Understanding 30/52 https://openreview.net/forum?id=M23dTGWCZy
31. アプローチ • LLMそのものの品質を改善させる • 集合知の活用 • 判断根拠の徹底的な調査 • Human in the Loop 31/52
32. LLMそのものの品質を向上させる • プロンプトに評価基準を記載する ◦ 査読ガイドラインを参照させたり • 評価の参考となるデータセットを構築してfine-tuningする ◦ 学術論文であれば、OpenReviewなどから査読結果を収集し学習させることができる 32/52 https://openreview.net/forum?id=bjcsVLoHYs
33. 集合知の活用 • LLMを複数回呼び出し、それらの多数決を取るなどして最終結果とする 33/52 https://openreview.net/forum?id=bgzUSZ8aeg
34. 判断根拠の徹底的な調査 • Web検索など多様なツールを使いこなしながら、判断根拠を収集 ◦ 研究アイデアにNoveltyがあるのかどうかに関してDeep Researchを行うなど 34/52 https://arxiv.org/abs/2506.18096
35. Human in the Loop • 完全に人間の介入不要にする必要はない 35/52
36. 目次 1. 導入 2. オープンエンドな探索の基礎 3. 基盤モデルの活用 • 抽象的な事柄の評価 • 多様なアイデアの生成 • システムデザインの自動化 4. まとめ 36/52
37. アイデア生成 37/52 • LLMがつくったアイデアはどの程度ユニークなのか？
38. 人間のエキスパートによるLLM作成アイデアの評価 • LLMがつくったアイデアと人間のアイデアとを100人以上の研究者が比較 • 評価は悪くはないが、アイデアの多様性や実現可能性の観点では課題も 38/52 https://openreview.net/forum?id=M23dTGWCZy
39. LLMに多様な挙動をとらせる • LLMの試行錯誤は、注意深く見てみると非常に冗長 ◦ 同じ詰まりかたを繰り返す等 39/52 https://openreview.net/forum?id=ZsP3YbYeE9
40. アプローチ • 過去の出力を反映して次の試行錯誤を行う • 多様なLLMを作る • 単一LLMが試行錯誤するのではなく、LLM間で議論をさせる 40/52
41. 過去の出力を反映して次の試行錯誤を行う 41/52 • 過去の試行錯誤のログを残しながら、次の試行の際に考慮する ◦ プロンプトの工夫だけでも、多様性へと寄与することは可能 https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/
42. 多様なLLMをつくる • MAP-Elitesを進化的モデルマージと共に循環的に使用 (CycleQD) ◦ 多様なスキルや個性を持つように 42/52 https://openreview.net/forum?id=Kvdh12wGC0
43. LLM間で議論をさせる 43/52 https://renqichen.github.io/Virtual-Scientists/
44. 目次 1. 導入 2. オープンエンドな探索の基礎 3. 基盤モデルの活用 • 抽象的な事柄の評価 • 多様なアイデアの生成 • システムデザインの自動化 4. まとめ 44/52
45. デザイン自動化 45/52 • 基盤モデルにエージェントや環境のデザインを委ねる
46. ADAS: Automated Design of Agentic Systems • エージェントワークフローの設計そのものを自動化する 46/52 https://openreview.net/forum?id=t9U3LW7JVX
47. ADAS: Automated Design of Agentic Systems 47/52 https://openreview.net/forum?id=t9U3LW7JVX
48. Darwin Gödel Machine • エージェントを構成するコードすらもLLMが進化の過程で書き換える 48/52 https://sakana.ai/dgm/
49. OMNI-EPIC 49/52 https://openreview.net/forum?id=Y1XkzMJpPd • 環境をコードで表現し、LLMにより進化の過程で変化させる
50. 目次 1. 導入 2. オープンエンドな探索の基礎 3. 基盤モデルの活用 4. まとめ 50/52
51. まとめ • オープンエンド探索の基本 ◦ 新規性探索、品質多様性... ◦ 探索の結果、人間では到達できなかった素晴らしいものが得られることがある • 基盤モデルの組み込み ◦ これまでは、きちんとスコア付けが明確にできるもののみ探索ができてきた ◦ LLMの登場により探索可能な問題の対象が広がった ▪ その流れに沿った技術開発も盛ん • 抽象的な事柄の定量化 (LLM as a Judge) • アイデア生成、多様性の担保 • システムデザインの自動化 • … 51/52
52. EOF 52/52