[論文サーベイ] Survey on Minecraft AI in NeurIPS 2024

PDFファイルをダウンロードすると，スライド内のリンクを見ることができます．
1．RL-GPT: Integrating Reinforcement Learning and Code-as-policy,
Shaoteng Liu et al. (The Chinese University of Hong Kong et al.)
NeurIPS'24 [Oral Poster] (Cited by: 6 )
2．Optimus-1: Hybrid Multimodal Memory Empowered Agents Excel in Long-Horizon Tasks,
Zaijing Li et al. (Harbin Institute of Technology, Shenzhen et al.)
NeurIPS'24 [Poster] (Cited by: 6 )
3．OmniJARVIS: Unified Vision-Language-Action Tokenization Enables Open-World Instruction Following Agents,
Zihao Wang et al. (Institute for Artificial Intelligence, Peking University et al.)
NeurIPS'24 [Poster] (Cited by: - )

Transcript

1. Survey on Minecraft AI in NeurIPS 2024 タイトル 学会 著者/所属 引用数 RL-GPT: Integrating Reinforcement Learning and Code-as-policy NeurIPS'24 [Oral Poster] Shaoteng Liu et al. (The Chinese University of Hong Kong et al.) 6 Optimus-1: Hybrid Multimodal Memory Empowered Agents Excel in Long-Horizon Tasks NeurIPS'24 [Poster] Zaijing Li et al. (Harbin Institute of Technology, Shenzhen et al.) 6 OmniJARVIS: Unified Vision-Language-Action Tokenization Enables Open-World Instruction Following Agents NeurIPS'24 [Poster] Zihao Wang et al. (Institute for Artificial Intelligence, Peking University et al.) - 2025/01/08 1/21
2. • Slow Agentを用いてタスクを高レベルと低レベルに分 解する． • Fast Agentを用いて「RLによる処理」では行動空間を 設計し，「LLMによる処理」ではコードを生成する． A. どんなもの？ • 強化学習（RL）と大規模言語モデル（LLM）を統合し た新しい手法「RL-GPT」を提案 • タスクを「RLによる処理」と「LLMによる処理」に分 解し，サンプル効率の高い仕組みを構築 B. 先行研究と比べてどこがすごい？ • RLとLLMの弱みを相互補完し，サンプル効率の高い学 習を実現． • Minecraft環境で，従来手法を上回る成功率 D. どうやって有効だと検証した？ • MinecraftベースのMineDojo環境で複数タスクを評価 し，従来手法を上回る成功率を確認． • 「ダイヤモンド入手」タスクでは，少ないサンプル数 で効率的に学習できることを実証． E. 手法の概要 C. 技術や手法のキモはどこ？ 2/21 RL-GPT: Integrating Reinforcement Learning and Code-as-policy
3. 課題：LLMは高度な推論が可能だが，環境の学習がうまくできない 　　　RLは環境の学習に強いが，サンプル効率が低い 成果：LLMとRLを統合し，サンプル効率を大幅に向上させた 3/21 概要 ・タスクは不明 ・GPTはコード生成のみで学習　　 は行わない ・エポックが進んでもアクション　 変化なし
4. 4/21 手法 (Slow Agent) • RL-GPTはSlow AgentとFast Agentで役割を分担 • タスクを複数のサブタスクに分解 • サブタスクを「RLで実行させる」or「コード生成で実行させる」で分類 Slow Agent:GPT-4 Fast Agent:GPT-4 Policy Network:PPO
5. 5/21 手法 (RL Implementation) • 複雑な環境適応が必要なサブタスクを実施 ◦ 木を収穫する • Fast Agentが環境情報を元に，行動空間を設計する • サブタスクを実行し，方策ネットワークを学習させる Slow Agent:GPT-4 Fast Agent:GPT-4 Policy Network:PPO
6. 6/21 手法 (Direct Code Implementation) • 環境適応を必要としないサブタスクを実施 ◦ 作業台でツルハシを作る • 訓練が不要なので，サンプル効率が高い • コード生成の正確性は，環境フィードバックで検証し，必要に応じて修正 Slow Agent:GPT-4 Fast Agent:GPT-4 Policy Network:PPO
7. 7/21 実験結果 MineDojoベンチマークのタスク (成功率) ダイヤモンド入手のタスク サンプル効率が高い
8. • 階層型知識グラフ（HDKG）: タスクの構造を整理し，効率的にサブゴールを設定す る能力を提供． • 抽象化マルチモーダル経験プール（AMEP）: 成功例と失敗例を活用して，計画の改善． A. どんなもの？ • 長期的なタスクを遂行可能なエージェントOptimus-1 を提案． • 知識グラフとマルチモーダルな経験プールを活用し ，Minecraftタスクで高い成功率を達成． B. 先行研究と比べてどこがすごい？ • 視覚情報や環境知識を活用し，従来のエージェントが 困難としていた複雑なタスクの遂行を可能にした． • 失敗事例を含む学習データを用いて柔軟な行動調整を 実現し，人間に近い適応能力を発揮． D. どうやって有効だと検証した？ • Minecraftタスクを対象に，従来のエージェントより も高い成功率を確認． • GPT-4Vや他のエージェントを大幅に上回る性能を示し ，人間に近い成功率を達成． E. 手法の概要 C. 技術や手法のキモはどこ？ 8/21 Optimus-1: Hybrid Multimodal Memory Empowered Agents Excel in Long-Horizon Tasks
9. 9/21 概要 課題：エージェントがオープンワールド環境内のルールを体系的に学習できない 　　　経験データが単一モーダル (e.g.,観測画像) で，柔軟な適応が難しい 　　　長期的なタスクにおいて人間レベルの成功率を達成できない 成果：階層型知識グラフ (HDKG) と抽象化マルチモーダル経験プール (AMEP) 　　　 を提案し，知識の蓄積と学習を効率化 　　　GPT-4VなどのLLMを超えるパフォーマンスを確認
10. 10/21 手法 (階層型知識グラフ：HDKG) • 観測情報から道具や材料などの環境知識を獲得 ◦ 棒+木材 with 作業台 = 木のつるはし • 獲得した知識を有向グラフにし，Plannerに活用 ◦ 長期的なタスクを階層的なグラフに表示 (タスク分解)
11. 11/21 手法 (抽象化マルチモーダル経験プール：AMEP) • 画像バッファに保存された16枚の画像の類似性を計算 • MineCLIPを使用して，類似性の高い画像とテキスト指示との類似性を計算 ◦ 閾値を超えると，画像バッファとテキスト指示が保存される • 最後に「環境情報+エージェントの初期情報+Plan」を保存する
12. 12/21 手法 (フレームワーク) 1. Plannerが知識グラフ (HDKG) を基に，サブゴールを設定 2. Controllerがサブゴールを目指して行動する 3. Reflectorが経験プール (AMEP) を基に，プランに反映させる 4. 1~3を繰り返す Planner：青枠 Reflector：緑枠 Controller：黄枠
13. 13/21 実験結果
14. 14/21 実験結果 SR：平均成功率 AT：平均時間 AS：平均ステップ数 +∞：タスクを完了できないことを示す Overall：Iron, Gold, Diamond, Redstone, Armorの 5つの平均成功率
15. • 行動トークン化: VAEベースの自己教師あり学習で行動軌跡を離散化し て，意味的に重要なトークンを生成． A. どんなもの？ • 視覚，言語，行動を統一的にトークン化する手法を用 いて，Minecraftのようなオープンワールド環境で指 示に従うエージェントを開発 B. 先行研究と比べてどこがすごい？ • 行動を含む統一的なトークン化により，タスクの効率 的な推論と長期的な計画が可能 D. どうやって有効だと検証した？ • Minecraft内での短期タスク (e.g.,木を伐採) や長期タ スク (e.g.,ダイヤモンドピッケルの作成) で性能を評価 し，従来手法を超える性能を確認． E. 手法の概要 C. 技術や手法のキモはどこ？ 15/21 OmniJARVIS: Unified Vision-Language-Action Tokenization Enables Open-World Instruction Following Agents
16. 課題：行動データを効率的かつ意味的に重要なトークンとして扱う方法がない 　　　行動トークンが他のトークン (視覚・言語) と統合しにくい 成果：行動データを意味的に保持した離散トークンとして生成する手法を提案 16/21 概要
17. 17/21 手法 (Behavior Token) Encoder：観測データと学習可能トークンを入力し，潜在表現を得る FSQ：ガウス潜在変数を離散トークンに量子化 Decoder：離散トークンと観測データを入力し，行動を出力 VAEベース
18. 18/21 手法 (アーキテクチャ) 1. タスク指示，記憶を入力 →Chain of Thoughtによる推論を繰り返す 2. 観測を入力 → 離散トークンに量子化し，Decoderを通して行動を出力 3. 128ステップごとにCoTによる推論を繰り返す 図を一部改変
19. 19/21 実験結果 短期的なタスク/10回分の平均報酬 (木を切る，土を掘る，石を採掘する，小麦の種を集める) 長期的なタスク/成功率 (木，食べ物，石，鉄，ダイヤモンド)
20. 20/21 まとめ RL-GPT： LLMとRLを統合し，サンプル効率を向上させた手法 (タスク分解をLLMで行う) Optimus-1： 知識グラフと経験プールを活用した手法 (タスク分解を有向グラフで行う) OmniJARVIS： 視覚，言語，行動を統一的にトークン化する手法 ❖ 傾向と今後 ➢ 長期的タスクはタスク分解するのがスタンダード ➢ VLAモデルやChatGPT o1が使われる？
21. 21/21 参考文献 ❏ RL-GPT ❏ Optimus-1 ❏ OmniJARVIS