[論文サーベイ] Survey on Minecraft AI

PDFファイルをダウンロードすると，スライド内のリンクを見ることができます．
1．Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos,
Bowen Baker, lge Akkaya, Peter Zhokhov, et al. (OpenAI, University of British Columbia, et al.) [arXiv'22] (Cited by:88)
2．MINEDOJO: Building Open-Ended Embodied Agents with Internet-Scale Knowledge,
Linxi Fan,Guanzhi Wang,Yunfan Jiang, et al. (NVIDIA, Caltech, Stanford, et al.) [NeurIPS'22] (Cited by:89), NeurIPS 2022 Outstanding Paper Award
3．VOYAGER: An Open-Ended Embodied Agent with Large Language Models,
Guanzhi Wang, Yuqi Xie, Yunfan Jiang, et al. (NVIDIA, Caltech, UT Austin, et al.) [arXiv'23] (Cited by:38)

Transcript

1. Survey on Minecraft AI MINEDOJO: Building Open-Ended Embodied Agents with Internet-Scale Knowledge, Linxi Fan,Guanzhi Wang,Yunfan Jiang, et al. (NVIDIA, Caltech, Stanford, et al.) [NeurIPS'22] (Cited by:89), NeurIPS 2022 Outstanding Paper Award Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos, Bowen Baker, lge Akkaya, Peter Zhokhov, et al. (OpenAI, University of British Columbia, et al.) [arXiv'22] (Cited by:88) 1/22 2023/9/27 VOYAGER: An Open-Ended Embodied Agent with Large Language Models, Guanzhi Wang, Yuqi Xie, Yunfan Jiang, et al. (NVIDIA, Caltech, UT Austin, et al.) [arXiv'23] (Cited by:38)
2. 基礎知識 | 模倣学習 (Imitation Learning) 2/22 “小川雄太郎さんのTwitter”より引用
3. 背景 | Minecraft ❏ Minecraftは，報酬が階層的 ❏ e.g. ダイヤモンドのつるはし作成 ❏ 木材を集めて，木のつるはしを作成して... ❏ 通常の強化学習では学習するのは，ほぼ不可能 ❏ Minecraftの強化学習コンペがあるが，ダイヤモンド獲得した エージェントはなかった 3/22 “MineRL”より引用
4. 4/22 ❏ Minecraftの操作を動画から学習した研究 ❏ 2,000時間分のラベル付き動画 (キーボードとマウス操作)からアクション を予測するInverse Dynamics Model (IDM)を学習 ❏ 70,000時間分のラベルなし動画をIDMによって，アノテーション (ラベル 付け)する ❏ 70,000時間分のIDMラベル付き動画で訓練する (VPT Foundation Model) Video PreTraining (VPT) | 概要
5. 5/22 ❏ プレイヤーに新しいMinecraft世界で10分間プレイ ❏ 基本的な素材から家を作ることが目標 ❏ このデータセットでFine-Tuningすると，ゲームの初期タスクで大幅に改善 Video PreTraining (VPT) | Fine-tuning with behavioral cloning
6. 6/22 ❏ 1時間〜70,000時間まで増加するデータ量で学習 ❏ 2,000時間未満では，ラベル付き動画 (キーボードとマウス操作) ❏ 2,000時間以上では，IDMでラベル付けされた動画 ❏ “Stone Tools”は，10,000時間以降からしか作成されない Video PreTraining (VPT) | Data scaling
7. 7/22 ❏ 通常のRLで訓練した場合，ほとんど報酬を得られない ❏ VPTモデルに強化学習によるFine-tuningを適用した場合， ❏ ダイヤモンドつるはしの作り方を学習 ❏ アイテム収集においても人間レベルの成功率を得られる ❏ ダイヤモンドツール (人間が平均20分以上かかる)をエージェントが作成で きることを示したのはこの論文が最初 Video PreTraining (VPT) | 強化学習によるFine-tuning
8. 8/22 ❏ オープンエンド環境 (目標を途中修正可能)では，目標を制限しない ❏ オープンエンド環境での学習では，大規模な事前知識データベースが必要 ❏ エージェントは多様なタスクに対応できる柔軟性と，大規模な知識を活用 できる拡張性が必要 MINEDOJO | 概要
9. 9/22 ❏ エージェントに様々なタスクを与える ❏ 1,581のプログラムタスク ❏ 明確な成功基準があるタスク (e.g.) 金のピッケルを作成する ❏ 216のクリエイティブタスク ❏ 明確な成功基準がないタスク (e.g.) 豚に乗ってレースをする MINEDOJO | 環境の多様性
10. 10/22 ❏ YouTube：33年分，73万本 ❏ Wiki：6,000以上のページ ❏ Reddit：660万のコメント ❏ データセットでノイズになってしまうものは機械的に排除 MINEDOJO | 大規模データセット
11. 11/22 ❏ オープンエンドなゲームでは報酬を定義することは困難 ❏ YouTube動画とその字幕から，言語条件付きの報酬関数を学習 ❏ “16フレームの切り抜き”と”自然言語”の両者の関係性 (相関)を求める ❏ その評価結果を報酬とする MINEDOJO | MINECLIP (柔軟性と拡張性)
12. 12/22 ❏ ΦGはCLIPのTextエンコーダーを使っている ❏ ΦVは16フレームそれぞれをImageエンコーダーΦIによって変換した合計 ❏ 学習時にΦI，ΦGの最後の2層のみがFine-tuningされる MINEDOJO | MINECLIP (柔軟性と拡張性)
13. 13/22 ❏ 12のタスクに対する成功率 ❏ 6つのタスクで性能向上したが，性能低下したタスクもある ❏ 上8行はプログラムタスク，下4行はクリエイティブタスク MINEDOJO | 結果 クリエイティ ブタスク
14. 14/22 ❏ LLMを使用したMinecraftエージェント ❏ ①自動カリキュラム (Automatic Curriculum) ❏ ②スキルライブラリ (Skill Library) ❏ ③反復型プロンプト機構 (Iterative Prompting Mechanism) VOYAGER | 概要
15. 15/22 ❏ 環境から次の行動を提案・選択 ❏ ①方向性と制約条件 ❏ ②エージェントの現在の状況 (e.g.)持っているアイテム ❏ ③前に成功/失敗したタスク ❏ ④Wikiのデータベースから追加の補足情報 VOYAGER | Automatic Curriculum
16. 16/22 ❏ 既出の行動を再利用する ❏ タスク実行時 (下)：Pop ❏ LLMに，Automatic Curriculamで生成されたタスクから具体的な方法を生成 ❏ タスク終了時 (上)：Push ❏ 生成された行動を実行するためのソースコードをkey-valueの形で記録 VOYAGER | Skill Library
17. 17/22 ❏ 3種類のフィードバックを通じて，自己改善 ❏ 環境フィードバック (左) ❏ プログラムの経過を示す (e.g.)棒を作ることができません：2 more planks ❏ 実行エラー (右) ❏ 実行エラーをバグ修正に使う VOYAGER | Iterative Prompting Mechanism
18. 18/22 ❏ タスクの成功チェックを行う自己検証 ❏ タスクの成功/失敗を判定 ❏ タスクが失敗した場合，タスクを成功させる方法を提案 VOYAGER | Iterative Prompting Mechanism
19. 19/22 ❏ ①Automatic Curriculumを用いてタスクを生成 ❏ ②Iterative Prompting Mechanismに入力 ❏ ③Skill Libraryと照らし合わせコード実行し，Minecraftを操作 ❏ ④フィードバックを通じて自己改善 VOYAGER | 全体の流れ
20. 20/22 ❏ 従来手法 (ReAct, Reflexion, AutoGPT)と比較 ❏ ablationとしてSkill Libraryを使わない時と比較 ❏ VOYAGERのみが「木->石->鉄->ダイヤモンド」ツールの作成に成功 VOYAGER | 結果 Number of prompting iterations (プロンプトの反復回数)
21. 21/22 ❏ VOYAGERは，従来手法と比較して2.3倍長い距離を移動 ❏ 様々な地形を移動することが可能 VOYAGER | 結果
22. まとめ Video PreTraining (VPT)： 少ないラベル付け動画と，大量のラベルなし動画により学習 22/22 MINEDOJO： CLIPを改良したMINECLIP，大規模マルチタスクベンチマーク ❏ 傾向と今後 ❏ 強化学習 × LLMの論文の傾向がある ❏ 音声情報などのモダリティが追加されそう VOYAGER： LLMを使用したMinecraftエージェント
23. 参考文献 23/22 ❏ HEROZ＿VPT資料 ❏ OpenAI公式_VPT ❏ Zenn＿VPT資料 ❏ MINEDOJO公式 ❏ IT MAGAZINE_MINEDOJO ❏ VOYAGER ❏ 自律型マインクラフター_note