Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[論文紹介] Mastering Diverse Domains through World ...

tt1717
October 25, 2023

[論文紹介] Mastering Diverse Domains through World Models

PDFファイルをダウンロードすると,スライド内のリンクを見ることができます.

tt1717

October 25, 2023
Tweet

More Decks by tt1717

Other Decks in Research

Transcript

  1. どんなもの? 先行研究と比べて何がすごい? 技術の手法や肝は? どうやって有効だと検証した? ・先行研究では特定タスクやドメインに特化していたが,Dreamerv3で は多くのドメインにわたるタスクを解決できる汎用的でスケーリング特 性をもつ手法を提案. ・チューニングが少なくて済み,タスクや環境の変化に対して堅牢. ・優れたスケーリング特性により先行研究よりも大規模で複雑なタスク を処理できる.

    ・複数のベンチマークで性能評価 行動空間が離散or連続,空間が2Dor3D,報酬が疎or密なものを対 象. ・モデルサイズの変更による性能評価 ・世界モデルによる未来予測 ・Minecraftダイヤモンド収集タスクによる評価 ・Dreamerv2をより汎用的に使える手法にするためにいくつか工夫 ・ドメインが変わっても常に同じハイパラで学習できるように 1.観測や報酬の値をsymlog関数で変換する. 2.Actorの目的関数ではλ収益の値を正規化する. ・固定ハイパラを用いた広範囲のドメインにおいて,既存手法を超 えた. ・Dreamerv3はスケーリング特性により,大きなモデルを使用する と高いデータ効率と高い最終パフォーマンスを獲得. ・「人間のデータ」「カリキュラム学習」を使わずに,ゼロから Minecraftでダイヤモンド採集タスクに成功した. Mastering Diverse Domains through World Models (arXiv 2023)Danijar Hafner, Jurgis Pasukonis, Jimmy Ba, Timothy Lillicrap https://arxiv.org/pdf/2301.04104v1.pdf 2023/05/06 論文を表す画像 被引用数:947 1/11