Reinforcement Learning Second edition - Notes on Chapter 4

Transcript

1. Reinforcement Learning Second edition - Notes on Chapter 4 Etsuji Nakai (@enakai00)
2. Policy Iteration （ポリシーの改善ステップ） 2 ※ ここでは、　　　　　　 は既知とする。 ・任意のポリシー　　　　　を１つ選択する ・Value function 　　　　を（何らかの方法で）計算する ・Action-Value function が決まる ・Greedy ポリシー　　　　　　　　　　　　　（　　　　　が最大の a を確率 1 で選択する） この時、任意の s について　　　　　　　　 が成り立つ。 つまり、π' は、π よりも優れたポリシーと言える。この改善処理を繰り返す。 この方法は 次ページで説明
3. Bellman Equation の右辺を用いて、左辺を漸化的にアップデートしていくと、最終的に両辺が等しくなる。 Policy Evaluation 3
4. Policy Iteration の課題：計算が長い！ 4 全状態についての ループを・・・ 収束するまで 何度も繰り返す ポリシーの更新も 状態数×アクション数 回のループが必要
5. 改善案 5 • Value Function を真面目に収束するまで計算しても、次のステップで Policy が更新される と、そこからまた再更新が必要。収束する手前で、早めに打ち切ってもよくない？ • Policy 更新のために全状態をループするのと、Value Function の計算のために全状態をルー プするの、別々にやるのってもったいなくない？ Value Function の計算ループの中に、Policy の更新も埋め込んでしまえ！ ⇨ Value Iteration
6. Value Iteration 6 実質的に Greedy Policy を更新・適用している
7. Value Iteration 7 更新済みの Policy を適用 https://github.com/enakai00/rl_book_solutions/blob/master/Chapter04/Exercise_4_7_(Value_Iteration)_part1.ipynb
8. Generalized Policy Iteration (GPI) 8