Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Reinforcement Learning Second edition - Notes on Chapter 4

Reinforcement Learning Second edition - Notes on Chapter 4

Etsuji Nakai

November 18, 2019
Tweet

More Decks by Etsuji Nakai

Other Decks in Technology

Transcript

  1. Policy Iteration (ポリシーの改善ステップ) 2 ※ ここでは、       は既知とする。 ・任意のポリシー     を1つ選択する ・Value function

        を(何らかの方法で)計算する ・Action-Value function が決まる ・Greedy ポリシー             (     が最大の a を確率 1 で選択する) この時、任意の s について         が成り立つ。 つまり、π' は、π よりも優れたポリシーと言える。この改善処理を繰り返す。 この方法は 次ページで説明
  2. 改善案 5 • Value Function を真面目に収束するまで計算しても、次のステップで Policy が更新される と、そこからまた再更新が必要。収束する手前で、早めに打ち切ってもよくない? •

    Policy 更新のために全状態をループするのと、Value Function の計算のために全状態をルー プするの、別々にやるのってもったいなくない? Value Function の計算ループの中に、Policy の更新も埋め込んでしまえ! ⇨ Value Iteration