AlphaZero輪読会（4章 強化学習）

Transcript

1. 4章 強化学習 2019/07/30 AlphaZero輪読会
2. 自己紹介 • 仕事はSE • 強化学習初学者 • 囲碁の次は将棋も覚えたい • チェスもポーカーもやりたい • いろいろやりたい @hookbook_
3. 目次 1. 強化学習とは 2. 4-1 多腕バンディット問題 3. 4-2 方策勾配法で迷路ゲーム 4. 4-3 SarsaとQ学習で迷路ゲーム 5. 4-4 DQNでCartPole 6. 書籍紹介 7. 強化学習環境紹介
4. １．強化学習とは
5. 強化学習とは 連続した行動を通じて獲得できる 「報酬の総和」を最大化する行動の学習 マリオでいえば 連続した行動　→　１−１ゴールまで 報酬の総和　　→　獲得点数
6. 強化学習サイクル １００点
7. 教師あり学習との違い - 教師データがなくても学習可能（サンプリングしながら学習） - 時間の概念がある - サンプルの相関が高い - 学習結果がサンプルに影響
8. 強化学習の歴史 深層強化学習アルゴリズムまとめ - Qiita より引用
9. トレンド推移（reinforcement learning） DQN（2015/02/26）がブレイクスルーとなった
10. 強化学習アルゴリズム 深層強化学習アルゴリズムまとめ - Qiita より引用
11. 4-1 多腕バンディット問題
12. 多腕バンディット問題 - 各スロットマシンで当たる確率は見えない - 決められた回数で多く当たりを引くには？
13. 強化学習サイクル
14. 探索と利用 - 探索 情報収集のために未知の行動選択 - 利用 いままでに学習した内容をもとに行動選択 探索と利用はトレードオフ、バランスが重要
15. 探索と利用のバランスを取る手法 - ε-greedy 確率ε ： ランダムに行動を選択　 ＝ 探索 確率1-ε ： 期待報酬が最大の行動を選択 ＝ 利用 - UCB1 ハイパーパラメータ（ε）ではなく アルゴリズムでバランスを取る手法
16. UCB1 「成功率＋バイアス」を最大化する行動を選択する 「バイアス」は「偶然による成功率のばらつき大きさ」
17. 学習経過の比較
18. Google Colabで確認
19. 4-2 方策勾配法で迷路ゲーム
20. 迷路ゲーム 単純な迷路 - 目的：ゴール地点まで辿り着くこと - 状態：位置座標（0-8） - 報酬：ゴールしたら＋１ - 学習手法：方策勾配法 - パラメータ更新：１エピソードごと
21. 強化学習サイクル
22. 方策勾配法の学習手順 １．パラメータθの準備 ２．パラメータθを方策に変換 ３．方策に従って、行動をゴールまで繰り返す ４．成功した行動を多く取り入れるように、パラメータθを更新 ５．方策の変化量が閾値以下に、２．〜４．を繰り返す
23. θと方策の初期化・変換 θは可能行動を１に初期化、方策へは「ソフトマックス関数」で変換 softmax
24. ソフトマックス関数
25. 方策勾配法の方策更新 パラメータθを更新し、 方策をパラメータθで更新することで行動を決定する
26. パラメータθの更新式
27. 学習過程の可視化 最短経路で選択する確率が高いほど色が濃い 行き止まりが濃いのは、選択肢が１つしかないため
28. Google Colabで確認
29. 4-3 SarsaとQ学習で迷路ゲーム
30. 迷路ゲーム 単純な迷路 - 目的：ゴール地点まで辿り着くこと - 状態：位置座標（0-8） - 報酬：ゴールしたら＋１ - 学習手法：Sarsa/Q学習 - パラメータ更新：行動１回ごと Sarsa/Q学習は「価値反復法」を利用している
31. 強化学習サイクル
32. 収益 １エピソードで得られる すべての報酬和を「収益」と呼ぶ →　これを最大化するように学習したい
33. 割引報酬和 将来得られる報酬の「現在の価値」として考える 確実性が下がるため時間割引率（γ）が用いられることが多い
34. 時間割引率γ γ：0.99　の場合 5ステップ後： 0.99^5 = 0.95 20ステップ後： 0.99^5 = 0.82 50ステップ後： 0.99^5 = 0.61 例）今日もらえる10,000円、 　　20日後にもらえる8,200円、どちらが価値がある？
35. 行動価値関数（Q関数） ある状態(s) で ある行動(a) をとる価値を表す Q(s, a) で表すため、「Q関数」とも呼ばれる
36. 行動価値関数の例
37. 行動価値関数の例
38. ベルマン方程式（行動価値関数） 一般的な形に書き直した式を「ベルマン方程式」と呼ぶ - Sarsa, Q学習では行動価値関数を学習する
39. 状態価値関数（V） ある状態(s) の価値を表し、V(s) と表記する
40. 状態価値関数の例
41. ベルマン方程式（状態価値関数） 一般的な形に書き直した式を「ベルマン方程式」と呼ぶ - A2Cなどで用いる（本書では取り扱わない）
42. マルコフ決定過程（MDP） ベルマン方程式はマルコフ決定過程を満たすことが前提 マルコフ性(Markov property) - 遷移先の状態が直前の状態とそこでの行動にのみ依存 - 報酬は、直前の状態と遷移先に依存 →　未来が過去に依存しない マルコフ性に従う環境のことをマルコフ決定過程と呼ぶ （Markov Decision Process：MDP）
43. 価値反復法の学習手順 １．ランダム行動の準備 ２．行動価値関数の準備 ３．行動に従って、次の状態の取得 ４．ランダムまたは行動価値関数に従って、行動の取得 ５．行動価値関数の更新 ６．ゴールするまで、ステップ３．〜５．を繰り返す ７．エピソード３．〜６．を繰り返し実行して学習
44. Sarsaによる行動価値関数の更新 TD誤差 行動前評価と行動後評価の誤差 これを０に近づけるように学習
45. Q学習による行動価値関数の更新 TD誤差の行動後の評価値をmaxに変えたもの - Sarsaと違い行動後評価値にランダム性が含まれない
46. 学習過程の可視化
47. Google Colabで確認
48. 4-4 DQNでCartPole
49. DQN（deep Q-network）とは Q学習の行動価値関数（Q関数）をNNで近似した （＋４つの工夫） - 状態が増えると適切に学習できない問題を解決 - 状態を画像として視たまま学習できるように - ゲームと相性がよく、Atariのゲームで高得点
50. CartPole ほうきを手のひらの上でバランスとるやつ - 目的：棒がたおれないようにする - 状態：カート,棒の位置と速度（連続値） - 報酬：190ステップ以上なら＋１(※) - 学習手法：DQN - パラメータ更新：行動１回ごと (※)報酬が与えられるのはエピソード終了時
51. CartPoleで入力:状態, 出力:行動のNN
52. 強化学習サイクル
53. Q学習とDQNの方策更新 行動価値関数（Q関数）を NNで近似している
54. DQNの学習手順 １．ニューラルネットワークの入力と出力の準備 ２．バッチサイズ分の経験をランダムに取得 ３．ニューラルネットワークの入力と出力の生成 ３−１．入力に状態を指定 ３−２．採った行動の価値を計算（※次ページ） ３−３．出力に行動ごとの価値を指定 ４．行動価値関数の更新
55. ３−２．採った行動の価値を計算
56. DQNの４つの工夫 - Experience Replay - Fixed Target Q-Network - Reward Clipping - Huber Loss
57. Experience Replay 行動結果をそのまま学習せず いちど行動履歴をためておく 行動履歴からランダムにサンプリングして学習することで 経験の偏りを防ぎ、学習を安定化させることができる
58. Fixed Target Q-Network Q学習は「行動価値関数」の更新に「行動価値関数」を利用 それにより学習が安定しない傾向があった 行動決定用ニューラルネットワーク（main-netwok） 更新計算用ニューラルネットワーク（target-network） を用意することで解決
59. Reward Clipping 報酬を「−１」「０」「１」に固定（正規化）する 環境によらず、同じハイパーパラメータで学習できる 報酬に重みをつけられないというデメリットもある
60. Huber Loss 誤差が大きい場合に、 誤差関数に「平均二乗誤差」（mse）を使用すると 出力が大きすぎて学習が安定しない傾向がある 誤差が大きい場合でも安定する「Huber関数」を使う 誤差が１まではMSEと同じ、それ以上は誤差の絶対値となる
61. Huber関数とは
62. Google Colabで確認
63. ６．書籍紹介
64. Pythonで学ぶ強化学習 （機械学習スタートアッ プシリーズ） つくりながら学ぶ! 深層強化学習 強化学習 (機械学習プロフェッ ショナルシリーズ) 8月8日まで Kindleストアで 30%OFF！！
65. ７．強化学習環境紹介
66. OpenAI Gym いつもの。 Atariのゲーム環境等 - パックマン - インベーダーゲーム - PONG https://github.com/openai/gym
67. AWS DeepRacer $400で買えるおもちゃ シミュレータ・実環境での リーグが開催されている https://aws.amazon.com/jp/deepracer/
68. MineRL マインクラフトの強化学習環境 NeurIPS 2019で MineRLコンペが開催される - ダイヤモンド入手までを競う - 原木収集、鉄ピッケル作成等の中間タスクあり - Round1締め切りが9/22
69. Unity Obstacle Tower Challenge Unity ML-Agentを使って作った環境で 障害物タワーにチャレンジする https://ledge.ai/unity-obstacle-tower-challenge/
70. fightingICE 格闘ゲームの強化学習環境 Gym API準拠版が 最近(2019/06)公開された http://www.ice.ci.ritsumei.ac.jp/~ftgaic/index.htm
71. まとめ