「強化学習」(森村 哲郎)の輪読会資料 第二章を対象にした資料です．基本的には喋る前提の資料なので情報量はほとんどないです．
「強化学習」森村 哲郎 http://bookclub.kodansha.co.jp/product?item=0000275420 勉強会ページ https://yurufuwa-reading.connpass.com/event/156603/
ڧԽֶश ྠಡձ #02, #03@icebee__CHAPTER 2 ϓϥϯχϯά
View Slide
ڧԽֶश ྠಡձ #02, #03 CHAPTER 2ABOUT ME@icebee__•ۚ༥ܥۈΊͷࣾձਓೋ•ڵຯͱͯ͠σʔλੳػցֶशɼ౷ܭؔ࿈ͷ•Kaggle Expert
CONTENTSChapter 2 ϓϥϯχϯά2.1 ४උ2.1.1 తؔ2.1.2 ࠷దՁؔ2.2 ಈతܭը๏2.2.1 ϕϧϚϯ࡞༻ૉ2.2.2 ϕϧϚϯ࡞༻ૉͷ୯ௐੑ2.2.3 ಈతܭը๏ͷཧ2.2.4 ࠷దํࡦڧԽֶश ྠಡձ #02, #03 CHAPTER 2
CONTENTSChapter 2 ϓϥϯχϯά2.3 ಈతܭը๏ʹΑΔղ๏2.3.1 Ձ෮๏2.3.2 ํࡦ෮๏2.4 ઢܗܭը๏ʹΑΔղ๏2.4.1 ओͷಋग़2.4.2* ର (ࠓճऔΓѻΘͳ͍)2.4.3* ࠷దղͱ࠷దํࡦ (ࠓճऔΓѻΘͳ͍)ڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.1 ४උ▸ ϓϥϯχϯά➡ ڥ͕طͷ߹ͷஞ࣍తҙࢥܾఆ➡ ڥ͕ະͷ߹ʹ͋ͨΔڧԽֶशΛऔΓѻ͏্ͰͷجૅͱͳΔڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.1.1 తؔ▸ ҎԼͷతؔΛ༻ҙ͢Δ▸ ্͔ࣜΒಋ͔ΕΔ ॳظঢ়ଶ ʹґଘ͢ΔՄೳੑ͕ߟ͑ΒΕΔ͕ޙड़(2.2અ)͢Δ໋ΑΓҙͷॳظঢ়ଶʹ͓͍ͯҎԼཱ͕͢Δɽ▸ ΑͬͯఆৗతͳํࡦͷΈΛߟ͑Δ͜ͱͰతؔΛ࠷େԽग़དྷΔɽͨͩ͠ɼ ୈmཁૉ͕1Ͱଞͷཁૉθϩͷn࣍ݩϕΫτϧՁؔͷॏΈ͖ڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.1.2 ࠷దՁؔ▸ ҎԼͷࣜʹͯ࠷దՁؔ(optimal value function)Λಋೖ▸ Ձؔ Λ༻͍ͯҎԼͷ༷ʹهड़Մೳ▸ ͜ΕΑΓ Ϛϧίϑํࡦͷेੑʹؔ͢ΔܥΛຬͨ͠ɼ࠷దՁؔʹ͍ͭͯҎԼͷ͕ࣜΓཱͭɽॻ੶ࢀߟϖʔδɿp.22ಉ࣌पล֬ɿڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.1.2 ࠷దՁؔ▸ ࠷దՁؔҎԼͷΑ͏ʹॻ͖ԼͤΔɽ▸ ͜ΕΑΓϕϧϚϯ࠷దํఔࣜ(Bellman optimality equation)ͱݺΕΔҎԼͷ͕ࣜΓཱͭɽϦλʔϯͷ࠶ؼੑɿڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.1.2 ࠷దՁؔ▸ ࠷దՁؔҎԼͷΑ͏ʹॻ͖ԼͤΔɽ▸ ͜ΕΑΓϕϧϚϯ࠷దํఔࣜ(Bellman optimality equation)ͱݺΕΔҎԼͷ͕ࣜΓཱͭɽϦλʔϯͷ࠶ؼੑɿભҠ֬ڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2 ಈతܭը๏▸ ಈతܭը๏➡ ஞ࣍తҙࢥܾఆͷ࠷దԽΛղ͘Ξϓϩʔνͷ͜ͱ➡ ͨͩ͠ɼ۩ମతͳख๏Λࢦ͢ͷͰͳ͘લड़ͷΑ͏ͳΞϓϩʔνͷ૯শڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.1 ϕϧϚϯ࡞༻ૉ▸ ಈతܭը๏ͰϕϧϚϯ࡞༻ૉͱݺΕΔҎԼͷॲཧ Λؔʹ܁Γฦ͠ద༻͢Δ͜ͱͰՁؔɼ࠷దՁؔʹ͚ۙͮΔɽ▸ ·ͣɼ࣍ͷ̎ͭͷҙͷؔʹର͢ΔϕϧϚϯ࡞༻ૉΛಋೖ͢ΔɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.1 ϕϧϚϯ࡞༻ૉ▸ ϕϧϚϯظ࡞༻ૉ▸ ϕϧϚϯ࠷ద࡞༻ૉڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.1 ϕϧϚϯ࡞༻ૉ▸ ·ͨɼՃ͑ͯҎԼͷ͍͔ͭ͘ͷه๏Λಋೖ͢Δɽ▸ ؆ศԽ▸ ஞ࣍తͳద༻ڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.1 ϕϧϚϯ࡞༻ૉ▸ ઌΜͯࣔͨ͡͠ϕϧϚϯ࡞༻ૉͦΕͧΕϕϧϚϯํఔࣜͱҎԼͷؔΛ࣋ͭɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.2 ϕϧϚϯ࡞༻ૉͷ୯ௐੑ▸ ิ2.1ʢ୯ௐੑͷิʣ▸ ҙͷؔͷʹରͯ͠ϕϧϚϯ࡞༻ૉΛద༻ͯͦ͠ͷେখؔอͨΕΔɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.2 ϕϧϚϯ࡞༻ૉͷ୯ௐੑ▸ ҎԼͷදهΛఆٛ͢Δɽ▸ ͜ͷͱ͖ϕϧϚϯ࡞༻ૉͷఆٛΑΓҎԼ͕ࣔͤΔ▸ ิ2.2ڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.3 ಈతܭը๏ͷཧ▸ ໋2.3ʢಈతܭը๏ͷऩଋੑʣڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.3 ಈతܭը๏ͷཧ▸ ໋2.3ʢಈతܭը๏ͷऩଋੑʣূ໌ϝϞ▸ a. ~ (2.14)▸ ઌʹ্͛ͨิΛ͏·͘͏͚ͩɽ༗քͰ͋Δ͜ͱΛར༻ͯ͠ҙͷఆͰڬΈɼk>∞ͰఆΛখ͘͢͞Δ͚ͩɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.3 ಈతܭը๏ͷཧ▸ ໋2.3ʢಈతܭը๏ͷऩଋੑʣূ໌ϝϞ▸ b. ~ (2.16)▸ ՁؔΛํࡦͷk൪Λڥʹׂ͢Δ͚ͩɽ▸ (2.16) ~ (2.17)▸ ใुؔͷఆٛ(1.1)ʹै֤ͬͯεςοϓͷใुΛ্͔Β͑Δɽ▸ (2.16)ͷӈลೋ߲ʹ͍ͭͯղ͍ͯೖɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.3 ಈతܭը๏ͷཧ▸ ໋2.3ʢಈతܭը๏ͷऩଋੑʣূ໌ϝϞ▸ (2.17) Լ~ (2.18)▸ ʢp.49ͷԼࣜE[]ೋ߲ɼγͱSͷఴࣈޡ২Ͱʁt > kʣ▸ v(s)ͷظmin(v(s))ͱmax(v(s))ͰڬΊΔɽ▸ ग़དྷͨࣜͱ(2.17)ͷࠩΛͱΔɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.3 ಈతܭը๏ͷཧ▸ ໋2.4ʢϕϧϚϯํఔࣜͷղͷҰҙੑʣ▸ എཧ๏Ͱ؆୯ʹূ໌ڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.3 ಈతܭը๏ͷཧ▸ ิ2.5ʢϕϧϚϯ࡞༻ૉͷॖখੑʣ▸ ূ໌͔Βೖͬͨ΄͏͕ཧղ͕ૣ͍ɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.3 ಈతܭը๏ͷཧ▸ ิ2.5ʢϕϧϚϯ࡞༻ૉͷॖখੑʣূ໌ϝϞ▸ (2.21), (2.22), (2.23)▸ ิ2.2͋ͨΓΛ༻͍ͯڬΜͰࣔ͢ڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.3 ಈతܭը๏ͷཧ▸ ิ2.5ʢϕϧϚϯ࡞༻ૉͷॖখੑʣ͔Β▸ (2.23)ͷv’ʹରͯ͠V*ΛೖɼϕϧϚϯ࠷దԽ࡞༻ૉͷෆಈ͕V*Ͱ͋Δ͜ͱΛ౿·͑ΕҎԼͷཱ͕ࣜ▸ ͜ΕϕϧϚϯ࠷దԽ࡞༻ૉΛҙͷؔʹదԠ͢Δ͜ͱͰ࠷దՁؔͱͦͷؔͷڑ͕γͷൺͰࢦؔతʹখ͘͞ͳ͍ͬͯ͘͜ͱΛࣔ͢ɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.4 ࠷దํࡦ▸ ఆٛ2.6ʢ࠷దํࡦʣ▸ ͋Δঢ়ଶsͷظϦλʔϯΛ࠷େʹ͢Δ͜ͱՄೳ͕ͩҙͷঢ়ଶsʹରͯ͜͠ΕΛݴ͏ͷ͍͠ɼͱ͍͏͚ͩɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.4 ࠷దํࡦ▸ ໋2.7ʢ࠷దํࡦͷଘࡏੑͱඞཁे݅ʣڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.4 ࠷దํࡦ▸ ໋2.7ʢ࠷దํࡦͷଘࡏੑͱඞཁे݅ʣূ໌ϝϞ▸ ඞཁ݅ɼे݅▸ ʹରͯ͠ϕϧϚϯظ࡞༻ૉΛߟ͑ͨͱ͖ɼ͜ͷෆಈิ2.4͔ΒҰҙʹ ͕ͩɼ(2.28)ΑΓ Ͱ͋ΔɽΑͬͯͦΕΒҰக͍ͯ͠Δ▸ ଘࡏ͢Δ͜ͱΛࣔ͢▸ ਖ਼Α͘Θ͔͍ͬͯͳ͍ɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.4 ࠷దํࡦ▸ ໋2.7ʢ࠷దํࡦͷଘࡏੑͱඞཁे݅ʣ͔Β▸ ͷఆٛʹ ΛೖΕͯ͋͛ΕҎԼ͕ݴ͑Δ▸ ॏΈ͖Ձؔͷఆ͔ٛΒҎԼ▸ ͢ͳΘͪɼ࠷దํࡦͷֶशͱతؔ Λ࠷େʹ͢Δํࡦͷ୳ࡧͰ͋Δͱ͍͑ΔɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.2.4 ࠷దํࡦ▸ લड़ͨࣜ͠ʹ͍ͭͯ ͱ ͱͳ͍ͬͯΔཧ༝ͱͯ͠ɼ = 0ͱͳ͍ͬͯΔঢ়ଶɼ͢ͳΘͪભҠ͢ΔՄೳੑͷͳ͍ঢ়ଶؒͷύε·Ͱ࠷దԽͷରʹ͢Δඞཁͳ͍͔Βɽ▸ ໋2.7ͷ݁ՌҎԼͷೋΑΓॏཁ▸ ࠷దԽରͷํࡦू߹Λߟ͑Δʹ͋ͨͬͯ୳ࡧൣғఆৗͳܾఆతํࡦͷू߹ͷΈͰͳ͍͜ͱΛอূͨ͜͠ͱɽ▸ ֶश͍ͯ͠ΔՁ͕ؔ࠷దՁؔͱҰக͢Δ͜ͱͰ࠷దํࡦ͔൱͔ΛఆͰ͖Δ͜ͱɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3 ಈతܭը๏ʹΑΔղ๏▸ ಈతܭը๏ͷ۩ମతͳ࣮ͱͯ͠ҎԼͷ2ͭΛհ➡ Ձ෮๏ʢvalue iteration algorithmʣ➡ ํࡦ෮๏ʢpolicy iteration algorithmʣڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3.1 Ձ෮๏▸ ΞϧΰϦζϜ2.1▸ ऩଋ͕อূ͞Ε͍ͯΔͷͰ୯७ͳ܁Γฦ͠ɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3.1 Ձ෮๏▸ ໋2.8ʢಈతܭը๏ͷޡࠩݶքʣڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3.1 Ձ෮๏▸ ໋2.8ʢಈతܭը๏ͷޡࠩݶքʣ▸ ূ໌ͷৄࡉิA.1.1(p.250)ڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3.1 Ձ෮๏▸ ໋2.8ʢಈతܭը๏ͷޡࠩݶքʣ͔Β▸ ऴྃ݅ͷᮢ ͱٻ·ΔՁؔɼํࡦͷ࣭ʹ͍ͭͯؔੑΛ֬ೝ▸ ޡࠩݶքͷࣜ(2.32)ΛҎԼͷΑ͏ʹॻ͖͑Δɽ▸ ऴྃ݅ͷᮢʹ͍ͭͯఆٛΛ༻͍ΕҎԼͷΑ͏ʹมܗՄೳ▸ ࠷దՁؔ ͱਪఆՁؔ ͷ࠷େޡࠩڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3.1 Ձ෮๏▸ ໋2.8ʢಈతܭը๏ͷޡࠩݶքʣ͔Β▸ ࣜ(2.34)ΑΓऴྃఆʹ༻͍Δ ࢦݮਰ͠ॳظ͕༗քͰ͋ΔͨΊՁ෮๏ඞͣ༗ݶͷճͰऴྃ͢ΔɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3.1 Ձ෮๏▸ ໋2.8ʢಈతܭը๏ͷޡࠩݶքʣ͔Β▸ ํࡦ ʹର͢ΔํࡦޡࠩΛҎԼͱఆٛ▸ Ձ෮๏Ͱٻ·Δํࡦ ʹରͯ͠ϕϧϚϯ࡞༻ૉͷఆ͔ٛΒҎԼ͕Γཱͭɽʢ΄Μͱ͔ʁʣ▸ ࣜ(2.31)(2.36)Λ༻͍ͯม͢Δ͜ͱͰҎԼ͕ΓཱͭɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3.1 Ձ෮๏▸ ໋2.8ʢಈతܭը๏ͷޡࠩݶքʣ͔Β▸ ษڧձதͰࢀՃऀͷํ͕ࣔͯͩͬͨ͘͠͞(2.40)ͷิڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3.1 Ձ෮๏▸ ໋2.8ʢಈతܭը๏ͷޡࠩݶքʣ͔Β▸ ΑͬͯํࡦޡࠩΛᮢ Λ༻͍ͯҎԼͷΑ͏ʹ͑Δɽ▸ ্ࣜதͷೋஈ͔Βࡾஈ(2.32)ͱ໋2.8 b.ଆͷ(2.32)ͱࣅ͔ͨࣜΒߦ͚ͦ͏ɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3.1 Ձ෮๏▸ ໋2.8ʢಈతܭը๏ͷޡࠩݶքʣ͔Β▸ ·ͨՁ෮๏ͷऴྃ݅ΛҎԼͰஔ͖͑Δ͜ͱΛߟ͑Δɽ▸ ্݅ҎԼͷΑ͏ʹॻ͖͑ΒΕΔɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3.1 Ձ෮๏▸ ໋2.8ʢಈతܭը๏ͷޡࠩݶքʣ͔Β▸ ํࡦޡࠩΛ࣍ͷΑ͏ʹ͑Δɽ▸ ࣜ(2.45)Ͱߋʹ্͔Β͑ͯڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3.1 Ձ෮๏▸ ໋2.8ʢಈతܭը๏ͷޡࠩݶքʣ͔Β▸ ํࡦޡࠩͷҎԼͷࣜͷ ʁ▸ p.60 (2.47)ࣜڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3.1 Ձ෮๏▸ ໋2.8ʢಈతܭը๏ͷޡࠩݶքʣ͔Β▸ ϦλʔϯͷׂҾ ͕ҟͳΔ߹ڧԽֶश ྠಡձ #02, #03 CHAPTER 2※ਤதॎͷࠇઢ෮ऴྃճN
2.3.1 Ձ෮๏▸ ໋2.8ʢಈతܭը๏ͷޡࠩݶքʣ͔Β▸ ऴ͕ྃ݅ҟͳΔ߹ڧԽֶश ྠಡձ #02, #03 CHAPTER 2※ਤதॎͷࠇઢ෮ऴྃճN
2.3.2 ํࡦ෮๏▸ ΞϧΰϦζϜ2.2ڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.3.2 ํࡦ෮๏▸ ໋2.9ʢํࡦվળͷ୯ௐੑʣڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.4 ઢܗܭը๏ʹΑΔղ๏▸ ϓϥϯχϯάΛղ͘͜ͱ͕ग़དྷΔɽஞ࣍తҙࢥܾఆͷ ੑ࣭ΛௐΔ্Ͱ༗༻ɽ▸ ͳ͓ɼઢܗܭը๏ʹ͓͚Δجຊతͳࣄ߲ิA.3(p.266)ΛࢀরɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.4.1 ओͷಋग़▸ ໋2.10ʢ࠷దՁؔͷ্քͱԼքʣ▸ Կద༻͢Δ͜ͱͰۃݶΛऔΔ͚ͩɽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
2.4.1 ओͷಋग़▸ ໋2.10ʢ࠷దՁؔͷ্քͱԼքʣ͔Β▸ ͜ͷ݅Λຬͨ͢࠷খͷ Λߟ͑Δ͜ͱͰ࠷దՁؔͷ্քͱͳΔؔΛߟ͑Δ͜ͱ͕ग़དྷΔɽ▸ ॏΈؔ Λߟ͑ɼҎԼͰઢܗܭըʹఆࣜԽڧԽֶश ྠಡձ #02, #03 CHAPTER 2
icebee16
oracle4engineer
yukihiromori
line_developers
gawa
yosuke_furukawa
line_developers_tw
pyama86
tsujiba
n1ru4l
yanzm
nagix
andyhume
cherdarchuk
jmmastey
shlominoach
destraynor
thekraken
jponch
philnash
panda_program
jcasabona
mclloyd
rmw