Montezuma’s Revenge Solved by Go-Explore, a New Algorithm for Hard-Exploration Problems

Dwango Media Villageのエンジニア　佐々木です。
ATARIの難問題「Montezuma’s Revenge」のSOTAを大幅に更新した強化学習の探索手法Go-Exploreを解説します！

Transcript

1. .POUF[VNB`T
   3FWFOHF
   4PMWFE
   CZ
   (P&YQMPSF
   
   B
   /FX
   "MHPSJUIN
   GPS
   )BSE&YQMPSBUJPO
   1SPCMFNT
   "ESJFO
   &DP⒎FU
   +PPTU
   )VJ[JOHB
   +PFM
   -FINBO
   ,FOOFUI
   0
   4UBOMFZ
   BOE
   +F⒎
   $MVOF IUUQFOHVCFSDPNHPFYQMPSF
2. ڧԽֶशͷֶशΞϧΰϦζϜ
   "5"3*ͷήʔϜͷதͰ΋೉͍͠໰୊ͭͰ405"
   .POUF[VNB`T
   3FWFOHF
   1JUGBMM
   ใु͕εύʔεͳ؀ڥͰޮ཰తʹ୳ࡧΛߦ͏ํ๏ ΛఏҊ
   աڈͷ୳ࡧཤྺΛอଘ
   Α͔ͬͨ΋ͷΛબΜͰ͔ͦ͜ΒϥϯμϜͰ୳ࡧ
   ୳ࡧཤྺΛߋ৽
   ୳ࡧཤྺͷ໛฿ֶशΛ͔ͭͬͯϞσϧʹ஌ࣝΛ ఆணͤ͞Δ ֓ཁ
   
3. l%FDFQUJWFzͳใु
   ୳ࡧ͕༰қͳখ͞ͳใुΛಘΔΑ͏ʹֶश͍ͯ͘͠ͱେہతʹ େ͖ͳใु͕ಘΒΕͳ͘ͳͬͯ͠·͏
   ྫɿ1JGBMM ΞΫγϣϯήʔϜʣใुΛಘΔͨΊʹඞཁͳߦಈ ΛͱΔͱଈ࠲ʹখ͞ͳෛͷใु͕༩͑ΒΕΔ
   খ͞ͳใु͕ಘΒΕΔྖҬ͔Β୳ࡧ͕ൈ͚ग़ͤ͞ͳ͍
   ྫɿͳʹ΋ߦಈΛͱΒͳ͘ͳͬͯ͠·͏ .POUF[VNB`T
   3FWFOHF1JUGBMM͸ͳͥ೉͍͔͠
    IUUQTHZNPQFOBJDPNFOWT.POUF[VNB3FWFOHFSBNW
4. l*OUSJOTJD
   NPUJWBUJPO *. zͷಋೖ
   ୳ࡧதʹ৽͍͠ঢ়ଶΛಘΔ͜ͱʹใुΛ༩͑Δ
   ͦΕͰ΋΄ͱΜͲΫϦΞͰ͖͍ͯͳ͔ͬͨ
   *.ͷ໰୊఺ɿl%FUBDINFOUzʢ཭୤ʣ
   աڈʹ୳ࡧʹΑͬͯಘͨใु͕΋Β͑ΔྖҬΛΤʔ δΣϯτ͕๨Εͯ͠·͏ʢഁ໓త๨٫ʣ
   ໎࿏ͷྫɿ
   ྘ͷྖҬ͸ະ౸ୡͳͷͰ୳ࡧ͢Δͱใु͕΋ Β͑Δ
   Կ͔͠ΒͷݪҼͰ୳ࡧ͍ͯͨ͠ྖҬ͔Β཭Ε Δ
   ͢Ͱʹ୳ࡧͨ͠ྖҬΛ௨Βͳ͍ͱ৽͍͠ܦݧ ͕ಘΒΕͳ͍ طଘΞϓϩʔνͷ໰୊఺
   
5. ୳ࡧͨ݁͠Ռʢঢ়ଶʣͷ͏ͪʮΑ͍ʯ΋ͷʢʹ$FMMʣΛอଘ͓͖ͯ͠ɺաڈͷ$FMM͔Β୳ࡧΛ։࢝͢Δ
   ΞϧΰϦζϜ
   1IBTFɿ
   &YQMPSF
   VOUJM
   TPMWFE
   աڈʹอଘ͍ͯͨ͠$FMM܈͔Β֬཰తʹͭΛબͿ
   ։࢝ޙ͔ΒબΜͩ$FMMʹ౸ୡ͢Δ
   ୳ࡧʢྫɿϥϯμϜʣ
   ୳ࡧʹΑͬͯಘΒΕͨঢ়ଶ͕ࠓͷ$FMMΑΓΑ͚Ε͹$FMMΛߋ৽
   ΞϧΰϦζϜ
   1IBTFɿ3PCVTUJGZ
   χϡʔϥϧωοτͷϞσϧΛ࢖ͬͯݱࡏ΋࠷΋ྑ͍ཤྺΛ࢖ͬͯ໛฿ֶश ఏҊख๏ɿ୳ࡧཤྺʢ$FMMʣͷಋೖ
   
6. %PNBJOͷ஌ࣝΛೖΕͳ͍৔߹
   ؍ଌ৘ใΛѹॖͨ͠΋ͷ
   "5"3*ͷ৔߹͸ը૾Λμ΢ϯαϯϓϦϯάͨ͠΋ͷ
   %PNBJOͷ஌ࣝΛೖΕΔ৔߹
   ؀ڥ͔ΒऔಘͰ͖Δ༷ʑͳ৘ใ
   ΩϟϥΫλʔͷҐஔ
   είΞͳͲ $FMMͷอଘͱ࠶ੜ
    ؀ڥ͕ϦηοτՄೳͳ৔߹
   ͦͷ··$FMMͷ΋ͭঢ়ଶΛ࢖ͬͯ౸ୡՄೳʢࠓճ͸͜Εʣ
   ؀ڥ͕ϦηοτෆՄೳ͕ܾͩఆ࿦తͳ৔߹
   $FMMʹ౸Δ·ͰͷߦಈཤྺΛ࠶ੜ͢Δ
   ؀ڥ͕ϦηοτෆՄೳͰ͔ͭ֬཰తͳ৔߹
   (PBMDPOEJUJPOFE
   1PMJDZ Λ࢖͏
   ΰʔϧͱͳΔঢ়ଶΛϞσϧʹೖྗ͢Δ อଘ ࠶ੜ
   4DIBVM
   5
   )PSHBO
   %
   (SFHPS
   ,
   BOE
   4JMWFS
   %
   
   6OJWFSTBM
   WBMVF
   GVODUJPO
   BQQSPYJNBUPST*O
   *OUFSOBUJPOBM
   $POGFSFODF
   PO
   .BDIJOF
   -FBSOJOH
   QQ
   
   
7. ୳ࡧʹΑͬͯ৽͍͠෦԰Λଟ͘ݟ͚ͭͨ
   ໛฿ֶशͨ͠ϞσϧͰഒҎ্405"Λߋ৽ ݁Ռ
   .POUF[VNB`T
   3FWFOHF
   
8. %PNBJOͷ஌ࣝΛ$FMMʹಋೖͨ͠৔߹ɺ͞Βʹଟ͘ͷ෦԰Λݟ͚ͭΒΕͨ
   ΤʔδΣϯτͷ࠲ඪɺݱࡏͷ෦԰ɾϨϕϧɾอ͍࣋ͯ͠Δ伴 ݁Ռɿ.POUF[VNB`T
   3FWFOHF
   
9. %PNBJO஌ࣝͳ͠ʢը૾ͷΈʣͩͱใुΛಘΔ͜ͱ͕Ͱ͖ͳ͔ͬͨ
   ը૾ͱͯ͠͸ಉ͕ͩ͡ҟͳΔঢ়ଶ͕ଟ͋ͬͨͨ͘Ί
   ஌ࣝ͋ΓͰ405" ݁Ռɿ1JUGBMM
   
10. (P&YQMPSF͸ਐԽܭࢉ
    ஶऀͨͪ΋ਐԽܭࢉΞϧΰϦζϜ͔ΒώϯτΛಘͨΒ͍͠
    ϦηοτෆՄೳͰ͔ͭ֬཰࿦తʹৼΔ෣͏؀ڥͰ͜ͷख๏͕༗ޮͳͷ͔͸ٙ໰
    "5"3*ͷήʔϜͳΒ୳ࡧͷΈͰڧԽֶश͍Βͳ͍ͷͰ͸ʁ ॴײ