DRL　組み合わせ最適化

Transcript

1. POMO: Policy Optimization with Multiple Optima for Reinforcement Learning Kwon,

   Yeong-Dae, et al. NeurIPS, 2020, vol.33

2. ཁ໿ •૊Έ߹Θͤ࠷దԽ໰୊ʹ͓͚Δɼਂ૚ڧԽֶश ͰͷFOEUPFOEͷۙࣅղ๏ɽ •طଘͷਂ૚ڧԽֶशख๏ͱൺֱͯ͠ɼ ܭࢉ࣌ؒɾਫ਼౓ͱ΋ʹେ͖͘վળͨ͠ •८ճηʔϧεϚϯ໰୊ͳͲͰݕূɽ 2/26

3. ಋೖ

4. ૊Έ߹Θͤ࠷దԽ •८ճηʔϧεϚϯ໰୊΍഑ૹܭը໰୊ɼφοϓβοΫ໰୊ ͳͲʹ୅ද͞ΕΔΑ͏ͳ࠷దͳ૊Έ߹ΘͤΛٻΊΔ෼໺ɽ 4/26 精度 計算時間 厳密解法 最適 遅い 近似解法

   最適に 近い 早い https://onl.tw/vzkASMX

5. ڧԽֶशʢ3FJOGPSDFNFOU
   -FBSOJOH
   3-ʣ •3-ɿஞ࣍తͳҙࢥܾఆ໰୊Λղ͘ख๏ɽ ྦྷੵใु͕࠷େʹͳΔΑ͏ͳํࡦΛݟ͚ͭΔ͜ͱ͕໨తɽ 5/26 ໰୊ઃఆͱͯ͠ɼঢ়ଶू߹ɼߦಈू߹ɼใुؔ਺Λ ઃఆ͢Δඞཁ͕͋Δɽ https://onl.tw/98fQVvW

6. ํࡦϕʔεͷ3&*/'03$& 6/26 •ํࡦ 𝜋 𝑠 ɿঢ়ଶ𝑠ʹ͓͚Δߦಈ𝑎Λग़ྗ͢Δؔ਺ •𝜋! ɿύϥϝʔλ 𝜃Ͱ௚઀ύϥϝʔλԽ͞Εͨํࡦ •ํࡦͷߋ৽ࣜɿ𝛼͸ֶश཰ɼ𝐽

   𝜋! ͸໨తؔ਺ 𝜃 ← 𝜃 + 𝛼∇! 𝐽 𝜋! •ํࡦޯ഑ͷࣜɿ𝔼͸ظ଴஋ɼ𝑅" ͸ऩӹɼ𝑏 𝑠 ͸ϕʔεϥΠϯ ∇! 𝐽 𝜋! = 𝔼#! ∇! log 𝜋! ⋅ 𝑅" − 𝑏 𝑠

7. ઌߦݚڀ

8. 1PJOUFS
   /FUXPSLTʢʣ ૊Έ߹Θͤ࠷దԽͰར༻͢ΔωοτϫʔΫ •ॏෳͳ͘બ୒͠ɼग़ྗύλʔϯྻΛੜ੒͢Δɽ •ೖྗ஍఺৘ใ͔Βಛ௃நग़Λߦ͏FODPEFSͱɼFODPEFS ͷग़ྗΛར༻ͯ͠౴͑ͱͳΔܦ࿏Λग़ྗ͢ΔEFDPEFS͔ ΒͳΔɽ •FODPEFSͱEFDPEFSʹ͸-45.Λ࢖༻ɽ 8/26

9. "UUFOUJPO .PEFMʢʣ 1PJOUFS
   /FUXPSLTͷվྑ൛ •1PJOUFS
   /FUXPSLTಉ༷ɼ&ODPEFSͱ%FDPEFSΛ࢖༻͢Δ Ϟσϧɽ •-45.͸ഇࢭ͠ɼ.VMUJIFBE"UUFOUJPOΛ࠾༻ɽ 9/26

10. ख๏

11. ຊ࿦จͷख๏ͷΞΠσΞ 11/26 ࠷ॳͷߦಈ͸ɼޙͷΤʔδΣϯτͷߦಈʹେ͖͘ӨڹΛ༩͑Δɽ ૊Έ߹Θͤ࠷దԽ໰୊ʹΑ͘ݟΒΕΔରশੑΛར༻ɽ

12. 10.0 •3&*/'03$&
    XJUI
    #BTFMJOFɿయܕతͳํࡦޯ഑ϕʔεͷ 3-ΞϧΰϦζϜΛ࢖༻ɽ •ෳ਺ͷҟͳΔ։࢝ߦಈΛࢦఆ͠ɼෳ਺ͷߦಈܥྻʢيಓʣ ΛಘΔɽ •ʻ45"35ʼτʔΫϯΛ༻͍ͳ͍ɽ 12/26 従来 POMO

13. 10.0 ∇! 𝐽 𝜃 ≈ 1 𝑁 6 $%& '

    𝑅 𝜏$ − 𝑏$ 𝑠 ∇! log 𝑝! 𝜏$ ∣ 𝑠 𝑤ℎ𝑒𝑟𝑒 𝑝! 𝝉$ ∣ 𝑠 ≡ @ "%( ) 𝑝! 𝑎" $ ∣ 𝑠, 𝑎&:"+& $ يಓ 𝝉$ = 𝑎& $ , 𝑎( $ , … , 𝑎) $ GPS 𝑖 = 1,2, … , 𝑁 ڞ༗ϕʔεϥΠϯ 𝑏$(𝑠) = 𝑏TIBSFE (𝑠) = 1 𝑁 6 ,%& ' 𝑅 𝝉, GPS 𝑖 = 1,2, … , 𝑁 13/26

14. ܇࿅෦෼ͷٖࣅίʔυ 14/26

15. *OTUBODF
    "VHNFOUBUJPOɿਪ࿦ख๏ •ը૾ॲཧ෼໺ͷσʔλΦʔάϝϯςʔγϣϯ͔Βண૝ɽ •ࠓճ࢖͏஍఺࠲ඪ͸ɼYͷ୯Ґਖ਼ํܗ಺ʢୈҰ৅ݶʣͷ ΋ͷΛར༻ɽ 15/26 今回使う Instance Augmentation

16. ਪ࿦෦෼ͷٖࣅίʔυ 16/26

17. ࣮ݧ

18. ࣮ݧ ࣮ݧ಺༰ •10.0Λ༻͍ͯɼҎԼͷ໰୊Λղ͍ͨ݁ՌΛଞͷ୅දతख๏ͱ ൺֱɽ  ८ճηʔϧεϚϯ໰୊  ༰ྔ੍໿͋Γͷ഑ૹܭը໰୊  φοϓβοΫ໰୊

    18/26

19. ֶशۂઢɿ८ճηʔϧεϚϯ໰୊ 19/26 50地点 100地点

20. ८ճηʔϧεϚϯ໰୊ʢ541ʣ 20/26

21. ८ճηʔϧεϚϯ໰୊ʢ541ʣ 21/26

22. ༰ྔ੍໿͋Γͷ഑ૹܭը໰୊ʢ$731ʣ 22/26

23. φοϓβοΫ໰୊ʢ,1ʣ 23/26

24. ࣮ݧͷ·ͱΊ •ҟͳΔઃఆͷͭͷ૊Έ߹Θͤ࠷దԽ໰୊ʹରͯ͠ɼ ಉҰͷ܇࿅ख๏ͱ//ΞʔΩςΫνϟΛ༻͍ͯ༗๬ͳ݁ՌΛ ಘͨɽ •܇࿅ɾਪ࿦ख๏ͱͯ͠ͷ10.0ɼਪ࿦ख๏ͱͯ͠ͷ *OTUBODF
    "VHNFOUBUJPOͲͪΒ΋ޮՌతͳख๏Ͱ͋Δ͜ͱ Λ֬ೝͨ͠ɽ 24/26

25. ·ͱΊ ຊ࿦จͰ͸૊Έ߹Θͤ࠷దԽ໰୊ʹ͓͍ͯɼରশੑΛར༻ ͯ͠3-ͷαϯϓϧޮ཰΍ਫ਼౓ ਪ࿦࣌ؒΛ୹ॖ͢Δख๏Λ঺ հͨ͠ɽ 25/26

26. ࢀߟจݙ  ,XPO
    :FPOH%BF
    FU
    BM
    10.0
    1PMJDZ
    0QUJNJ[BUJPO
    XJUI
    .VMUJQMF
    0QUJNB
    GPS
    3FJOGPSDFNFOU
    -FBSOJOH "EWBODFT
    JO
    /FVSBM
    *OGPSNBUJPO
    1SPDFTTJOH
    4ZTUFNT 
    

      ,PPM
    8PVUFS
    )FSLF WBO
    )PPG
    BOE
    .BY
    8FMMJOH
    "UUFOUJPO
    -FBSO
    UP
    4PMWF
    3PVUJOH
    1SPCMFNT *OUFSOBUJPOBM
    $POGFSFODF
    PO
    -FBSOJOH
    3FQSFTFOUBUJPOT
       7JOZBMT
    0SJPM
    .FJSF 'PSUVOBUP
    BOE
    /BWEFFQ
    +BJUMZ
    1PJOUFS
    /FUXPSLT "EWBODFT
    JO
    /FVSBM
    *OGPSNBUJPO
    1SPDFTTJOH
    4ZTUFNT 
      26/26