強化学習の実業務への応用について

Transcript

1. ڧԽֶशͷ࣮ۀ຿΁ͷԠ༻ʹ͍ͭͯ 
   .BUI
   
   $PEJOH
   ڧԽֶशΛޠΖ͏ʂ
   גࣜձࣾεΫϥϜαΠϯɹ୅දऔక໾ɹ๺ଜ༑࿨
   LJUBNVSB!TDSVNTJHODPN
   5JUMF
2. ๺ଜɹ༑࿨
   ࢓ࣄɿגࣜձࣾεΫϥϜαΠϯɹ
   ɹɹػցֶशΞϓϦέʔγϣϯͷઃܭ։ൃ
   ɹɹσʔλ෼ੳνʔϜͷ্ཱͪ͛ࢧԉ
   ɹɹڧԽֶशͱ֬཰ϓϩάϥϛϯάʹؔ৺ɻੵۃతʹࣄྫΛ࡞͍ͬͯ·͢ɻ
   झຯίϛϡχςΟӡӦ .BUI
   
   $PEJOH
   ओ࠵
   ɹɹߨࢣ͕ڭ͑ΔͷͰ͸ͳ͘ɺࢀՃऀಉ͕࢜ޓ͍ʹ஌ࣝͱ஌ܙΛ࣋ͪدΓ
   ɹɹڭֶ͍͑͋Ϳ৔ʹָ͠͞Λײ͍ͯ͡·͢ɻ ࣗݾ঺հ
3. ʢήʔϜͷੈքͰͳ͘ʣ
   ڧԽֶशΛ࣮ۀ຿ͰԠ༻͍ͯͨ͘͠Ίʹ
   5PEBZ`T
   .BJO
   5IFNF
4. ֶशϓϩηε
   ɹ୳ࡧͱར༻
   ɹɹࢼߦࡨޡ͠ͳ͕ΒֶͿ͜ͱ͕Ͱ͖Δ͔ʁ
   Ϛϧίϑܾఆաఔ
   ɹݱ࣌఺ͷ৘ใ͔Β࣍ͷܾఆΛԼ͢͜ͱ͕Ͱ͖Δ͔
   ɹͦͷܾఆʹΑΓ֬཰తʹ࣍ͷঢ়ଶ΁ભҠ͢Δ͔ʁ
   ڧԽֶशʹ޲͍͍ͯΔ໰୊ઃఆͷ֬ೝ
5. ࠓճ͸ҩྍؔ܎ͷΫϥΠΞϯτΑΓࣄྫఏڙͷڐՄΛ͍͖ͨͩ·ͨ͠ɻ
   ʢຊࢿྉͷσʔλ͸͢΂ͯμϛʔͰ͋Γ࣮ࡍͷσʔλͰ͸͋Γ·ͤΜɻʣ
   ԼهͷέʔεΛ૝ఆͯ͠ڧԽֶशͰղ͍ͯΈ·ͨ͠ɻ
   ຖ೔਺ඦ໊ͷױऀ͕དྷӃ͠ελοϑʢ؃ޢࢣʣ͕࠾݂͍ͯ͠·͢ɻ
   ױऀʹΑͬͯ࠾݂͠΍͍͢ਓͱͦ͏Ͱͳ͍ਓ͕͍Δ͜ͱɻ
   ελοϑ΋ਓʹΑͬͯϕςϥϯ͔Β৽ਓ·Ͱٕྔʹ͕ࠩ͋Γ·͢ɻ
   Ұఆͷׂ߹Ͱɺ࠾݂ʹࣦഊ͠·͢ɻ
   ࣄྫɿපӃͷ࠾݂
6. ࠾݂ͷࣦഊ཰ΛԼ͛ͯױऀͷຬ଍౓Λ্͍͛ͨɻ
   ελοϑͷٕྔͷ޲্ΛਤΓ͍ͨɻ
   ղ͖͍ͨ՝୊
7. ૬൓͢ΔཁٻΛຬͨ͢࠷దͳߦಈબ୒ΛڧԽֶशͰֶͿ͜ͱ͕Մೳ ͔ʁ
   ࣦഊ཰ΛԼ͛Δ
   ɹϕςϥϯελοϑ͕ରԠ͢Δ
   ٕೳͷ޲্ΛਤΔ
   ɹࣗ෼ͷٕྔΑΓগ͠೉͍͠ױऀʹτϥΠ͢Δ
   ɹࣦഊ཰͕͕͋Δ
   (PBMͷઃܭ
8. ελοϑ͕ద੾ͳ೉қ౓ͷױऀΛ୲౰Ͱ͖Δ͜ͱ
   ߦಈΛ֤ελοϑ͝ͱʹ5SZ͔1BTT͔Λબ୒ͤͯ͞଴ͪߦ ྻͷঢ়گ͓Αͼελοϑͷۭ͖ঢ়گͱࣗ෼ͷྗྔʹԠͨ͡5SZ ͱ1BTTΛબ୒Ͱ͖ΔΑ͏ʹֶश͍ͨ͠ɻ
   ݱঢ়͸Ϛωʔδϟʔ͕ܦݧͱצͰߦ͍ͬͯΔΑ͏Ͱ͢ɻ
   (PBMͷઃܭ
9. 1P$ ֓೦ݕূ
   ػցֶश͕Ծʹ͏·͘ਐΉͱɺ
   ৽ਓ͸ࣗ෼ͷྗྔʹ͋ͬͨױऀΛબผɹ
   ࣦഊ཰Լ͕Δ
   ϕςϥϯελοϑɹ೉қ౓͕ߴ͍ױऀΛબผ
   
   ࣦഊ཰্͕Δ
   ͸ͣʂ
   (PBMͷઃܭ
10. ױऀ೉қ౓ελοϑٕྔ
    ਪఆ໰୊ ֬཰Ϟσϧ ױऀͱελοϑ
    Ϛονϯά໰୊ ҰͭͷϞσϧͰҰ౓ʹղ͘ͷ͸೉͍͠ͷͰ
    ໰୊Λ෼ׂ͠·ͨ͠ ڧԽֶश ਪఆͨ͠஋Λಛ௃ྔ΍ ใुͱͯ͠ར༻͢Δ ֬཰ϞσϧͱڧԽֶशΛ߹Θͤͯղ͍͍ͯ͘ ϞσϦϯάͷํ਑
11. ίϛϡχςΟϝϯόʔͱͷσΟεΧογϣϯ ౰ॳ͸࿈ଓ࣌ؒͷ.%1Λߟ͍͑ͯ ͨɻ3FXBSE͸ױऀͷ଴ͪ࣌ؒΛ ϖφϧςΟͱͯ͠༩͑ΔํࣜΛݕ ౼్͍͕ͯͨ͠தͰํ਑స׵ɻ
    ཭ࢄ࣌ؒͷߦಈͱͯ͠ใु΋
    ٕྔɿTLJMMͱױऀࠔ೉౓ɿ EJGpDVMUZͰදݱ
12. ࣮૷ɿϞσϦϯά ωοτϫʔΫ
    ɹ%2/ ӅΕ૚
    ૚ʢೖྗ࣍ݩͱಉ͡
    GVMM
    DPOOFDUFE
    SFMVʣɹग़ྗ࣍ݩɹMJOFBS
    
    ಛ௃ྔ
    
    
    
    ױऀࠔ೉౓ɿ࿈ଓ஋ 
    
    
    
    ελοϑٕྔ࿈ଓ஋ 
    
    
    
    ελοϑͷۭ͖༧ఆ࣌ؒ࿈ଓ஋ 
    
    
    
    ରԠελοϑPOFIPU 
    ߦಈ
    ɹUSZ
    
    QBTT
    ࣍ݩ
    ใु
    
    
    
    ੒ޭ
    
    EJGpDVMUZTLJMM
    ׂɹௐ੔ͣΈ
    
    
    
    ࣦഊ
    TLJMMEJGpDVMUZ ׂ̌ɹௐ੔ͣΈ
    
    
    
    ଴ͪ࣌ؒͳ͠ͷQBTT
    
    
    
    
    ଴ͪ࣌ؒ͋ΓͷQBTT
    TLJMMEJGpDVMUZ
    
    ʢ଴ͪ࣌ؒ ଴ͪ࣌ؒͷ࠷େ஋
    ؔ਺ۙࣅͰ͸ɺ౰ॳχϡʔϥϧωοτͰ͸ͳ͍΋ͷΛ࣮૷͠Α͏ͱ͕ͨ͠χϡʔϥϧωοτͷํָ͕ʹ࣮૷Ͱ͖ΔͷͰ
    ࣌ؒͷؔ܎Ͱ%2/Ͱ࣮૷͢Δɻ
13. ֶशͷਪҠ
    ϥϯμϜʹߦಈબ୒
14. ֶशͷਪҠ
    ϥϯμϜʹߦಈબ୒
15. ֶशͷਪҠ
    %2/Ͱ͸Ͳ͏͔ʁ
16. ֶशͷਪҠ
    %2/ ֶशͷ݁Ռɹϕςϥϯʹ1BTT͢Δ͜ͱΛ֮͑ͨɻ
17. ϞσϦϯάͷݟ௚͠ ωοτϫʔΫ
    ɹ%2/ ೖྗ̍̎࣍ݩɹӅΕ૚
    ૚ʢ࣍ݩ
    GVMM
    DPOOFDUFE
    SFMVʣɹग़ྗ࣍ݩɹMJOFBS
    
    
    
    
    MPTT
    GVODUJPO
    NTF
    PQUJNJ[FS
    "EBN
    ɹMFBSOJOH
    SBUF
    
    
    ಛ௃ྔ
    
    
    
    ױऀࠔ೉౓ɿ࿈ଓ஋ 
    
    
    
    ελοϑٕྔ࿈ଓ஋ 
    
    
    
    ελοϑͷۭ͖ঢ়گPOFIPU 
    
    
    
    ରԠελοϑPOFIPU 
    ߦಈ
    ɹUSZ
    
    QBTTͷೋ୒
    ใु
    
    
    
    ੒ޭ
    
    
    
    
    ࣦഊ
    
    
    
    ଴ͪ࣌ؒͳ͠ͷQBTT
    
    
    
    
    ଴ͪ࣌ؒ͋ΓͷQBTT
    
    ɹTUFQޙ·ͰΛߟྀͨ͠ใुͰֶश
    ஫ʣใुؔ਺ͱಛ௃ϕΫτϧΛݟ௚ͨ͠Γ
    MFBSOJOH
    SBUFΛখͨ͘͞͠Γͨ͠ɻ
    
18. ֶशͷਪҠ
    %2/
    Ϟσϧͱใुؔ਺ݟ௚͠
19. ֶशͷਪҠ
    %2/
    Ϟσϧͱใुؔ਺ݟ௚͠ ࣗ෼ͷ࣮ྗʹԠͨ͡ױऀΛબΜͰ5SZ͢ΔΑ͏ʹͳͬͨɻ
    ͔͜͜Β͞ΒʹϒϥογϡΞοϓ͍͖ͯ͠·͢ɻ
20. ڧԽֶशͷָ͠͞ ͏·͍͔͘ͳ͍࣌ɺ"HFOUͷؾ࣋ͪΛߟ͑ͨΓ͢Δɻ
    ใुʹΑͬͯڍಈ͕͝Ζͬͱ͔ΘΔ
    ڧԽֶशʹ͍ͭͯͷ࿦จ͕೔ʑ͍͢͝੎͍Ͱൃද͞Ε͍ͯΔɻ
    ใुؔ਺ઃܭ΍γϡϛϨʔλ࡞੒ɺֶशϞσϧͳͲߟ͑Δ͜ ͱ͕ଟ͘ΫϥΠΞϯτ΍νʔϜϝϯόʔͱͷ΍ΓͱΓͳͲɺ େม͕ͩઃܭϓϩηεָ͕͍͠ɻ
    
21. 
 
 ೉͍֓͠೦΍ٕज़΋ɺγϯϓϧͳྫͰ֬ೝͨ͠Γϝϯόʔ͕ର࿩͢Δ͜ͱͰຊ࣭తͳཧղ ΛಘΒΕΔͱߟ͑·͢ɻຊάϧʔϓ͸ɺͦͷΑ͏ͳ͜ͱ͕Ͱ͖ΔΑ͏ͳίϛϡχςΟͱͳ Δ͜ͱΛ໨ࢦͯ͠ӡӦ͍ͯ͠·͢ɻڵຯ͕͋Δํ͸ͥͻ͝ࢀՃ͍ͩ͘͞ɻ
    IUUQTNBUIDPEJOHDPOOQBTTDPN .BUI
    
    $PEJOHͷ঺հ
22. 
 ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ -BTU