強化学習の実業務への応用について

 強化学習の実業務への応用について

Aa443cc3923489d1b29d059bc0152405?s=128

kitamuaratomokazu

February 16, 2019
Tweet

Transcript

  1. ڧԽֶशͷ࣮ۀ຿΁ͷԠ༻ʹ͍ͭͯ .BUI$PEJOHڧԽֶशΛޠΖ͏ʂ גࣜձࣾεΫϥϜαΠϯɹ୅දऔక໾ɹ๺ଜ༑࿨ LJUBNVSB!TDSVNTJHODPN 5JUMF

  2. ๺ଜɹ༑࿨ ࢓ࣄɿגࣜձࣾεΫϥϜαΠϯɹ ɹɹػցֶशΞϓϦέʔγϣϯͷઃܭ։ൃ ɹɹσʔλ෼ੳνʔϜͷ্ཱͪ͛ࢧԉ ɹɹڧԽֶशͱ֬཰ϓϩάϥϛϯάʹؔ৺ɻੵۃతʹࣄྫΛ࡞͍ͬͯ·͢ɻ झຯίϛϡχςΟӡӦ .BUI$PEJOHओ࠵  ɹɹߨࢣ͕ڭ͑ΔͷͰ͸ͳ͘ɺࢀՃऀಉ͕࢜ޓ͍ʹ஌ࣝͱ஌ܙΛ࣋ͪدΓ ɹɹڭֶ͍͑͋Ϳ৔ʹָ͠͞Λײ͍ͯ͡·͢ɻ

    ࣗݾ঺հ
  3. ʢήʔϜͷੈքͰͳ͘ʣ ڧԽֶशΛ࣮ۀ຿ͰԠ༻͍ͯͨ͘͠Ίʹ 5PEBZ`T.BJO5IFNF

  4. ֶशϓϩηε ɹ୳ࡧͱར༻ ɹɹࢼߦࡨޡ͠ͳ͕ΒֶͿ͜ͱ͕Ͱ͖Δ͔ʁ Ϛϧίϑܾఆաఔ ɹݱ࣌఺ͷ৘ใ͔Β࣍ͷܾఆΛԼ͢͜ͱ͕Ͱ͖Δ͔  ɹͦͷܾఆʹΑΓ֬཰తʹ࣍ͷঢ়ଶ΁ભҠ͢Δ͔ʁ ڧԽֶशʹ޲͍͍ͯΔ໰୊ઃఆͷ֬ೝ

  5. ࠓճ͸ҩྍؔ܎ͷΫϥΠΞϯτΑΓࣄྫఏڙͷڐՄΛ͍͖ͨͩ·ͨ͠ɻ ʢຊࢿྉͷσʔλ͸͢΂ͯμϛʔͰ͋Γ࣮ࡍͷσʔλͰ͸͋Γ·ͤΜɻʣ ԼهͷέʔεΛ૝ఆͯ͠ڧԽֶशͰղ͍ͯΈ·ͨ͠ɻ ຖ೔਺ඦ໊ͷױऀ͕དྷӃ͠ελοϑʢ؃ޢࢣʣ͕࠾݂͍ͯ͠·͢ɻ ױऀʹΑͬͯ࠾݂͠΍͍͢ਓͱͦ͏Ͱͳ͍ਓ͕͍Δ͜ͱɻ ελοϑ΋ਓʹΑͬͯϕςϥϯ͔Β৽ਓ·Ͱٕྔʹ͕ࠩ͋Γ·͢ɻ Ұఆͷׂ߹Ͱɺ࠾݂ʹࣦഊ͠·͢ɻ ࣄྫɿපӃͷ࠾݂

  6. ࠾݂ͷࣦഊ཰ΛԼ͛ͯױऀͷຬ଍౓Λ্͍͛ͨɻ ελοϑͷٕྔͷ޲্ΛਤΓ͍ͨɻ ղ͖͍ͨ՝୊

  7. ૬൓͢ΔཁٻΛຬͨ͢࠷దͳߦಈબ୒ΛڧԽֶशͰֶͿ͜ͱ͕Մೳ ͔ʁ ࣦഊ཰ΛԼ͛Δ ɹϕςϥϯελοϑ͕ରԠ͢Δ ٕೳͷ޲্ΛਤΔ ɹࣗ෼ͷٕྔΑΓগ͠೉͍͠ױऀʹτϥΠ͢Δ ɹࣦഊ཰͕͕͋Δ (PBMͷઃܭ

  8. ελοϑ͕ద੾ͳ೉қ౓ͷױऀΛ୲౰Ͱ͖Δ͜ͱ ߦಈΛ֤ελοϑ͝ͱʹ5SZ͔1BTT͔Λબ୒ͤͯ͞଴ͪߦ ྻͷঢ়گ͓Αͼελοϑͷۭ͖ঢ়گͱࣗ෼ͷྗྔʹԠͨ͡5SZ ͱ1BTTΛબ୒Ͱ͖ΔΑ͏ʹֶश͍ͨ͠ɻ ݱঢ়͸Ϛωʔδϟʔ͕ܦݧͱצͰߦ͍ͬͯΔΑ͏Ͱ͢ɻ  (PBMͷઃܭ

  9. 1P$ ֓೦ݕূ  ػցֶश͕Ծʹ͏·͘ਐΉͱɺ ৽ਓ͸ࣗ෼ͷྗྔʹ͋ͬͨױऀΛબผɹࣦഊ཰Լ͕Δ ϕςϥϯελοϑɹ೉қ౓͕ߴ͍ױऀΛબผࣦഊ཰্͕Δ ͸ͣʂ (PBMͷઃܭ

  10. ױऀ೉қ౓ελοϑٕྔ ਪఆ໰୊ ֬཰Ϟσϧ ױऀͱελοϑ Ϛονϯά໰୊ ҰͭͷϞσϧͰҰ౓ʹղ͘ͷ͸೉͍͠ͷͰ ໰୊Λ෼ׂ͠·ͨ͠ ڧԽֶश ਪఆͨ͠஋Λಛ௃ྔ΍ ใुͱͯ͠ར༻͢Δ

    ֬཰ϞσϧͱڧԽֶशΛ߹Θͤͯղ͍͍ͯ͘ ϞσϦϯάͷํ਑
  11. ίϛϡχςΟϝϯόʔͱͷσΟεΧογϣϯ ౰ॳ͸࿈ଓ࣌ؒͷ.%1Λߟ͍͑ͯ ͨɻ3FXBSE͸ױऀͷ଴ͪ࣌ؒΛ ϖφϧςΟͱͯ͠༩͑ΔํࣜΛݕ ౼్͍͕ͯͨ͠தͰํ਑స׵ɻ ཭ࢄ࣌ؒͷߦಈͱͯ͠ใु΋ ٕྔɿTLJMMͱױऀࠔ೉౓ɿ EJGpDVMUZͰදݱ

  12. ࣮૷ɿϞσϦϯά ωοτϫʔΫ ɹ%2/ ӅΕ૚૚ʢೖྗ࣍ݩͱಉ͡GVMMDPOOFDUFESFMVʣɹग़ྗ࣍ݩɹMJOFBS  ಛ௃ྔ ױऀࠔ೉౓ɿ࿈ଓ஋   ελοϑٕྔ࿈ଓ஋

      ελοϑͷۭ͖༧ఆ࣌ؒ࿈ଓ஋   ରԠελοϑPOFIPU   ߦಈ ɹUSZQBTT࣍ݩ ใु ੒ޭEJGpDVMUZTLJMM ׂɹௐ੔ͣΈ  ࣦഊTLJMMEJGpDVMUZ ׂ̌ɹௐ੔ͣΈ  ଴ͪ࣌ؒͳ͠ͷQBTT ଴ͪ࣌ؒ͋ΓͷQBTTTLJMMEJGpDVMUZ ʢ଴ͪ࣌ؒ ଴ͪ࣌ؒͷ࠷େ஋  ؔ਺ۙࣅͰ͸ɺ౰ॳχϡʔϥϧωοτͰ͸ͳ͍΋ͷΛ࣮૷͠Α͏ͱ͕ͨ͠χϡʔϥϧωοτͷํָ͕ʹ࣮૷Ͱ͖ΔͷͰ ࣌ؒͷؔ܎Ͱ%2/Ͱ࣮૷͢Δɻ
  13. ֶशͷਪҠϥϯμϜʹߦಈબ୒

  14. ֶशͷਪҠϥϯμϜʹߦಈબ୒

  15. ֶशͷਪҠ%2/Ͱ͸Ͳ͏͔ʁ

  16. ֶशͷਪҠ%2/ ֶशͷ݁Ռɹϕςϥϯʹ1BTT͢Δ͜ͱΛ֮͑ͨɻ

  17. ϞσϦϯάͷݟ௚͠ ωοτϫʔΫ ɹ%2/ ೖྗ̍̎࣍ݩɹӅΕ૚૚ʢ࣍ݩGVMMDPOOFDUFESFMVʣɹग़ྗ࣍ݩɹMJOFBS  MPTTGVODUJPONTF PQUJNJ[FS"EBN ɹMFBSOJOHSBUF ಛ௃ྔ ױऀࠔ೉౓ɿ࿈ଓ஋

      ελοϑٕྔ࿈ଓ஋   ελοϑͷۭ͖ঢ়گPOFIPU   ରԠελοϑPOFIPU   ߦಈ ɹUSZQBTTͷೋ୒ ใु ੒ޭ  ࣦഊ ଴ͪ࣌ؒͳ͠ͷQBTT ଴ͪ࣌ؒ͋ΓͷQBTT ɹTUFQޙ·ͰΛߟྀͨ͠ใुͰֶश ஫ʣใुؔ਺ͱಛ௃ϕΫτϧΛݟ௚ͨ͠ΓMFBSOJOHSBUFΛখͨ͘͞͠Γͨ͠ɻ
  18. ֶशͷਪҠ%2/Ϟσϧͱใुؔ਺ݟ௚͠

  19. ֶशͷਪҠ%2/Ϟσϧͱใुؔ਺ݟ௚͠ ࣗ෼ͷ࣮ྗʹԠͨ͡ױऀΛબΜͰ5SZ͢ΔΑ͏ʹͳͬͨɻ ͔͜͜Β͞ΒʹϒϥογϡΞοϓ͍͖ͯ͠·͢ɻ

  20. ڧԽֶशͷָ͠͞ ͏·͍͔͘ͳ͍࣌ɺ"HFOUͷؾ࣋ͪΛߟ͑ͨΓ͢Δɻ ใुʹΑͬͯڍಈ͕͝Ζͬͱ͔ΘΔ  ڧԽֶशʹ͍ͭͯͷ࿦จ͕೔ʑ͍͢͝੎͍Ͱൃද͞Ε͍ͯΔɻ ใुؔ਺ઃܭ΍γϡϛϨʔλ࡞੒ɺֶशϞσϧͳͲߟ͑Δ͜ ͱ͕ଟ͘ΫϥΠΞϯτ΍νʔϜϝϯόʔͱͷ΍ΓͱΓͳͲɺ େม͕ͩઃܭϓϩηεָ͕͍͠ɻ

  21. 
 
 ೉͍֓͠೦΍ٕज़΋ɺγϯϓϧͳྫͰ֬ೝͨ͠Γϝϯόʔ͕ର࿩͢Δ͜ͱͰຊ࣭తͳཧղ ΛಘΒΕΔͱߟ͑·͢ɻຊάϧʔϓ͸ɺͦͷΑ͏ͳ͜ͱ͕Ͱ͖ΔΑ͏ͳίϛϡχςΟͱͳ Δ͜ͱΛ໨ࢦͯ͠ӡӦ͍ͯ͠·͢ɻڵຯ͕͋Δํ͸ͥͻ͝ࢀՃ͍ͩ͘͞ɻ IUUQTNBUIDPEJOHDPOOQBTTDPN .BUI$PEJOHͷ঺հ

  22. 
 ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ -BTU