強化学習の実業務への応用について

by kitamuaratomokazu

Slide 1

Slide 1 text

ڧԽֶशͷ࣮ۀ຿΁ͷԠ༻ʹ͍ͭͯ .BUI$PEJOHڧԽֶशΛޠΖ͏ʂ גࣜձࣾεΫϥϜαΠϯɹ୅දऔక໾ɹ๺ଜ༑࿨ LJUBNVSB!TDSVNTJHODPN 5JUMF

Slide 2

Slide 2 text

๺ଜɹ༑࿨ ࢓ࣄɿגࣜձࣾεΫϥϜαΠϯɹ ɹɹػցֶशΞϓϦέʔγϣϯͷઃܭ։ൃ ɹɹσʔλ෼ੳνʔϜͷ্ཱͪ͛ࢧԉ ɹɹڧԽֶशͱ֬཰ϓϩάϥϛϯάʹؔ৺ɻੵۃతʹࣄྫΛ࡞͍ͬͯ·͢ɻ झຯίϛϡχςΟӡӦ .BUI$PEJOHओ࠵ ɹɹߨࢣ͕ڭ͑ΔͷͰ͸ͳ͘ɺࢀՃऀಉ͕࢜ޓ͍ʹ஌ࣝͱ஌ܙΛ࣋ͪدΓ ɹɹڭֶ͍͑͋Ϳ৔ʹָ͠͞Λײ͍ͯ͡·͢ɻ ࣗݾ঺հ

Slide 3

Slide 3 text

ʢήʔϜͷੈքͰͳ͘ʣ ڧԽֶशΛ࣮ۀ຿ͰԠ༻͍ͯͨ͘͠Ίʹ 5PEBZ`T.BJO5IFNF

Slide 4

Slide 4 text

ֶशϓϩηε ɹ୳ࡧͱར༻ ɹɹࢼߦࡨޡ͠ͳ͕ΒֶͿ͜ͱ͕Ͱ͖Δ͔ʁ Ϛϧίϑܾఆաఔ ɹݱ࣌఺ͷ৘ใ͔Β࣍ͷܾఆΛԼ͢͜ͱ͕Ͱ͖Δ͔ ɹͦͷܾఆʹΑΓ֬཰తʹ࣍ͷঢ়ଶ΁ભҠ͢Δ͔ʁ ڧԽֶशʹ޲͍͍ͯΔ໰୊ઃఆͷ֬ೝ

Slide 5

Slide 5 text

ࠓճ͸ҩྍؔ܎ͷΫϥΠΞϯτΑΓࣄྫఏڙͷڐՄΛ͍͖ͨͩ·ͨ͠ɻ ʢຊࢿྉͷσʔλ͸͢΂ͯμϛʔͰ͋Γ࣮ࡍͷσʔλͰ͸͋Γ·ͤΜɻʣ ԼهͷέʔεΛ૝ఆͯ͠ڧԽֶशͰղ͍ͯΈ·ͨ͠ɻ ຖ೔਺ඦ໊ͷױऀ͕དྷӃ͠ελοϑʢ؃ޢࢣʣ͕࠾݂͍ͯ͠·͢ɻ ױऀʹΑͬͯ࠾݂͠΍͍͢ਓͱͦ͏Ͱͳ͍ਓ͕͍Δ͜ͱɻ ελοϑ΋ਓʹΑͬͯϕςϥϯ͔Β৽ਓ·Ͱٕྔʹ͕ࠩ͋Γ·͢ɻ Ұఆͷׂ߹Ͱɺ࠾݂ʹࣦഊ͠·͢ɻ ࣄྫɿපӃͷ࠾݂

Slide 6

Slide 6 text

࠾݂ͷࣦഊ཰ΛԼ͛ͯױऀͷຬ଍౓Λ্͍͛ͨɻ ελοϑͷٕྔͷ޲্ΛਤΓ͍ͨɻ ղ͖͍ͨ՝୊

Slide 7

Slide 7 text

૬൓͢ΔཁٻΛຬͨ͢࠷దͳߦಈબ୒ΛڧԽֶशͰֶͿ͜ͱ͕Մೳ ͔ʁ ࣦഊ཰ΛԼ͛Δ ɹϕςϥϯελοϑ͕ରԠ͢Δ ٕೳͷ޲্ΛਤΔ ɹࣗ෼ͷٕྔΑΓগ͠೉͍͠ױऀʹτϥΠ͢Δ ɹࣦഊ཰͕͕͋Δ (PBMͷઃܭ

Slide 8

Slide 8 text

ελοϑ͕ద੾ͳ೉қ౓ͷױऀΛ୲౰Ͱ͖Δ͜ͱ ߦಈΛ֤ελοϑ͝ͱʹ5SZ͔1BTT͔Λબ୒ͤͯ͞଴ͪߦ ྻͷঢ়گ͓Αͼελοϑͷۭ͖ঢ়گͱࣗ෼ͷྗྔʹԠͨ͡5SZ ͱ1BTTΛબ୒Ͱ͖ΔΑ͏ʹֶश͍ͨ͠ɻ ݱঢ়͸Ϛωʔδϟʔ͕ܦݧͱצͰߦ͍ͬͯΔΑ͏Ͱ͢ɻ (PBMͷઃܭ

Slide 9

Slide 9 text

1P$ ֓೦ݕূ ػցֶश͕Ծʹ͏·͘ਐΉͱɺ ৽ਓ͸ࣗ෼ͷྗྔʹ͋ͬͨױऀΛબผɹࣦഊ཰Լ͕Δ ϕςϥϯελοϑɹ೉қ౓͕ߴ͍ױऀΛબผࣦഊ཰্͕Δ ͸ͣʂ (PBMͷઃܭ

Slide 10

Slide 10 text

ױऀ೉қ౓ελοϑٕྔ ਪఆ໰୊ ֬཰Ϟσϧ ױऀͱελοϑ Ϛονϯά໰୊ ҰͭͷϞσϧͰҰ౓ʹղ͘ͷ͸೉͍͠ͷͰ ໰୊Λ෼ׂ͠·ͨ͠ ڧԽֶश ਪఆͨ͠஋Λಛ௃ྔ΍ ใुͱͯ͠ར༻͢Δ ֬཰ϞσϧͱڧԽֶशΛ߹Θͤͯղ͍͍ͯ͘ ϞσϦϯάͷํ਑

Slide 11

Slide 11 text

ίϛϡχςΟϝϯόʔͱͷσΟεΧογϣϯ ౰ॳ͸࿈ଓ࣌ؒͷ.%1Λߟ͍͑ͯ ͨɻ3FXBSE͸ױऀͷ଴ͪ࣌ؒΛ ϖφϧςΟͱͯ͠༩͑ΔํࣜΛݕ ౼్͍͕ͯͨ͠தͰํ਑స׵ɻ ཭ࢄ࣌ؒͷߦಈͱͯ͠ใु΋ ٕྔɿTLJMMͱױऀࠔ೉౓ɿ EJGpDVMUZͰදݱ

Slide 12

Slide 12 text

࣮૷ɿϞσϦϯά ωοτϫʔΫ ɹ%2/ ӅΕ૚૚ʢೖྗ࣍ݩͱಉ͡GVMMDPOOFDUFESFMVʣɹग़ྗ࣍ݩɹMJOFBS ಛ௃ྔ ױऀࠔ೉౓ɿ࿈ଓ஋ ελοϑٕྔ࿈ଓ஋ ελοϑͷۭ͖༧ఆ࣌ؒ࿈ଓ஋ ରԠελοϑPOFIPU ߦಈ ɹUSZQBTT࣍ݩ ใु ੒ޭEJGpDVMUZTLJMM ׂɹௐ੔ͣΈ ࣦഊTLJMMEJGpDVMUZ ׂ̌ɹௐ੔ͣΈ ଴ͪ࣌ؒͳ͠ͷQBTT ଴ͪ࣌ؒ͋ΓͷQBTTTLJMMEJGpDVMUZʢ଴ͪ࣌ؒ଴ͪ࣌ؒͷ࠷େ஋ ؔ਺ۙࣅͰ͸ɺ౰ॳχϡʔϥϧωοτͰ͸ͳ͍΋ͷΛ࣮૷͠Α͏ͱ͕ͨ͠χϡʔϥϧωοτͷํָ͕ʹ࣮૷Ͱ͖ΔͷͰ ࣌ؒͷؔ܎Ͱ%2/Ͱ࣮૷͢Δɻ

Slide 13

Slide 13 text

ֶशͷਪҠϥϯμϜʹߦಈબ୒

Slide 14

Slide 14 text

ֶशͷਪҠϥϯμϜʹߦಈબ୒

Slide 15

Slide 15 text

ֶशͷਪҠ%2/Ͱ͸Ͳ͏͔ʁ

Slide 16

Slide 16 text

ֶशͷਪҠ%2/ ֶशͷ݁Ռɹϕςϥϯʹ1BTT͢Δ͜ͱΛ֮͑ͨɻ

Slide 17

Slide 17 text

ϞσϦϯάͷݟ௚͠ ωοτϫʔΫ ɹ%2/ ೖྗ̍̎࣍ݩɹӅΕ૚૚ʢ࣍ݩGVMMDPOOFDUFESFMVʣɹग़ྗ࣍ݩɹMJOFBS MPTTGVODUJPONTF PQUJNJ[FS"EBN ɹMFBSOJOHSBUF ಛ௃ྔ ױऀࠔ೉౓ɿ࿈ଓ஋ ελοϑٕྔ࿈ଓ஋ ελοϑͷۭ͖ঢ়گPOFIPU ରԠελοϑPOFIPU ߦಈ ɹUSZQBTTͷೋ୒ ใु ੒ޭ ࣦഊ ଴ͪ࣌ؒͳ͠ͷQBTT ଴ͪ࣌ؒ͋ΓͷQBTT ɹTUFQޙ·ͰΛߟྀͨ͠ใुͰֶश ஫ʣใुؔ਺ͱಛ௃ϕΫτϧΛݟ௚ͨ͠ΓMFBSOJOHSBUFΛখͨ͘͞͠Γͨ͠ɻ

Slide 18

Slide 18 text

ֶशͷਪҠ%2/Ϟσϧͱใुؔ਺ݟ௚͠

Slide 19

Slide 19 text

ֶशͷਪҠ%2/Ϟσϧͱใुؔ਺ݟ௚͠ ࣗ෼ͷ࣮ྗʹԠͨ͡ױऀΛબΜͰ5SZ͢ΔΑ͏ʹͳͬͨɻ ͔͜͜Β͞ΒʹϒϥογϡΞοϓ͍͖ͯ͠·͢ɻ

Slide 20

Slide 20 text

ڧԽֶशͷָ͠͞ ͏·͍͔͘ͳ͍࣌ɺ"HFOUͷؾ࣋ͪΛߟ͑ͨΓ͢Δɻ ใुʹΑͬͯڍಈ͕͝Ζͬͱ͔ΘΔ ڧԽֶशʹ͍ͭͯͷ࿦จ͕೔ʑ͍͢͝੎͍Ͱൃද͞Ε͍ͯΔɻ ใुؔ਺ઃܭ΍γϡϛϨʔλ࡞੒ɺֶशϞσϧͳͲߟ͑Δ͜ ͱ͕ଟ͘ΫϥΠΞϯτ΍νʔϜϝϯόʔͱͷ΍ΓͱΓͳͲɺ େม͕ͩઃܭϓϩηεָ͕͍͠ɻ

Slide 21

Slide 21 text

    ೉͍֓͠೦΍ٕज़΋ɺγϯϓϧͳྫͰ֬ೝͨ͠Γϝϯόʔ͕ର࿩͢Δ͜ͱͰຊ࣭తͳཧղ ΛಘΒΕΔͱߟ͑·͢ɻຊάϧʔϓ͸ɺͦͷΑ͏ͳ͜ͱ͕Ͱ͖ΔΑ͏ͳίϛϡχςΟͱͳ Δ͜ͱΛ໨ࢦͯ͠ӡӦ͍ͯ͠·͢ɻڵຯ͕͋Δํ͸ͥͻ͝ࢀՃ͍ͩ͘͞ɻ IUUQTNBUIDPEJOHDPOOQBTTDPN .BUI$PEJOHͷ঺հ

Slide 22

Slide 22 text

  ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ -BTU