Upgrade to Pro — share decks privately, control downloads, hide ads and more …

最弱オセロ

Taku0728
August 31, 2019

 最弱オセロ

深層強化学習を使った最弱オセロAIの話
前半は会社紹介など
(2019/8/31 chainer meet up)

Taku0728

August 31, 2019
Tweet

Other Decks in Technology

Transcript

  1. !2 © גࣜձࣾAVILEN ࣗݾ঺հ ձࣾ৘ใ גࣜձࣾ"7*-&/ɹ$50 ٢ాɹ୓ਅ ஀ੜ  ౦ژେֶ޻ֶ෦ԽֶγεςϜ޻ֶՊଔۀ

     ౦ژେֶେֶӃೖֶ  גࣜձࣾ"7*-&/૑ۀ ቐɾେ઒ɾ٢ా  $ ਂ૚ڧԽֶशϥΠϒϥϦ։ൃ  Φηϩ౳ڧԽֶश"*։ൃ  '9גՁ༧ଌϞσϧ։ൃ  ࡉ๔%γϛϡϨʔγϣϯݚڀɾֶձൃද  σΟʔϓϥʔχϯάߨࢣɾڭࡐ੍࡞  %-Λ༻͍ͨνϟοτϘοτ։ൃ  ϦΫϧʔτςΫϊϩδʔζσʔλαΠΤϯε  మՃ޻ਤ໘ೝࣝ"*։ൃϓϩδΣΫτϦʔυ  ೔ຊσΟʔϓϥʔχϯάڠձެࣜ &ࢿ֨ೝఆϓϩάϥϜ୅දߨࢣ  ը૾ࣗಈॲཧ"*։ൃϓϩδΣΫτϦʔυ  ࠷ऑΦηϩϦϦʔε 
  2. !8 © גࣜձࣾAVILEN ձ໊ࣾɹגࣜձࣾ"7*-&/ ΞϰΟϨϯ  ୅දऔక໾ɹቐҰ໐ ελοϑ਺ɹ໊ ॴࡏ஍ɹຊࣾɹ˟ ɹɹɹɹ౦ژ౎ઍ୅ా۠ؠຊொϦϕϥؠຊொ֊

    ɹɹɹɹηϛφʔϧʔϜɹ˟ ɹɹɹɹ౦ژ౎୆౦۠୆౦੣৺0Ϗϧ֊ ࿈བྷઌɹJOGP!BWJMFODPKQ ࣄۀ಺༰ɹ"*ɾػցֶशʹؔ͢Δηϛφʔࣄۀ ɹɹɹɹɹ"*ɾػցֶशʹؔ͢ΔίϯαϧςΟϯάࣄۀ ɹɹɹɹɹ"*ɾػցֶशʹؔ͢ΔγεςϜ։ൃࣄۀ ձࣾ৘ใ ձࣾ৘ใ ձࣾϩΰ ਓྨͷਐԽͷաఔΛදݱͨ͠ϒϥϯυ ϩΰɻʮશਓྨ͕Θ͔Δʯͱ͍͏Ωʔ ϫʔυΛج࣠ʹΘ͔Γ΍͍͢ߨ࠲΍"* αʔϏεͷσβΠϯΛߦ͏ɻ
  3. !12 ࣾ಺ͷ૊৫ฤ੒ ձࣾࣄۀʹ͍ͭͯ © גࣜձࣾAVILEN ϏδωεਪਐνʔϜ ਂ૚ֶशͷ༷ʑͳϞσϧΛཧղ ͠ɺਖ਼͘͠ϓϩδΣΫτͷਐߦ Λಋ͘ίϯαϧλϯτνʔϜ &OHJOFFS

    &EVDBUJPO #VTJOFTT Ϟσϧ։ൃνʔϜ ਂ૚ֶशΛཧ࿦͔Βཧղ͠ɺ޻෉Λ ࢪͨ͠ෳࡶͳϞσϧ࣮૷Λߦ͏Τϯ δχΞνʔϜ *5εϖγϟϦετΛؚ Ή ڭҭݚमνʔϜ ։ൃͱϏδωεͷ஌ݟΛ࣋ͪͭ ͭɺίϛϡχέʔγϣϯྗΛ࣋ ͪ߹ΘͤͨڭҭνʔϜ
  4. !13 © גࣜձࣾAVILEN ༷ʑͳۀ຿ޮ཰ԽʹରԠՄೳ ձࣾࣄۀʹ͍ͭͯ σʔλ෼ੳ ɾߪങߦಈ༧ଌ ɾϨίϝϯσʔγϣϯ ɾधཁച্༧ଌ ࣗવݴޠॲཧ

    ɾจॻͷࣗಈλά෇͚෼ྨ ɾจॻͷҙຯ೺Ѳ ɾݻ༗දݱͷநग़ ɾνϟοτϘοτ ը૾ॲཧ ɾը૾σʔλ͔Β෺ମݕग़ ɾॻྨͷ໨ࢹνΣοΫͷࣗಈԽ ɾෆྑ඼ͷ֎؍ݕࠪࣗಈԽ ɾը૾ੜ੒ Ҋ݅ఆٛ Ϟσϧ։ൃ γεςϜಋೖ ӡ༻ݚम ɾώΞϦϯά ɾσʔλલॲཧࢧԉ ɾݟੵ΋Γઓུࡦఆ ɾӡ༻αϙʔτ ɾఆظϝϯςφϯε ɾٕज़ڭҭݚम ɾ8FCΞϓϦ։ൃ ɾΠϯϑϥ੔උ ɾηΩϡϦςΟอक ɾධՁࢦඪͷࡦఆ ɾ1P$ςετ ɾ։ൃϨϙʔτఏग़
  5. !14 © גࣜձࣾAVILEN AI։ൃ࣮੷ᶃ ձࣾࣄۀʹ͍ͭͯ Ճ޻ॻࣗಈಡΈऔΓ"* మૉࡐͷՃ޻޻৔΁ͷγεςϜಋೖϓϩ δΣΫτɻ༷ʑͳاۀ͔ΒૹΒΕͯ͘Δ ઃܭਤ͔Βඞཁͳ৘ใ ֤ύʔπͷܗঢ়΍

    ௕͞ɺՃ޻ຊ਺ͳͲ Λநग़͠ɺγεςϜ ʹࣗಈೖྗ͢ΔγεςϜΛ։ൃɻը૾ σʔλ͔Βͷ৘ใநग़͓Αͼ੡଄ຊ਺ͷ ࠷దԽΛߦ͍ɺ޻৔ͷൈຊతͳࣗಈԽΛ ߦͬͨɻ֤਺ࣈͷೝࣝਫ਼౓͸ɻ 7((6/FU ࠃձͷެࣜจॻͷࣗಈ෼ྨ ࠃձͷެࣜจॻΛΧςΰϦ෼ྨ͠ɺޙչ ͢Δ8FCαʔϏε΁ͷγεςϜಋೖɻΧ ςΰϦ෼ྨ͢Δʹ͸ઐ໳஌ࣝ΍࡞ۀ࣌ؒ ͕ඞཁͰ͋Γɺख͕ճ͍ͬͯͳ͍ͱ͍͏ ՝୊͕͋ͬͨɻͦ͜ͰɺաڈσʔλΛ༻ ͍ͯࣗಈ෼ྨ͢Δ"*γεςϜΛ։ൃ͠ɺ ਓखͱಉ͡ΫΦϦςΟͰಉ࣌ؒͰഒҎ ্ͷจॻ਺ͷ෼ྨΛ࣮ݱͨ͠ɻ-%" ಈըσʔλࣗಈλά෇͚ େྔͷಈըσʔλΛֶश͠ɺݸఔ౓ ͷδϟϯϧʹ෼ྨ͢ΔλεΫɻϏσΦཧ ղݚڀͷ࠷େͷো֐͸ɺҰൠʹެ։͞Ε ͍ͯΔେن໛ͳϥϕϧ෇͖σʔληοτ ͷܽ೗Ͱ͋Δɻฐࣾϝϯόʔ͕ੈքதͷ σʔλαΠΤϯςΟετ΍ݚڀνʔϜ͕ ࢀՃ͢ΔLBHHMFͷίϯϖʹͯ501ͷ੒ ੷Λ࢒ͨ͠ɻ/FU-"%/FU'7(36 ੓࣏ ܦࡁ 501
  6. !15 © גࣜձࣾAVILEN AI։ൃ࣮੷ᶄ ձࣾࣄۀʹ͍ͭͯ ೖӃױऀߦಈσʔλͷੜ੒ ࿝ਓϗʔϜ΍පӃʹͯɺࣨ಺Ͱױऀʹى ͜ΔΞΫγσϯτΛࣄલʹ༧ଌ͢Δϓϩ δΣΫτɻ՝୊͸ֶशʹඞཁͳױऀͷߦ ಈʹؔ͢Δө૾σʔλ͕ෆ଍͍ͯ͠Δ͜

    ͱͰ͋ͬͨɻ༩͑ΒΕͨ୯ޠ΍จ͔Βಈ ըΛੜ੒͢ΔϞσϧΛߏங͠ɺֶश༻ σʔλΛఏڙͨ͠ɻࣗવݴޠॲཧը૾ॲ ཧੜ੒Ϟσϧ ("/ ৯ࣄʹରͯ͠ϑΟʔυόοΫ͢Δ"* Ϣʔβʔ͕౤ߘͨ͠৯ࣄͷࣸਅʹର͠ ͯɺӫཆ͕࢜ධՁɾίϝϯτ ֆจࣈελ ϯϓ Λߦ͏݈߁؅ཧΞϓϦ΁ͷ"*ಋೖϓ ϩδΣΫτɻ՝୊͸ɺӫཆ࢜Λ֎෦ҕୗ ͢ΔͨΊ؅ཧ͕ࠔ೉ɺͦͯ͠ਓʹΑͬͯ ධՁʹόϥπΩ͕͋Δ͜ͱͰ͋ΔɻϢʔ βʔσʔλͱ৯ࣄ಺༰Λֶश͠ɺӫཆ࢜ ͳ͠Ͱ΋ϑΟʔυόοΫΛՄೳʹͨ͠ɻ ߪങߦಈʹରԠͨ͠৴པ౓༧ଌ ΫϨδοτΧʔυ৘ใ͔Βɺݸਓʹ࠷ద Խ͞Εͨ13αʔϏεͷҊ಺ΛૹΔͨΊͷ ϓϩδΣΫτɻސ٬ϩΠϠϦςΟείΞ Λղ໌͠ɺݸਓʹ࠷దԽͨ͠αʔϏεఏ ڙΞϧΰϦζϜͷ୳ٻʹऔΓ૊Μͩɻฐ ࣾϝϯόʔ͕ੈքதͷσʔλαΠΤϯ ςΟετ΍ݚڀνʔϜ͕ࢀՃ͢ΔLBHHMF ͷίϯϖʹͯ501ͷ੒੷Λ࢒ͨ͠ɻ 501
  7. !19 © גࣜձࣾAVILEN ମܥԽ͞Ε࣮ͨ຿ಛԽίʔε ձࣾࣄۀʹ͍ͭͯ ࣮σʔλ0+5ίʔε ࣮σʔλΛ࢖ͬͨέʔεԋशΛ ࣮ࢪɻͦͷޙɺ"7*-&/ͷΤϯδ χΞ͕وࣾͷνʔϜϦʔμʔͱͳ ΓɺϓϩδΣΫτΛਪਐ͢Δɻ

    ਂ૚ֶशίʔε ਂ૚ֶशΛཧ࿦͔Βཧղ͠ɺ ࠷దͳख๏Λબ୒ɾ࣮૷Ͱ͖Δ ΤϯδχΞΛҭ੒͢Δɻ &ࢿ֨ରԠ Ϗδωε׆༻ίʔε "*ϏδωεΛਪਐ͢ΔͨΊͷج ૅ஌ࣝΛ਎ʹ͚ͭɺϓϩδΣΫ τΛਖ਼͘͠ݟੵ΋Γɾ؅ཧͰ͖ ΔਓΛҭͯΔɻ(ݕఆରԠ 1ZUIPOίʔε ػցֶशʹඞཁͳεΩϧʹಛԽ ͨ͠ΧϦΩϡϥϜɻϓϩάϥϛ ϯάॳ৺ऀͰ΋୹ظؒͰɺࣗΒے ಓΛཱ࣮ͯͯ૷Ͱ͖Δɻ ػցֶशίʔε ػցֶशͷجૅ஌͔ࣝΒɺ࣮຿ Λݟਾ࣮͑ͨફσʔλ෼ੳ·Ͱ ໢ཏֶͯ͠Ϳɻ ࣗવݴޠॲཧίʔε ࣮຿Ͱ೔ຊޠͷςΩετσʔλ Λॲཧ͍ͨ͠ਓʹ޲͚ͨɺجૅ ཧ࿦͔Β࣮૷·Ͱ໢ཏతʹֶͿ ߨ࠲ɻ
  8. !23 © גࣜձࣾAVILEN ୅දࣾһ঺հ ओཁϝϯόʔ ୅දऔక໾ቐҰ໐ ֶੜ࣌୅ʹશਓྨ͕Θ͔Δ౷ܭֶΛཱͪ ্͛ɺגࣜձࣾ"7*-&/Λ૑ۀɻਂ૚ֶश Λ༻͍ͨࣗવݴޠॲཧΛઐ໳ͱ͢Δɻࣗ વݴޠσʔλɺը૾σʔλɺҩༀσʔλ

    Λର৅ʹͨ͠σʔλ෼ੳɾ"*Ϟσϧͷ࡞ ੒ٴͼίϯαϧςΟϯάҊ݅ͷܦݧ͕๛ ෋ɻݱࡏ΋ݱ໾ͷσʔλαΠΤϯςΟε τͱͯ͠ɺ࣮຿ʹऔΓ૊Ήͱڞʹձࣾܦ ӦΛߦ͏ɻ औక໾େ઒ངฏ גࣜձࣾ"7*&-/ͷڞಉ૑ۀऀɻࣗવݴ ޠॲཧΛઐ໳ͱ͢Δɻ೔ຊ౷ܭֶձ ε ϙʔπσʔλ෼ੳίϯϖςΟγϣϯ༏ल ৆ड৆ ΍/-1एखͷձɺ*&&&CJHEBUBͳ Ͳʹֶ͓͍ͯձൃද΋ੵۃతʹߦ͏ɻࣾ ಺Ͱ͸ɺࣗવݴޠॲཧ"84Πϯϑϥߏ ஙόοΫΤϯυϑϩϯτΤϯυͳͲͷ ΤϯδχΞνʔϜΛϦʔυɻΤϯδχΞ ͱͯ͠ͷ׆༂ͷ৔͸޿͍ɻ ࠷ߴٕज़੹೚ऀ٢ా୓ਅ גࣜձࣾ"7*&-/ͷڞಉ૑ۀऀɻ౦ژେ ֶେֶӃ࣌୅ʹਂ૚ֶशΛ׆༻ɻ$50ͱ ͯ͠"*Λ༻͍ͨਤ໘ಡΈऔΓɾҟৗݕ ஌ɾ8FCΞϓϦͳͲ਺ʑͷ։ൃϓϩδΣ ΫτΛϦʔυ͖ͯͨ͠ɻಉ࣌ʹ೔ຊ σΟʔϓϥʔχϯάڠձೝఆ&ࢿ֨ରԠ ߨ࠲୅දߨࢣΛ຿Ίɺ։ൃɾڭҭɾاը ʹٴͿશࣄۀͷٕज़తࢧபΛ੒͢ɻ
  9. !24 © גࣜձࣾAVILEN ୅දࣾһ঺հ ओཁϝϯόʔ औక໾"*ίϯαϧλϯτߴڮޫଠ࿠ "*ಋೖͰͷ՝୊ղܾΛத৺ʹɼ༷ʑͳ෼ ໺ʹίϯαϧςΟϯάΛߦ͏ɻ·ͨɺϓ ϩδΣΫτϚωδϝϯτͰҊ݅શମΛ Ϧʔυ͢Δ͜ͱ͕ଟ͘ɺػցֶशσΟʔ

    ϓϥʔχϯά8FCܥαʔόαΠυ౳ͷ։ ൃ΋ߦ͏ɻ౦ژେֶେֶӃͰχϡʔϥϧ ωοτϫʔΫͷجૅݚڀ΍Ϗοάσʔλ ෼ੳͷݚڀʹैࣄɻ औక໾σβΠφʔߴڮً߳ σβΠϯ΍޿ใશൠΛ͸͡Ίɺ"7*-&/ͷ ϒϥϯυσβΠϯΛ౷ׅ͍ͯ͠Δɻ "7*-&/͕։ൃ͢Δ"*γεςϜͷ6*ɾ69 σβΠϯΛख͕͚Δɻઍ༿େֶେֶӃʹ ͯαʔϏεɾϓϩμΫτσβΠϯΛઐ߈ ͠ɺେखిػϝʔΧʔͱͷڞಉ։ൃϓϩ δΣΫτ΋ߦ͏ɻө૾੍࡞౳ͷܦݧ΋࣋ ͭɻ "*ࣄۀਪਐ෦Ϛωʔδϟʔམ߹ୡ໵ "*ࣄۀਪਐ෦ͱͯ͠اըɾ։ൃɾӦۀͱ ෯޿͘ۀ຿ʹैࣄɻ1ZUIPOΤϯδχΞͱ ͯ͠ͷܦݧ΍ઐ໳ͷ౷ܭֶͷ஌ࣝΛੜ͔ ͨ͠ίϯαϧςΟϯάۀ຿Λਪਐɻͦͷ ଞɺڭҭࣄۀͷ੹೚ऀͱͯ͠ɺηϛφʔ ΍ݚमͷશͯΛ౷ׅ͍ͯ͠Δɻ
  10. !25 © גࣜձࣾAVILEN αϙʔτࣾһ঺հ ઐ໳෼໺ʹಛԽͨ͠ϓϨΠϠʔ͕ू·͍ͬͯ·͢ɻ "*εϖγϟϦετ٢઒෢จ ౦ژେֶେֶӃमྃɻֶ෦Ͱ͸ੜ෺৘ใ ՊֶΛઐ߈ɻੜ෺͔ΒಘΒΕΔϏοά σʔλͷղੳ΍ੜ෺ֶʹ͓͚Δཧ࿦ͷγ ϛϡϨʔγϣϯɺϞσϦϯάͳͲʹ΋ਫ਼

    ௨ɻ౦ژେֶཧՊೋྨ࠷ߴ఺߹֨ɺ೔ຊ ੜ෺ֶΦϦϯϐοΫۚ৆ɾຊબҰҐͳͲ ͷड৆ྺΛ࣋ͭɻਂ૚ֶशΛ༻͍࣮ͨҊ ݅ʹܞΘΔͱڞʹɺσʔλ෼ੳɾਂ૚ֶ शͷߨ࠲શൠΛ୲౰͢Δɻ "*εϖγϟϦετ༄඿ສཬ %F/"ͷΤϯδχΞɻLBHHMF σʔλ෼ੳ ίϯϖ ʹͯϝμϧ֫ಘܦݧ͋Γɻ "7*-&/Ͱ͸σʔλ෼ੳߨ࠲ͷߨࢣϦʔ μʔΛ຿ΊΔɻਂ૚ֶशΛԠ༻ͨ͠ϓϩ δΣΫτʹ΋ܞΘΓͭͭɺ๏ਓݚमͷߨ ࢣͳͲ΋ੵۃతʹߦ͏ɻژ౎େֶେֶӃ मྃɻେֶӃͰ͸ੈքॳͷϞσϧͱͳΔ ػցֶशΛ༻͍ͨ஍਒༧ଌख๏ͷ։ൃʹ ैࣄɻ *5εϖγϟϦετ઒੉୓࣮ 1ZUIPO5ZQF4DSJQUSFBDUKTWVFKTHP $$ ͳͲ༷ʑͳݴޠΛ࢖͍͜ͳ͠ɺ*5 શൠͷٕज़ͷΩϟονΞοϓʹ༨೦͕ແ ͍ɻϑϩϯτΤϯυαʔόαΠυΠϯ ϑϥߏஙΛಘҙͱ͠ɺ༷ʑͳλΠϓͷΞ ϓϦέʔγϣϯͷ։ൃΛߦ͍ͬͯΔɻ· ͨɺػցֶश΍ਂ૚ֶशͷ࣮૷ೳྗ΋ߴ ͘ɺଟ͘ͷ։ൃʹࢀՃ͢ΔϑϧελοΫ ΤϯδχΞɻ
  11. w ݱࡏͷ൫໘ͷʮՁ஋ʯ ྑ͞ Λ༧ଌ͢Δ
 w Ұาઌͷ͢΂ͯͷ൫໘Λྻڍ͠ɺ࠷΋Ձ஋ͷߴ͍൫ ໘Λબ୒͢Δ
 w "*Ͳ͏͠Ͱରઓͨ݁͠Ռ͔Βɺ൫໘Ձ஋Λֶश͢Δ
 w

    ୳ࡧʹΑΔઌಡΈͱ૊Έ߹ΘͤΔ͜ͱͰੑೳͷߴ͍ ํࡦΛ࣮ݱͰ͖Δ ̏ Ձ஋ؔ਺ϕʔεͷΠϝʔδ ग़య - AlphaGo
  12. w ϘϧπϚϯ෼෍Λར༻͠ɺঢ়ଶߦಈՁ஋2 T B Λج४ʹߦ ಈΛબ୒͢Δํࡦ w 2 T B

    ͕ߴ͍΄ͲB͕બ͹ΕΔ֬཰͕ߴ͍ w ਖ਼ͷఆ਺5 Թ౓ Λద੾ʹઃఆ͢Δ͜ͱʹΑͬͯɺ֬཰ʹର ͢Δ2஋ͷӨڹΛ੍ޚ͢Δ w શߦಈͷू߹"͔ΒߦಈB͕બ୒͞ΕΔ֬཰К T B ͸ҎԼͷ ࣜʹै͏ ̏ ιϑτϚοΫε๏
  13. w Ϟσϧ͸YYYYYYͷશ݁߹૚ w ͸൫໘৘ใʴܭࢉʹΑΔಛ௃ྔ w ಛ௃ྔ w खͷ਺ w ֤ϢχʔΫҐஔͷίϚ਺

    w ։์౓ w ݻఆੴͷݸ਺ w ܗ w ετφʔͳͲ w ͜ͷ͜ͱΛʮྗٕಛ௃ྔ//ʯͱݺΜͰ͍Δ ̏ γϣʔτΧοτ̎