入門AlphaGo

Transcript

1. ೖ໳AlphaGo 0x64෺ޠ ୈ07໷ “AI” @na_o_ys

2. ͝஫ҙ • ࿦จʹॻ͔Ε͍ͯͳ͍ಠࣗௐࠪ΍ਪଌؚ͕· Ε·͢ • Ұߟ࡯ͩͱࢥͬͯݟ͍ͯͩ͘͞

3. AlphaGoͱ͸ • ॳΊͯϓϩع࢜ΛഁͬͨғޟAI

4. ୈҰ෦:
 AlphaGoʹࢸΔ·Ͱ

5. ׬શ৘ใήʔϜ • ΦηϩɺνΣεɺকعɺғޟɺetc • ϥϯμϜੑ͕ແ͘ɺ࠷ળख͕ଘࡏ͢Δ • (ݪཧతʹ͸) ઌखඞউɾޙखඞউɾҾ͖෼͚

6. ήʔϜ໦ • શ୳ࡧͰ࠷ળख͕ٻ·Δ • ܭࢉྔతʹෆՄೳ … ݱہ໘ 1खޙ 2खޙ

7. ධՁؔ਺ • ൫໘Λ༩͑ΔͱείΞ (༧૝উ཰ͳͲ) Λฦؔ͢਺ • কع΍νΣεͳΒɺۨͷଛಘ΍ޮ͖ͷ਺Λݩʹܭࢉ • ήʔϜ໦ͷ୳ࡧൣғ(ਂ͞)ΛݶఆͰ͖Δ ݱہ໘

   1खޙ 2खޙ ධՁ஋ˠ 0.1 0.8 0.3 0.4

8. ධՁؔ਺ͷ༗ޮੑ • ύϥϝʔλͷબఆɾઃఆ͕ΩϞ • ख࡞ۀ: νΣεͰਓؒΛ௒͑ͨ • ػցֶश: কعͰ΋ਓؒΛ௒͑ͨ •

   ғޟ͸ෳࡶੑͷͨΊʹ·ͱ΋ͳධՁؔ਺Λ࡞Εͳ͔ͬ ͨ

9. ݪ࢝ϞϯςΧϧϩ๏ • ϥϯμϜʹऴہ·Ͱଧͭ (ϩʔϧΞ΢τ) Λ܁Γฦͯ͠ɺউ཰Λܭ ࢉ͢Δํ๏ ϩʔϧΞ΢τΛ܁Γฦͯ͠ উ཰Λܭࢉ উ཰ 7/10

   উ཰ 3/10

10. ϞϯςΧϧϩ໦୳ࡧ (MCTS) • ݪ࢝ϞϯςΧϧϩ๏ΛධՁؔ਺తʹ࢖͏ • n खઌͰϩʔϧΞ΢τ • ༿ͷউ཰Λܭࢉ ※͞Βʹ༿ͷউ཰ʹԠͯ͡ಈతʹࢬמΓɾల։͠ɺ୳ࡧਫ਼౓Λ্͛Δ

11. ϙϦγʔؔ਺ • f (ہ໘, ࣍ͷҰख) • ࣍ͷҰखͷࣗવ͞Λ͋ΒΘ֬͢཰ີ౓ؔ਺ • عේσʔλ͔Βͷֶश͕༰қ •

    ϩʔϧΞ΢τ࣌ʹ࢖͑Δ • ϥϯμϜʹଧͭͷͰ͸ͳ͘ɺ·ͱ΋ͳखΛଧͨͤΔ • ͨͩ͠ߴ଎ʹಈ࡞͢Δඞཁ͕͋Δ

12. MCTSͷڧ͞ • ϙϦγʔؔ਺ͷ޻෉ͳͲͰΞϚνϡΞߴஈʹඖఢ͢Δڧ͞· Ͱਐา • ϓϩʹ͸ٴ͹ͳ͍ • େہ؍ʹ༏ΕΔ • ʮڱ͘ਂ͍ಡΈʯ͕ऑ͍

    • खΛ޿͘ಡΉͨΊ

13. AlphaGo͕΍ͬͨ͜ͱ • جຊ͸MCTS • ༷ʑͳ޻෉ • CNN(৞ΈࠐΈχϡʔϥϧωοτϫʔΫ) • ڧԽֶश •

    ධՁؔ਺ • ฒྻ෼ࢄΞϧΰϦζϜ • MCTS ʹͦΕΒΛ૊ΈࠐΜͩ

14. ୈೋ෦: AlphaGo

15. 2ͭͷϙϦγʔؔ਺ͱ 1ͭͷධՁؔ਺ ϩʔϧΞ΢τϙϦγʔ ϩʔϧΞ΢τʹ࢖͏ ௒ߴ଎ɾ௿ਫ਼౓ 4-ϙϦγʔ ୳ࡧॱংΛܾΊΔ ௿଎ɾߴਫ਼౓ ධՁؔ਺ ༿ͷධՁ஋(উ཰)Λ௚઀ܭࢉ

    ϩʔϧΞ΢τʹΑΔউ཰ͱ଍͠߹ΘͤΔ

16. ϩʔϧΞ΢τϙϦγʔ • ϩʔϧΞ΢τ(ϥϯμϜϓϨΠ)ʹ࢖͏ϙϦγʔؔ਺ • ߴ଎ੑɹʼɹਫ਼౓ • ਓؒͷعේ800ສہ໘͔Βֶश • ઢܗιϑτϚοΫεؔ਺ •

    2ϚΠΫϩඵ (௒ߴ଎) • عේͱͷࢦ͠खҰக཰: 24.2%

17. SLϙϦγʔ • ໦ͷ୳ࡧॱংΛܾΊΔϙϦγʔؔ਺ • ਫ਼౓ɹʼɹߴ଎ੑ • ਓؒͷعේ3000ສہ໘͔Βֶश • 13૚CNN(৞ΈࠐΈχϡʔϥϧωοτϫʔΫ) •

    ը૾ೝࣝͰΑ͘࢖ΘΕΔ • ௿଎: 3ϛϦඵ • عේͱͷࢦ͠खҰக཰: 57%

18. ධՁؔ਺ • 14૚CNN • SLϙϦγʔΛڧԽֶशͨ͠΋ͷ (RLϙϦγʔ) Λݩʹɺճؼͯ͠࡞Δ 4-ϙϦγʔ 3-ϙϦγʔ ධՁؔ਺

    1. ڧԽֶश 2. ϥϯμϜعේੜ੒
 (3000ສہ໘) 3. ճؼ

19. ධՁؔ਺ͷଊ͑ํ • ϩʔϧΞ΢τʹΑΔউ཰ܭࢉΛิ͏΋ͷ • ୯ମͰ͸ͦ͜·Ͱڧ͘ͳ͍ • ධՁؔ਺ͷಛ௃ (ߟ࡯) • ʮڱ͘ਂ͍ಡΈʯʹڧ͍

    • ʮRLϙϦγʔ(ڧԽֶश݁Ռ)Λऴہ·Ͱଧͨͤͨࡍͷউ཰ʯͱ౳Ձ • େہ؍͕ແ͍ • Ұຊಓ͔͠ಡ·ͳ͍ .$54ͷಛੑ
    େہ؍ʹ༏Εͯʮਂ͍ಡΈʯ͕ऑ͍
    ͱ
    ͏·͘ิ͍͍͋ͬͯΔ

20. ڧ͞ (2015/10࣌఺)

21. ڧ͞ (2016/3 ࣌఺) R3500+ ͷΠɾηυϧʹ׬উ

22. ࢀߟ • Mastering the game of Go with deep neural

    networks and tree search 
 (http://www.nature.com/nature/journal/v529/n7587/full/ nature16961.html) • Google AlphaGoͷ࢓૊ΈΛཧղ͢Δ | IT Leaders
 (http://it.impressbm.co.jp/articles/-/13474)

23. ऴΘΓ