入門AlphaGo

"Mastering the game of Go with deep neural networks and tree search" の概要

Transcript

1. ೖ໳AlphaGo 0x64෺ޠ ୈ07໷ “AI” @na_o_ys
2. ͝஫ҙ • ࿦จʹॻ͔Ε͍ͯͳ͍ಠࣗௐࠪ΍ਪଌؚ͕· Ε·͢ • Ұߟ࡯ͩͱࢥͬͯݟ͍ͯͩ͘͞
3. AlphaGoͱ͸ • ॳΊͯϓϩع࢜ΛഁͬͨғޟAI
4. ୈҰ෦:
 AlphaGoʹࢸΔ·Ͱ
5. ׬શ৘ใήʔϜ • ΦηϩɺνΣεɺকعɺғޟɺetc • ϥϯμϜੑ͕ແ͘ɺ࠷ળख͕ଘࡏ͢Δ • (ݪཧతʹ͸) ઌखඞউɾޙखඞউɾҾ͖෼͚
6. ήʔϜ໦ • શ୳ࡧͰ࠷ળख͕ٻ·Δ • ܭࢉྔతʹෆՄೳ … ݱہ໘ 1खޙ 2खޙ
7. ධՁؔ਺ • ൫໘Λ༩͑ΔͱείΞ (༧૝উ཰ͳͲ) Λฦؔ͢਺ • কع΍νΣεͳΒɺۨͷଛಘ΍ޮ͖ͷ਺Λݩʹܭࢉ • ήʔϜ໦ͷ୳ࡧൣғ(ਂ͞)ΛݶఆͰ͖Δ ݱہ໘ 1खޙ 2खޙ ධՁ஋ˠ 0.1 0.8 0.3 0.4
8. ධՁؔ਺ͷ༗ޮੑ • ύϥϝʔλͷબఆɾઃఆ͕ΩϞ • ख࡞ۀ: νΣεͰਓؒΛ௒͑ͨ • ػցֶश: কعͰ΋ਓؒΛ௒͑ͨ • ғޟ͸ෳࡶੑͷͨΊʹ·ͱ΋ͳධՁؔ਺Λ࡞Εͳ͔ͬ ͨ
9. ݪ࢝ϞϯςΧϧϩ๏ • ϥϯμϜʹऴہ·Ͱଧͭ (ϩʔϧΞ΢τ) Λ܁Γฦͯ͠ɺউ཰Λܭ ࢉ͢Δํ๏ ϩʔϧΞ΢τΛ܁Γฦͯ͠ উ཰Λܭࢉ উ཰ 7/10 উ཰ 3/10
10. ϞϯςΧϧϩ໦୳ࡧ (MCTS) • ݪ࢝ϞϯςΧϧϩ๏ΛධՁؔ਺తʹ࢖͏ • n खઌͰϩʔϧΞ΢τ • ༿ͷউ཰Λܭࢉ ※͞Βʹ༿ͷউ཰ʹԠͯ͡ಈతʹࢬמΓɾల։͠ɺ୳ࡧਫ਼౓Λ্͛Δ
11. ϙϦγʔؔ਺ • f (ہ໘, ࣍ͷҰख) • ࣍ͷҰखͷࣗવ͞Λ͋ΒΘ֬͢཰ີ౓ؔ਺ • عේσʔλ͔Βͷֶश͕༰қ • ϩʔϧΞ΢τ࣌ʹ࢖͑Δ • ϥϯμϜʹଧͭͷͰ͸ͳ͘ɺ·ͱ΋ͳखΛଧͨͤΔ • ͨͩ͠ߴ଎ʹಈ࡞͢Δඞཁ͕͋Δ
12. MCTSͷڧ͞ • ϙϦγʔؔ਺ͷ޻෉ͳͲͰΞϚνϡΞߴஈʹඖఢ͢Δڧ͞· Ͱਐา • ϓϩʹ͸ٴ͹ͳ͍ • େہ؍ʹ༏ΕΔ • ʮڱ͘ਂ͍ಡΈʯ͕ऑ͍ • खΛ޿͘ಡΉͨΊ
13. AlphaGo͕΍ͬͨ͜ͱ • جຊ͸MCTS • ༷ʑͳ޻෉ • CNN(৞ΈࠐΈχϡʔϥϧωοτϫʔΫ) • ڧԽֶश • ධՁؔ਺ • ฒྻ෼ࢄΞϧΰϦζϜ • MCTS ʹͦΕΒΛ૊ΈࠐΜͩ
14. ୈೋ෦: AlphaGo
15. 2ͭͷϙϦγʔؔ਺ͱ 1ͭͷධՁؔ਺ ϩʔϧΞ΢τϙϦγʔ ϩʔϧΞ΢τʹ࢖͏ ௒ߴ଎ɾ௿ਫ਼౓ 4-ϙϦγʔ ୳ࡧॱংΛܾΊΔ ௿଎ɾߴਫ਼౓ ධՁؔ਺ ༿ͷධՁ஋(উ཰)Λ௚઀ܭࢉ ϩʔϧΞ΢τʹΑΔউ཰ͱ଍͠߹ΘͤΔ
16. ϩʔϧΞ΢τϙϦγʔ • ϩʔϧΞ΢τ(ϥϯμϜϓϨΠ)ʹ࢖͏ϙϦγʔؔ਺ • ߴ଎ੑɹʼɹਫ਼౓ • ਓؒͷعේ800ສہ໘͔Βֶश • ઢܗιϑτϚοΫεؔ਺ • 2ϚΠΫϩඵ (௒ߴ଎) • عේͱͷࢦ͠खҰக཰: 24.2%
17. SLϙϦγʔ • ໦ͷ୳ࡧॱংΛܾΊΔϙϦγʔؔ਺ • ਫ਼౓ɹʼɹߴ଎ੑ • ਓؒͷعේ3000ສہ໘͔Βֶश • 13૚CNN(৞ΈࠐΈχϡʔϥϧωοτϫʔΫ) • ը૾ೝࣝͰΑ͘࢖ΘΕΔ • ௿଎: 3ϛϦඵ • عේͱͷࢦ͠खҰக཰: 57%
18. ධՁؔ਺ • 14૚CNN • SLϙϦγʔΛڧԽֶशͨ͠΋ͷ (RLϙϦγʔ) Λݩʹɺճؼͯ͠࡞Δ 4-ϙϦγʔ 3-ϙϦγʔ ධՁؔ਺ 1. ڧԽֶश 2. ϥϯμϜعේੜ੒
 (3000ສہ໘) 3. ճؼ
19. ධՁؔ਺ͷଊ͑ํ • ϩʔϧΞ΢τʹΑΔউ཰ܭࢉΛิ͏΋ͷ • ୯ମͰ͸ͦ͜·Ͱڧ͘ͳ͍ • ධՁؔ਺ͷಛ௃ (ߟ࡯) • ʮڱ͘ਂ͍ಡΈʯʹڧ͍ • ʮRLϙϦγʔ(ڧԽֶश݁Ռ)Λऴہ·Ͱଧͨͤͨࡍͷউ཰ʯͱ౳Ձ • େہ؍͕ແ͍ • Ұຊಓ͔͠ಡ·ͳ͍ .$54ͷಛੑ
    େہ؍ʹ༏Εͯʮਂ͍ಡΈʯ͕ऑ͍
    ͱ
    ͏·͘ิ͍͍͋ͬͯΔ
20. ڧ͞ (2015/10࣌఺)
21. ڧ͞ (2016/3 ࣌఺) R3500+ ͷΠɾηυϧʹ׬উ
22. ࢀߟ • Mastering the game of Go with deep neural networks and tree search 
 (http://www.nature.com/nature/journal/v529/n7587/full/ nature16961.html) • Google AlphaGoͷ࢓૊ΈΛཧղ͢Δ | IT Leaders
 (http://it.impressbm.co.jp/articles/-/13474)
23. ऴΘΓ