AlphaGoの論文について

AlphaGoの論文「Mastering the game of Go with deep neural networks and tree search」について発表した際の資料です。

Transcript

1. Mastering the game of Go with deep neural networks and tree search @Shunter
2. About Myself ࣗݾ঺հ
3. ࣗݾ঺հ 4 ໊લ 4 ݹ઒ढ़ଠ 4 ৬ۀ 4 גࣜձࣾ NTTυίϞ 4 ৽نࣄۀ։ൃ 4 ษڧձࢀՃ΁ͷಈػ 4 ৽نϏδωεʹਓ޻஌ೳ ͷՄೳੑΛײ͓ͯ͡Γɺ ͖ͪΜͱཧղΛ͍ͨͨ͠ Ίɻ
4. About Paper ࿦จʹ͍ͭͯ
5. ࿦จʹ͍ͭͯ 4 2016೥1݄27೔ʹɺͦΕ·Ͱ ͸ਓ޻஌ೳ͕উͭ͜ͱ͕೉͠ ͍ͱݴΘΕ͍ͯͨޟʹ͓͍ ͯɺGoogle(DeepMind) ͕ ։ൃͨ͠ʮAlphaGoʯ͕ϓ ϩΛഁͬͨɻ 4 ͦΕ·Ͱ௨ৗͷޟͰػց͕ϓ ϩʹউͬͨྫ͕ແ͘ɺউͭͷ ʹ10೥͔͔ΔͱݴΘΕ͍ͯͨ ͜ͱΛୡ੒ɻ 4 ຊ࿦จ͸͜ͷʮAlphGoʯʹ ͍ͭͯͷ࿦จͰ͋Δɻ
6. ⚪ Background ⚫ എܠ
7. ͳͥޟ͸೉͍͠ͷ͔ʁ 4 ήʔϜͷ৘ใ͸ɺ ͱ͍͏Ձ஋ؔ਺ͰදݱͰ͖Δɻ 4 ͸ήʔϜͷঢ়ଶͰɺͦͷঢ়ଶ͔ΒՁ஋ʢήʔϜͷ݁ ՌʣΛฦ͢ɻ 4 ήʔϜʹউͭʹ͸ɺՁ஋؍਺Λ࢖ͬͯɺ࠷దͳखΛ࠶ؼ తʹܭࢉ͢Ε͹͍͍ɻ 4 खॱ͸ɺ୳ࡧ໦Ͱදݱ͕Ͱ͖ɺͦͷେ͖͞͸ Ͱ͋Δɻ 4 : ࣍खͰબ୒Մೳͳީิͷ਺ʢ༿਺ʣ 4 : ήʔϜͷ௕͞ʢਂ͞ʣ
8. ͳͥޟ͸೉͍͠ͷ͔ʁ 4 : ࣍खͰબ୒Մೳͳީิͷ਺ʢ༿਺ʣ 4 : ήʔϜͷ௕͞ʢਂ͞ʣ 4 νΣε 4 4 4 ޟ 4 4 ! 4 શ෦୳͢ͷ͸ݱ࣮త͡Όͳ͍...
9. ୳ࡧྖҬΛݮΒͨ͢Ίͷ ޻෉ 4 ํࡦؔ਺ Λ࢖ͬͯɺ༿਺Λ࡟ݮ 4 ঢ়ଶ ʹ͓͚ΔՄೳͳߦಈ ͷ֬཰ ෼෍ 4 ϞϯςΧϧϩ୳ࡧ໦(MCST) 4 ϥϯμϜʹਐΊͯΈͯɺٯࢉΛ͠ ͯํࡦؔ਺ͷ஋Λߋ৽ 4 AlphaGo·ͰͰ࠷ڧͷޟAI͸MCST Λ࢖͍ͬͯͨɻ 4 ͜Ε·ͰͷՁ஋ؔ਺ ɺٴͼํࡦؔ਺ ͸ઢܗܭࢉ 4 AlphaGo͸͜ΕΒͷؔ਺ΛDeep LearningͰֶशͤͨ͞ɻ
10. ⚪ Pipeline ⚫ ֶशύΠϓϥΠϯ
11. ֶशύΠϓϥΠϯ 4 ࣮σʔλ͔ΒֶͿʢڭࢣ͋ Γʣ 4 : ؆қํࡦؔ਺(SLP1)ɺ ύϥϝʔλ 4 : ௨ৗํࡦؔ਺ (SLP2)ɺύϥϝʔλ 4 AIಉ࢜ͰઓΘͤͯڧԽ 4 : ڧԽֶशํࡦؔ਺ (RLP)ɺύϥϝʔλ 4 : Ձ஋ؔ਺ɺύϥϝʔλ
12. ⚪ Supervised leaerning of policy network ⚫ ڭࢣ͋Γֶश ํࡦؔ਺
14. ํࡦؔ਺ 4 ڭࢣσʔλΛݩʹֶश͞ΕΔ NN 4 ৞ΈࠐΈ૚ ͱ ReNLU ͷަ ޓ 4 ࠷ޙ͸SoftmaxͰɺ࣍ʹ ଧͯΔखͷ֬཰෼෍Λฦ͢ 4 ϥϯμϜͳ൫໘͔Β֬཰త ޯ഑্ঢ๏(SGA)Ͱֶश
15. 2छྨͷํࡦؔ਺ : ڭࢣ͋Γֶशํࡦؔ਺ɺύϥϝʔλ 4 ύϑΥʔϚϯεॏࢹ 4 ҰճͷΞΫγϣϯΛ༧ଌ͢ΔͨΊʹɺ3ms 4 ਖ਼֬ੑ͸ 57.0% ʢઌߦ༧ଌثͰ͸44.4%͕࠷ߴʣ : ؆қํࡦؔ਺ɺύϥϝʔλ 4 ಛ௃ྔΛগͳ͘ɺ׆ੑԽؔ਺ʹ ReLUΛ࢖ͬͨ΋ͷ 4 ҰճͷΞΫγϣϯΛ༧ଌ͢ΔͨΊʹɺ2μs 4 ਖ਼֬ੑ͸ 24.2%
16. ⚪ Reinforcement learning of policy networks ⚫ ڧԽֶश ํࡦؔ਺
18. ڧԽֶश ํࡦؔ਺ 4 ઌ΄Ͳͷํࡦؔ਺ͷύϥϝʔλ Λෳ੡ 4 ৽ͨʹํࡦؔ਺ Λ࡞੒ 4 ํࡦؔ਺ಉ࢜Λ࢖ͬͯɺઓΘͤΔ 4 ରઓ૬ख͸աڈͷύϥϝʔλͷঢ়ଶ͔ΒϥϯμϜʹ 4 ϥϯμϜʹ͢Δ͜ͱͰաֶश๷ࢭ 4 ใुؔ਺ ΛԾఆɻ 4 : ਐߦ͍ͯ͠Δ࣌ؒ, : ֬ఆͨ࣌ؒ͠ 4 ࢼ߹ΛਐΊͯɺউ͕ͪ1, ෛ͚͕0 4 ࢼ߹͕֬ఆͨ͠Βใुؔ਺Λ࢖ͬͯɺḪͬͯ
19. ڧԽֶश ํࡦؔ਺ͷධՁ 4 ڭࢣ͋Γֶशͷํࡦؔ਺ ͱ͘Β΂ͯ 80% ͷউ ཰ 4 KGS ୈ̎Ґͷ࣮ྗͷΦʔϓϯιʔεAIɺPachi ͱ΋ରܾ 4 MCS ϕʔεɻ̍ख͋ͨΓ10ສͷݕࡧɻ 4 RLP ͷউ཰͸ 85% (SLP͸ 11%)
20. ⚪ Reinforcement learning of value networks ⚫ ڧԽֶश Ձ஋ؔ਺
22. Ձ஋؍਺ 4 : ϙϦγʔpͷ࣌ʹ͋Δঢ়ଶ͔ΒɺউͯΔظ଴஋Λฦ͢ 4 ࣮ࡍʹ׬શͳՁ஋؍਺( )Λ࡞Δͷ͸೉͍͠ͷͰ ઌʹ࡞ͬͨ࠷ڧͷํ਑ؔ਺ ( )͔Βࢉग़ : 4 ύϥϝʔλ͸ : 4 ωοτϫʔΫߏ଄͸ɺํ਑ؔ਺ʹ͍͕ۙɺग़ྗ͕̍ͭɻ 4 ঢ়ଶ(s) ͱ ݁Ռ(z) ͷ૊Έ߹ΘͤΛڭࢣͱֶͯ͠शΛ͍ͯ͘͠ɻ
23. Ձ஋؍਺ͷֶशͷࣦഊ 4 ਓؒͷعේ͚ͩͰֶश͠Α͏ͱ͢Δͱɺաֶश͕ى͖΍͢ ͍ɻ 4 Ұ࿈ͷعේ͸࿈ଓ͓ͯ͠Γɺউͪෛ͚ͷ৘ใΛҰ؏ͯ͠อ ͍࣋ͯ͠ΔͨΊ 4 MSEֶ͕शσʔλͰ 19% ͕ͩ ݕূσʔλͰ 37% ͱͳͬ ͯ͠·ͬͨɻ 4 RLPͷعේ͔Β3000ສ݅ͷʮผࢼ߹ʯͷ(s,z)ηοτΛநग़ 4 MSEֶ͕शσʔλͰ22.6%, ݕূ༻σʔλͰ 23.4% 4 ̎ͭʹ͕ࠩগͳ͍ͷͰաֶश͍ͯ͠ͳ͍ɻ
24. ⚪ Searching with policy and value networks ⚫ ํ਑ͱՁ஋ؔ਺ʹΑΔݕࡧ
25. ݕࡧํ๏ جຊతʹ͸MCTSɻ̐ͭͷϑΣʔζʹผΕΔɻ 4 બ୒ɺ֦ுɺධՁɺอଘ
26. બ୒ ( Selection ) 4 ߦಈՁ஋ؔ਺QͱϘʔφεؔ਺ͷ߹ܭ͕࠷େʹͳΔ΋ͷΛબͿɻ 4 Ϙʔφεؔ਺͸ɺͦͷঢ়ଶͷ֬཰( )ͱ๚໰ճ਺( )Ͱܾ·Δɻ : ڭࢣ͋Γֶशͷํࡦؔ਺ 4 ๚໰ճ਺͕૿͑Δ΄ͲɺP͕ݮ͍ͬͯ͘ͷ͸ɺ֦ுΛଅਐ͢Δͨ Ί
27. ֦ுͱධՁ ( Expantion & Evaluation ) 4 ͕ࠓ·ͰγϛϡϨʔγϣϯͨ͜͠ͱͳ͍( )ͩ ͬͨ৔߹ʹ͸ɺ༿Λ֦ு͢Δɻ 4 ֦ுͨ͋͠ͱʹɺͦͷ୺ʹ͍ͭͯධՁΛߦ͏ɻ(ධՁؔ਺ ) 4 ͸ ؆қํࡦؔ਺ Λ࢖ͬͯઓΘͤͨ݁Ռ[0,1] 4 ύϥϝʔλ Λ࢖ͬͯɺՁ஋؍਺ͱૉૣ͍γϛϡϨʔγϣ ϯʹΑΔ݁ՌΛࠞͥ͋Θ͍ͤͯΔɻ
28. อଘ ( Backup ) 4 γϛϡϨʔγϣϯ͕ऴΘͬͨΒɺ֤༿ϊʔυͷؔ਺Λߋ৽͍ͯ͘͠ɻ 4 ๚໰ճ਺ͱߦಈՁ஋؍਺Qͷߋ৽ ͸ ճ໨ʹ Λ௨͔ͬͨͲ͏͔ɻ[1,0] γϛϡϨʔγϣϯ͕ऴΘͬͨஈ֊Ͱɺϧʔτ͔Β ͕Ұ൪େ͖͍$ $a$ߦಈΛબ୒͢Δɻ
29. ิ଍ 4 ͷܭࢉ͸ ΑΓ ͷ΄͏͕ྑ͍ 4 ͷܭࢉ͸ٯɻ ΑΓ ͷ΄͏͕ྑ͍ɻ 4 ͸࠷దͳ̍खΛ୳͢΂͘࠷దԽ͞Ε͓ͯΓɺ֬཰෼෍ͱͯ͠͸ ͔ͨΑΔɻ 4 ͸ਓؒͷଧͬͨखͷू߹Ͱ͋Γɺଧͪͦ͏ͳखΛΑΓද͍ͯ͠ Δɻ 4 MCTS ͷγϛϡϨʔγϣϯ͸CPUͰඇಉظϚϧνεϨου࣮ߦ 4 Ձ஋؍਺΍ํࡦؔ਺͸GPUͰฒߦͰॲཧ͍ͯ͠Δɻ 4 AlphaGo ͸ 40εϨουɺ48CPUs, 8GPUs 4 ෼ࢄAlphaGo ͸ 40εϨουɺ1202CPUsɺ176GPUs
30. ⚪ How Strong Alpha Go is? ⚫ ݁Ռ
31. ΠϩϨʔτ (WikipediaΑΓ) 4 ήʔϜͷ݁Ռ͸ҰํͷউͪɺҰํͷෛ͚ͷΈͱ͠ɺҾ͖෼͚͸ߟྀ͠ͳ͍ ʢ0.5উ0.5ഊͱѻ͏΋ͷͱ͢Δʣɻ 4 200఺ͷϨʔτ͕ࠩ͋ΔରہऀؒͰ͸ɺϨʔτͷߴ͍ଆ͕໿76ύʔηϯ τͷ֬཰Ͱউར͢Δɻ 4 ฏۉతͳରہऀͷϨʔτΛ1500ͱ͢Δɻ 4 ͸ఆ਺஋Ͱ͋ΓɺϓϩϨϕϧͰ͸16ɺ௨ৗ͸32ΛͱΔ͜ͱ͕ଟ͍ɻ
32. ͍ΖΜͳGoͷϓϩάϥϜͱͷൺֱ
33. ͍ΖΜͳGoͷϓϩάϥϜͱͷൺֱ
34. ωοτϫʔΫͷ༗ແʹΑΔൺֱ
35. ΞʔΩςΫνϟʹΑΔൺֱ
36. ⚪ ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ ⚫