[機械学習勉強会輪講] Mastering the Game of Go with Deep Neural Networks and Tree Search

AlphaGoの論文について、解説しました。

Transcript

1. Mastering the game of Go with deep neural networks and tree search @Shunter
2. About Paper ࿦จʹ͍ͭͯ
3. ࿦จʹ͍ͭͯ 4 2016೥1݄27೔ʹɺͦΕ·Ͱ͸ਓ޻ ஌ೳ͕উͭ͜ͱ͕೉͍͠ͱݴΘΕͯ ͍ͨޟʹ͓͍ͯɺ Google(DeepMind) ͕։ൃͨ͠ ʮAlphaGoʯ͕ϓϩΛഁͬͨɻ 4 ͦΕ·Ͱ௨ৗͷޟͰػց͕ϓϩʹউ ͬͨྫ͕ແ͘ɺউͭͷʹ10೥͔͔Δ ͱݴΘΕ͍ͯͨ͜ͱΛୡ੒ɻ 4 ຊ࿦จ͸͜ͷʮAlphGoʯʹ͍ͭͯ ͷ࿦จͰ͋Δɻ
4. ⚪ Background ⚫ എܠ
5. ͳͥޟ͸೉͍͠ͷ͔ʁ 4 ήʔϜͷ৘ใ͸ɺ ͱ͍͏Ձ஋ؔ਺ͰදݱͰ͖Δɻ 4 ͸ήʔϜͷঢ়ଶͰɺͦͷঢ়ଶ͔ΒՁ஋ʢήʔϜͷ݁ՌʣΛฦ͢ɻ 4 ήʔϜʹউͭʹ͸ɺՁ஋؍਺Λ࢖ͬͯɺ࠷దͳखΛ࠶ؼతʹܭࢉ͢ Ε͹͍͍ɻ 4 खॱ͸ɺ୳ࡧ໦Ͱදݱ͕Ͱ͖ɺͦͷେ͖͞͸ Ͱ͋Δɻ 4 : ࣍खͰબ୒Մೳͳީิͷ਺ʢ༿਺ʣ 4 : ήʔϜͷ௕͞ʢਂ͞ʣ
6. ͳͥޟ͸೉͍͠ͷ͔ʁ 4 : ࣍खͰબ୒Մೳͳީิͷ਺ʢ༿਺ʣ 4 : ήʔϜͷ௕͞ʢਂ͞ʣ 4 νΣε 4 4 4 ޟ 4 4 ! 4 શ෦୳͢ͷ͸ݱ࣮త͡Όͳ͍...
7. ୳ࡧྖҬΛݮΒͨ͢Ίͷ޻෉ 4 ํࡦؔ਺ Λ࢖ͬͯɺ༿਺Λ࡟ݮ 4 ঢ়ଶ ʹ͓͚ΔՄೳͳߦಈ ͷ֬཰෼෍ 4 ϞϯςΧϧϩ୳ࡧ໦(MCST) 4 ϥϯμϜʹਐΊͯΈͯɺٯࢉΛͯ͠ํࡦؔ ਺ͷ஋Λߋ৽ 4 AlphaGo·ͰͰ࠷ڧͷޟAI͸MCSTΛ࢖ͬͯ ͍ͨɻ 4 ͜Ε·ͰͷՁ஋ؔ਺ ɺٴͼํࡦؔ਺ ͸ઢܗ ܭࢉ 4 AlphaGo͸͜ΕΒͷؔ਺ΛDeep LearningͰֶशͤͨ͞ɻ
8. ⚪ Pipeline ⚫ ֶशύΠϓϥΠϯ
9. ֶशύΠϓϥΠϯ 4 ࣮σʔλ͔ΒֶͿʢڭࢣ͋Γʣ 4 : ؆қํࡦؔ਺(SLP1)ɺύϥ ϝʔλ 4 : ௨ৗํࡦؔ਺(SLP2)ɺύϥ ϝʔλ 4 AIಉ࢜ͰઓΘͤͯڧԽ 4 : ڧԽֶशํࡦؔ਺(RLP)ɺύ ϥϝʔλ 4 : Ձ஋ؔ਺ɺύϥϝʔλ
10. ⚪ Supervised leaerning of policy network ⚫ ڭࢣ͋Γֶश ํࡦؔ਺
12. ํࡦؔ਺ 4 ڭࢣσʔλΛݩʹֶश͞ΕΔNN 4 ৞ΈࠐΈ૚ ͱ ReNLU ͷަޓ 4 ࠷ޙ͸SoftmaxͰɺ࣍ʹଧͯΔ खͷ֬཰෼෍Λฦ͢ 4 ϥϯμϜͳ൫໘͔Β֬཰తޯ഑ ্ঢ๏(SGA)Ͱֶश
13. 2छྨͷํࡦؔ਺ : ڭࢣ͋Γֶशํࡦؔ਺ɺύϥϝʔλ 4 ύϑΥʔϚϯεॏࢹ 4 ҰճͷΞΫγϣϯΛ༧ଌ͢ΔͨΊʹɺ3ms 4 ਖ਼֬ੑ͸ 57.0% ʢઌߦ༧ଌثͰ͸44.4%͕࠷ߴʣ : ؆қํࡦؔ਺ɺύϥϝʔλ 4 ಛ௃ྔΛগͳ͘ɺ׆ੑԽؔ਺ʹ ReLUΛ࢖ͬͨ΋ͷ 4 ҰճͷΞΫγϣϯΛ༧ଌ͢ΔͨΊʹɺ2μs 4 ਖ਼֬ੑ͸ 24.2%
14. ⚪ Reinforcement learning of policy networks ⚫ ڧԽֶश ํࡦؔ਺
16. ڧԽֶश ํࡦؔ਺ 4 ઌ΄Ͳͷํࡦؔ਺ͷύϥϝʔλ Λෳ੡ 4 ৽ͨʹํࡦؔ਺ Λ࡞੒ 4 ํࡦؔ਺ಉ࢜Λ࢖ͬͯɺઓΘͤΔ 4 ରઓ૬ख͸աڈͷύϥϝʔλͷঢ়ଶ͔ΒϥϯμϜʹ 4 ϥϯμϜʹ͢Δ͜ͱͰաֶश๷ࢭ 4 ใुؔ਺ ΛԾఆɻ 4 : ਐߦ͍ͯ͠Δ࣌ؒ, : ֬ఆͨ࣌ؒ͠ 4 ࢼ߹ΛਐΊͯɺউ͕ͪ1, ෛ͚͕0 4 ࢼ߹͕֬ఆͨ͠Βใुؔ਺Λ࢖ͬͯɺḪͬͯ
17. ڧԽֶश ํࡦؔ਺ͷධՁ 4 ڭࢣ͋Γֶशͷํࡦؔ਺ ͱ͘Β΂ͯ 80% ͷউ཰ 4 KGS ୈ̎Ґͷ࣮ྗͷΦʔϓϯιʔεAIɺPachi ͱ΋ରܾ 4 MCS ϕʔεɻ̍ख͋ͨΓ10ສͷݕࡧɻ 4 RLP ͷউ཰͸ 85% (SLP͸ 11%)
18. ⚪ Reinforcement learning of value networks ⚫ ڧԽֶश Ձ஋ؔ਺
20. Ձ஋؍਺ 4 : ϙϦγʔpͷ࣌ʹ͋Δঢ়ଶ͔ΒɺউͯΔظ଴஋Λฦ͢ 4 ࣮ࡍʹ׬શͳՁ஋؍਺( )Λ࡞Δͷ͸೉͍͠ͷͰ ઌʹ࡞ͬͨ࠷ڧͷํ਑ؔ਺( )͔Βࢉग़ : 4 ύϥϝʔλ͸ : 4 ωοτϫʔΫߏ଄͸ɺํ਑ؔ਺ʹ͍͕ۙɺग़ྗ͕̍ͭɻ 4 ঢ়ଶ(s) ͱ ݁Ռ(z) ͷ૊Έ߹ΘͤΛڭࢣͱֶͯ͠शΛ͍ͯ͘͠ɻ
21. Ձ஋؍਺ͷֶशͷࣦഊ 4 ਓؒͷعේ͚ͩͰֶश͠Α͏ͱ͢Δͱɺաֶश͕ى͖΍͍͢ɻ 4 Ұ࿈ͷعේ͸࿈ଓ͓ͯ͠Γɺউͪෛ͚ͷ৘ใΛҰ؏ͯ͠อ͍࣋ͯ͠ ΔͨΊ 4 MSEֶ͕शσʔλͰ 19% ͕ͩ ݕূσʔλͰ 37% ͱͳͬͯ͠·ͬ ͨɻ 4 RLPͷعේ͔Β3000ສ݅ͷʮผࢼ߹ʯͷ(s,z)ηοτΛநग़ 4 MSEֶ͕शσʔλͰ22.6%, ݕূ༻σʔλͰ 23.4% 4 ̎ͭʹ͕ࠩগͳ͍ͷͰաֶश͍ͯ͠ͳ͍ɻ
22. ⚪ Searching with policy and value networks ⚫ ํ਑ͱՁ஋ؔ਺ʹΑΔݕࡧ
23. ݕࡧํ๏ جຊతʹ͸MCTSɻ̐ͭͷϑΣʔζʹผΕΔɻ 4 બ୒ɺ֦ுɺධՁɺอଘ
24. બ୒ ( Selection ) 4 ߦಈՁ஋ؔ਺QͱϘʔφεؔ਺ͷ߹ܭ͕࠷େʹͳΔ΋ͷΛબͿɻ 4 Ϙʔφεؔ਺͸ɺͦͷঢ়ଶͷ֬཰( )ͱ๚໰ճ਺( )Ͱܾ·Δɻ : ڭࢣ͋Γֶशͷํࡦؔ਺ 4 ๚໰ճ਺͕૿͑Δ΄ͲɺP͕ݮ͍ͬͯ͘ͷ͸ɺ֦ுΛଅਐ͢ΔͨΊ
25. ֦ுͱධՁ ( Expantion & Evaluation ) 4 ͕ࠓ·ͰγϛϡϨʔγϣϯͨ͜͠ͱͳ͍( )ͩͬͨ৔߹ʹ ͸ɺ༿Λ֦ு͢Δɻ 4 ֦ுͨ͋͠ͱʹɺͦͷ୺ʹ͍ͭͯධՁΛߦ͏ɻ(ධՁؔ਺ ) 4 ͸ ؆қํࡦؔ਺ Λ࢖ͬͯઓΘͤͨ݁Ռ[0,1] 4 ύϥϝʔλ Λ࢖ͬͯɺՁ஋؍਺ͱૉૣ͍γϛϡϨʔγϣϯʹΑΔ݁ՌΛ ࠞͥ͋Θ͍ͤͯΔɻ
26. อଘ ( Backup ) 4 γϛϡϨʔγϣϯ͕ऴΘͬͨΒɺ֤༿ϊʔυͷؔ਺Λߋ৽͍ͯ͘͠ɻ 4 ๚໰ճ਺ͱߦಈՁ஋؍਺Qͷߋ৽ ͸ ճ໨ʹ Λ௨͔ͬͨͲ͏͔ɻ[1,0] γϛϡϨʔγϣϯ͕ऴΘͬͨஈ֊Ͱɺϧʔτ͔Β ͕Ұ൪େ͖͍$$a$ߦಈΛબ୒͢Δɻ
27. ิ଍ 4 ͷܭࢉ͸ ΑΓ ͷ΄͏͕ྑ͍ 4 ͷܭࢉ͸ٯɻ ΑΓ ͷ΄͏͕ྑ͍ɻ 4 ͸࠷దͳ̍खΛ୳͢΂͘࠷దԽ͞Ε͓ͯΓɺ֬཰෼෍ͱͯ͠͸͔ͨΑΔɻ 4 ͸ਓؒͷଧͬͨखͷू߹Ͱ͋Γɺଧͪͦ͏ͳखΛΑΓද͍ͯ͠Δɻ 4 MCTS ͷγϛϡϨʔγϣϯ͸CPUͰඇಉظϚϧνεϨου࣮ߦ 4 Ձ஋؍਺΍ํࡦؔ਺͸GPUͰฒߦͰॲཧ͍ͯ͠Δɻ 4 AlphaGo ͸ 40εϨουɺ48CPUs, 8GPUs 4 ෼ࢄAlphaGo ͸ 40εϨουɺ1202CPUsɺ176GPUs
28. ⚪ How Strong Alpha Go is ⚫ ݁Ռ
29. ΠϩϨʔτ (WikipediaΑΓ) 4 ήʔϜͷ݁Ռ͸ҰํͷউͪɺҰํͷෛ͚ͷΈͱ͠ɺҾ͖෼͚͸ߟྀ͠ͳ͍ʢ0.5উ0.5ഊͱѻ͏ ΋ͷͱ͢Δʣɻ 4 200఺ͷϨʔτ͕ࠩ͋ΔରہऀؒͰ͸ɺϨʔτͷߴ͍ଆ͕໿76ύʔηϯτͷ֬཰Ͱউར͢Δɻ 4 ฏۉతͳରہऀͷϨʔτΛ1500ͱ͢Δɻ 4 ͸ఆ਺஋Ͱ͋ΓɺϓϩϨϕϧͰ͸16ɺ௨ৗ͸32ΛͱΔ͜ͱ͕ଟ͍ɻ
30. ͍ΖΜͳGoͷϓϩάϥϜͱͷൺֱ
31. ͍ΖΜͳGoͷϓϩάϥϜͱͷൺֱ
32. ωοτϫʔΫͷ༗ແʹΑΔൺֱ
33. ΞʔΩςΫνϟʹΑΔൺֱ
34. ⚪ ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ ⚫