マイクロソフト発の麻雀AIの論文「Suphx: Mastering Mahjong with Deep Reinforcement Learning」 について

マイクロソフト発の麻雀AIの論文「Suphx: Mastering Mahjong with Deep Reinforcement Learning」 についての解説

Transcript

1. 剑䓼ך띾ꦾ"*չ4VQIYպך鍑铡 埆㽵 ⥜䎂 !MZBLBBQ
2. כׄ׭ח • 4VQIY
   .BTUFSJOH
   .BIKPOH
   XJUI
   %FFQ
   3FJOGPSDFNFOU
   -FBSOJOH IUUQTBSYJWPSHBCT ׾铣׿׌ךד鍑铡׃תׅ • و؎ؙٗاؿزך灇瑔ث٦يח״׷锷俑 • طحز띾ꦾ؜٦ي㣓뒉ד띾ꦾ"*ⴱך⼧媮麦䧭♳⡘ • 띾ꦾךٕ٦ٕח鑫׃ֻזֻג׮椚鍑דֹ׷״ֲחծ䪮遭涸ז銲稆ח ꅾֹ׾縧ְ׋鍑铡חז׷ַה䙼׻׸תׅ 
3. ⵸䲿 
4. 띾ꦾחאְג • ⴓ겲♳כչ㢳➂侧♶㸣Ⰻ䞔㜠؜٦يպ • فٖ؎َ٦ַ׵鋅ִגְזְ䞔㜠ָ֮׷؜٦ي • ه٦ؕ٦׮ֿ׸ • ٕ٦ָٕ醱꧟ • 麊ך銲稆ַָז׶窃׬ • 䓼ְ䓲ְך鐰⣣ָ㣐㢌 
5. 띾ꦾךٕ٦ٕ馄ׂ׏ֻ׶  • 㔊➂ד挿侧׾㤽ְさֲ • ؜٦ي穄✪儗ך䭯׍挿ָ넝ְ➂קו♳ך갫⡘ח • 醱侧ךٓؐٝس㽷הㄎל׸׷ָ֮׷ • ٓؐٝس׀הח挿侧ך㟓幾ָ涪欰 • 窩さ׻ׇػؤٕ׾♳䩛חװ׷ה⸇挿 https://tenhou.net/
6. 4VQIYך嚊銲 
7. 䩛岀ך銲秈 • 醱侧ך殴׫鴥׫صُ٦ٕٓطحزٙ٦ؙ$//׾欽ְ׷ • 㷕统ך崧׸  ➂꟦ךفٖ؎ر٦ة׾⢪׏ג侄䌌֮׶㷕统  ̔
   荈䊹㼎䨌ח״׷䓼⻉㷕统דׁ׵ח䓼ֻ • ئַٗ׵䓼⻉㷕统ׅ׷״׶׮㷕统ָ㸜㹀 • 䓼⻉㷕统ח띾ꦾךسً؎ٝ暴䚍ח䘔ׄ׋䊨㣗׾⸇ִ׷ 
8. 4VQIYך⚥魦 
9. 4VQIYך⚥魦 • 띾ꦾך⚺銲ז،ؙءّٝ䰍ג晤鼅䫛٥هٝ٥ث٦٥ؕٝ٥ٔ٦ث • ׉׸׊׸ך،ؙءّٝⴻ倖׾䬐䔲ׅ׷杝甧׃׋$//ٌرٕ׾׮א • ٌرٕ圓鸡כקר♧筰Ⰵ⸂ך暴䗙ꆀָ蕯䎁殯ז׷ • Ⰵ⸂湍꬗ך朐䡾 • ⳿⸂չ֮׷،ؙءّٝ׾《׷ַやַպ  䰍ג晤 هٝ ث٦ ؕٝ ٔ٦ث 湍꬗ ؒٝ؝٦س Ⰵ⸂ 4VQIY ⳿⸂
10. ٌرٕךⰅ⸂暴䗙ꆀ⡲䧭 • 띾ꦾדכչ♲٥㔊٥✿պך״ֲח鸬竲׃׋侧㶵ך晤׾䲧ִ׷ה㴍׃ְ • 晤ך侧㶵ך鸬竲ꟼ⤘ָ䠐㄂׾䭯א ̔
    䩛䭯׍ך晤זוך湍꬗ך䞔㜠׾♴㔳ך״ֲחؒٝ؝٦س  䩛䭯׍ך晤 ♧卐⟃♳䨽䭯 ✳卐⟃♳䨽䭯 ♲卐⟃♳䨽䭯 㔊卐⟃♳䨽䭯
11. ٌرٕךⰅ⸂暴䗙ꆀ⡲䧭  䩛䭯׍ך晤 ♧卐⟃♳䨽䭯 ✳卐⟃♳䨽䭯 ♲卐⟃♳䨽䭯 㔊卐⟃♳䨽䭯 –ך殴׫鴥׫ • ٌرٕך鎘皾儗חכ♴㔳ך״ֲח殴׫鴥ת׸׷˟ ˟ז׈簚倯ぢ׮罋䣁׃׋殴׫鴥׫ח׃זַ׏׋ךַכ♶僇
12. ➭ך暴䗙ꆀ • 뒊ַ׸גְ׷晤 • سٓ • 䰍ג晤 • 䭯׍挿 •  • MPPLBIFBE
    GFBUVSF如ل٦آד铡僇  ˟ 暴䗙ꆀך侧כⰋ鿇ד_⦐玎䏝
13. 暴䗙ꆀ-PPLBIFBE
    GFBUVSF • ֮׷䩛䭯׍ך晤׾❛䳔׃׋הֹח וךּ׵ְך挿侧׾וךּ׵ְך然桦ד栻䖤דֹ׉ֲַ • ⢽匌׾䰍ג׋㜥さծ挿׾ծ挿׾ד،ؖ׸׉ֲ • 2וֲװ׏ג鎘皾ׅ׷ך • "֮׶ֲ׷،ؖٔךػة٦ٝ׾帾ׁ⮚⯓䱱稊ד実׭׷ • 㼎䨌湱䩛ך遤⹛כ搀鋔׃גծ荈ⴓך䩛䭯׍ך晤׌ֽ罋䣁  ،ؖ׷䩛׾㸣䧭ׇׁ׷ֿהד挿侧׾栻䖤ׅ׷遤捀
14. 4VQIYךٌرٕ圓鸡  䰍ג晤鼅䫛ٌرٕ هٝ٥ث٦٥ؕٝ٥ٔ٦ثٌرٕ https://dmv.nico/ja/articles/mahjong_ai_naga/ 
    PS
    
15. 㷕统،ٕ؞ٔؤي 
16. 㷕统ך崧׸  ➂꟦ךفٖ؎ر٦ة׾⢪׏ג侄䌌֮׶㷕统 • 暴ח㢌׻׏׋ֿהכ׃גְזְךדⶴ䠥  ̔
    荈䊹㼎䨌ח״׷䓼⻉㷕统דׁ׵ח䓼ֻ • %JTUSJCVUFE
    3FJOGPSDFNFOU
    -FBSOJOH • 1PMJDZ
    HSBEJFOU • *NQPSUBODF
    TBNQMJOH • &OUSPQZ
    SFHVMBSJ[BUJPO • (MPCBM
    3FXBSE
    1SFEJDUJPO • 0SBDMF
    (VJEJOH • 1BSBNFUSJD
    .POUF$BSMP
    1PMJDZ
    "EBQUBUJPOֿ׸搀׃ד⼧媮ז׏ג׷ 
17. • %JTUSJCVUFE
    3FJOGPSDFNFOU
    -FBSOJOH • 1PMJDZ
    HSBEJFOU • *NQPSUBODF
    TBNQMJOH • &OUSPQZ
    SFHVMBSJ[BUJPO • (MPCBM
    3FXBSE
    1SFEJDUJPO • 0SBDMF
    (VJEJOH 
18. %JTUSJCVUFE
    3FJOGPSDFNFOU
    -FBSOJOHⴓ侔ءأذيך嚊銲 • 4FMGQMBZ
    XPSLFST • ؜٦يךءىُٖ٦ة٦$16؟٦غ٦ • 䱿锷ؒٝآٝ(16؟٦غ٦ • 1BSBNFUFS
    TFSWFS • 剑倜ך倯瘻ٌرٕךػًٓ٦ة • 麓⿠ךٔفٖ؎غحؿ؋ 
19. %JTUSJCVUFE
    3FJOGPSDFNFOU
    -FBSOJOH倯瘻ך栻䖤 • 倯瘻⺟ꂁ岀ك٦أ • ꅾ挿؟ٝفؚٔٝהؒٝزٗؾ٦姻⵱⻉׾遤ֲֿהד㷕统׾⤛鹌  麓⿠ח֮ת׶䱱稊׃גְזְהֿ׹׾ ⮚⯓׃ג䱱稊ׅ׷״ֲחׅ׷ ٌثك٦ءّٝ倯瘻חְְ䠬ׄךغٓ ٝأךٓٝتي䚍׾䭯׋ׇ׋ְ ؒٝزٗؾ٦ָ㼭ֺׁׅ׷ ̔
    寸ת׏׋遤⹛׃ַ《׵זֻז׷ךד㽷 䨽鍑חכת׏ג׃תֲ ؒٝزٗؾ٦ָ㣐ֹֺׅ׷ ̔
    ⽃秪ח㷕统ָ㸜㹀׃זְ ꅾ挿؟ٝفؚٔٝ ؒٝزٗؾ٦姻⵱⻉
20. %JTUSJCVUFE
    3FJOGPSDFNFOU
    -FBSOJOHؔؿٓ؎ٝ鐰⣣ • 䓼⻉㷕统ח״׏גչ侄䌌֮׶㷕统ך׫պךהֹ״׶׮䓼ֻז׏׋ • ˟㸜㹀媮⡘䓼ׁ׾邌ׅ䭷垥דծ넝ְקו䓼ְ  侄䌌֮׶㷕统ך׫ 㸜㹀媮⡘ 䓼⻉㷕统
21. • %JTUSJCVUFE
    3FJOGPSDFNFOU
    -FBSOJOH • 1PMJDZ
    HSBEJFOU • *NQPSUBODF
    TBNQMJOH • &OUSPQZ
    SFHVMBSJ[BUJPO • (MPCBM
    3FXBSE
    1SFEJDUJPO • 0SBDMF
    (VJEJOH 
22. (MPCBM
    3FXBSE
    1SFEJDUJPOٌثك٦ءّٝ • 띾ꦾךٕ٦ٕ_ٓؐٝس㽷嶊⻉䖓ך剑穄أ؝،ד갫⡘寸㹀 • 㣓뒉ך㜥さծ갫⡘ח䘔ׄג㜠ꂹه؎ٝزָ䖤׵׸׷ • ⢽♧⡘
    QU
    ✳⡘
    QU
    ♲⡘
    QU
    㔊⡘
    QU • 剑穄갫⡘ח״׷㜠ꂹ׾ؿ؍٦سغحؙה׃ג⢪欽׃׋㜥さ ♳䩛חفٖ؎דֹ׋ٓؐٝسה׉ֲדזְٓؐٝس׾⼒ⴽדֹזְ • ٓؐٝس׀הךأ؝،㟓幾׾ؿ؍٦سغحؙה׃׋㜥さ أ؝،׾幾׵ׅչ葺ְ،ؙءّٝպָ㶷㖈ׅ׷׋׭˟姻䔲ח،ؙءّٝך葺 ׃䝤׃׾鐰⣣דֹזְ ̔
    葺ְ䠬ׄךؿ؍٦سغحָؙדֹזְַ  ˟زحف׾然㹀ׇׁ׷׋׭ח剑穄ٓؐٝسד佦䠐ח䮶׶鴥׬ זו
23. (MPCBM
    3FXBSE
    1SFEJDUJPO • ٓؐٝس׀הח؜٦يך剑穄涸ז㜠ꂹ׾鋅琎׮׷✮庠ٌرٕ׾㼪Ⰵ HMPCBM
    SFXBSE
    QSFEJDUPS • ٌرٕכ✳㾴ך(36ה.-1ח״׏ג圓䧭 • 㹋ꥷךفٖ؎ر٦ة׾׮הח㷕统 üֿ׸ח״׶ٓؐٝس׀הך㜠ꂹ׾黝ⴖח鋅琎׮׷ֿהָ〳腉 • 植㖈ךٓؐٝسה⵸ٓؐٝسך✮庠⦼ך䊴׾ծ植㖈ךٓؐٝسך 㜠ꂹה׃ג欽ְ׷ 
24. (MPCBM
    3FXBSE
    1SFEJDUJPOٌرٕ圓鸡  剑ⴱךٓؐٝسַ׵植㖈ךٓؐٝسתדך䞔㜠ך禸⴨
25. (MPCBM
    3FXBSE
    1SFEJDUJPO
    ؔؿٓ؎ٝ鐰⣣ • 㷕统ח׍ׯ׿ה顀柃׃גְ׷ֿהָⴓַ׷  侄䌌֮׶㷕统ך׫ 㸜㹀媮⡘ 䓼⻉㷕统 䓼⻉㷕统
    (MPCBM
    3FXBSE
    1SFEJDUJPO
26. • %JTUSJCVUFE
    3FJOGPSDFNFOU
    -FBSOJOH • 1PMJDZ
    HSBEJFOU • *NQPSUBODF
    TBNQMJOH • &OUSPQZ
    SFHVMBSJ[BUJPO • (MPCBM
    3FXBSE
    1SFEJDUJPO • 0SBDMF
    (VJEJOH 
27. 0SBDMF
    (VJEJOH • 띾ꦾדכفٖ؎َ٦ָ鋅׷ֿהָדֹזְ䞔㜠ְָ׏םְ֮׷ • ֿ׸ָؒ٦آؑٝزך㷕统׾ꨇ׃ֻ׃גְ׷銲㔓 • ׉ֿד㷕统أؾ٦س׾鸞׭׷׋׭חծⰋגך䞔㜠׾鋅׷ֿהָ דֹ׷չؙٕؔٓպד㷕统׾酡⸔ • ♧➂׌ֽ㸣Ⰻ䞔㜠؜٦ي朐䡾 • דכؙٕؔٓ׾וֲװ׏גⵃ欽ׅ׷ךַ 
28. 0SBDMF
    (VJEJOHؙٕؔٓךⵃ欽倯岀 • ַؙٕؔٓ׵鋅ִגְ׷䞔㜠׾㷕统ך鹌遤ח䘔ׄג媮ղהꦀ׃גְֻ • 剑穄涸חכ鸐䌢ךؒ٦آؑٝزהずׄ朐䡾חז׷ • 襑殅כ♳䩛ֻ遤ַזַ׏׋׵׃ְ  Ⰻ鿇鋅ִ׷ 鸐䌢הずׄ 㷕统ך穗麓
29. 0SBDMF
    (VJEJOH
    ؔؿٓ؎ٝ鐰⣣ • 䗍䊴דכ֮׷׮ךך㷕统ח׍ׯ׿ה顀柃׃גְ׷  侄䌌֮׶㷕统ך׫ 㸜㹀媮⡘ 䓼⻉㷕统 䓼⻉㷕统
    (MPCBM
    3FXBSE
    1SFEJDUJPO 䓼⻉㷕统
    (MPCBM
    3FXBSE
    1SFEJDUJPO
    0SBDMF
    (VJEJOH
30. ؔٝٓ؎ٝ鐰⣣ 
31. ؔٝٓ؎ٝ鐰⣣ • 㹋ꥷך䚍腉׾鐰⣣ׅ׷׋׭חؔٝٓ؎ٝ띾ꦾ؟؎زך㣓뒉׾⢪׏ג 鐰⣣׾遤׏׋ • 穠卓ה׃גכ傀㶷ך띾ꦾ"*ֶ״ן➂꟦ךزحففٖ؎َ٦׾㣐ֹֻ ♳㔐׷䚍腉׾爙׃׋ 
32. ؔٝٓ؎ٝ鐰⣣ • ׁ׵ח⼧媮חⵋ麦ծ➂꟦فٖ؎َ٦ך״׶♳ך㹋⸂׾爙׃׋ 
33. תה׭ 
34. תה׭ • و؎ؙٗاؿز涪ך띾ꦾ"*չ4VQIYպָ㣓뒉⼧媮׾麦䧭 • 圫ղז䊨㣗ד㷕统ך㸜㹀⻉װ䚍腉ぢ♳ • 侄䌌֮׶㷕统̔䓼⻉㷕统 • 䓼⻉㷕统ח띾ꦾךسً؎ٝ暴䚍ח䘔ׄ׋䊨㣗׾⸇ִ׋