DeepRacerで学ぶ機械学習 1.1

Developers.IO 2019 TOKYOで発表した資料です。
Developers.IO 2019 OSAKAで発表したものをマイナーアップデートした内容です。
https://speakerdeck.com/tandfy/deepracerdeshi-meruji-jie-xue-xi

Transcript

1. DNEFWJP
   DNEFWJP)
   %FFQ3BDFSͰ࢝ΊΔػցֶश σʔλΞφϦςΟΫεࣄۀຊ෦
   ΠϯςάϨʔγϣϯ෦
   େᖒ
   ༐ే
2. ࣗݾ঺հ  େᖒ
   ༐ే σʔλΞφϦςΟΫεࣄۀຊ෦
   ΠϯςάϨʔγϣϯ෦
   ػցֶशνʔϜ
   ΤϯδχΞ
   !
   େࡕ
   %FFQ3BDFSྺ
   ൒೥͘Β͍
3. ࠓ೔࿩͢͜ͱ  w"84
   %FFQ3BDFSͱ͸
   wػցֶशͱ͸
   w"84ʹ͓͚Δػցֶश
   w"84
   %FFQ3BDFSͰԿΛͲ͏ֶ΂Δͷ͔
   wػցֶशΛΑΓֶͿͨΊʹ
   w"84
   %FFQ3BDFSΛ΍ͬͯΈΔ
4. DNEFWJP
   DNEFWJP)  "84
   %FFQ3BDFSͱ͸
5. DNEFWJP
   DNEFWJP)  https://aws.amazon.com/jp/deepracer/
6. "84
   %FFQ3BDFS  "84্ͰϞσϧΛֶशͤͯ͞ɺϥδίϯͰࣗಈӡస
   wϚωδϝϯτίϯιʔϧ͔ΒϞσϧΛֶश
   wεέʔϧͷϥδίϯʹϞσϧΛࡌͤΔ͜ͱͰࣗಈӡస
   wόʔνϟϧαʔΩοτʹϞσϧΛఏग़͠ɺϥοϓλΠϜΛڝ͏
   w"84
   SF*OWFOU΍"84
   4VNNJUͰͷ%FFQSBDFS
   -FBHVFͰ࣮ ࡍʹ૸ΒͤͯϥοϓλΠϜΛڝ͏
   
7. DNEFWJP
   DNEFWJP)  https://aws.amazon.com/jp/deepracer/
8. Ϛωδϝϯτίϯιʔϧ 
9. "84
   %FFQ3BDFS
   -FBHVF 
10. Ϟσϧͷֶश 
11. γϛϡϨʔγϣϯ ֶशॳظ 
12. γϛϡϨʔγϣϯ ͋Δఔ౓ֶशͨ͠ஈ֊ 
13. DNEFWJP
    DNEFWJP)  ػցֶशͱ͸
14. ػցֶश
    ֓ཁ  ͬ͘͟Γݴ͏ͱ
    نଇੑΛֶशͤ͞Δ͜ͱɻ
    wڭࢣ͋Γֶश
    
    ౴͑Λ༩͑ͯೖྗͱ౴͑ͷنଇੑΛֶशͤ͞Δ
    wڭࢣͳֶ͠शɿ౴͑Λ༩͑ͣʹೖྗͷنଇੑΛֶशͤ͞Δ
    w൒ڭࢣ͋Γֶशɿجຊతʹ͸౴͑Λ༩͑ͣʹೖྗͷنଇੑΛֶशͤ͞ Δ͕ɺ෦෼తʹ౴͑Λ༩͑ͯิॿ͢Δ
    wڧԽֶशɿ͋Δ؀ڥͰใु͕࠷େԽ͢Δߦಈબ୒ͷنଇੑΛֶशͤ͞Δ ͳͲ
15. ػցֶश
    ྫ  ҟৗݕग़
16. ػցֶश
    ྫ  ୯ޠͷຒΊࠐΈ
17. ػցֶश
    ྫ  ΫϥελϦϯά
18. ڧԽֶश
    ֓ཁ   ؀ڥ͔ΒΤʔδΣϯτʹঢ়ଶ
     ΤʔδΣϯτ͕ঢ়ଶʹج͍ͮͯ ߦಈ
     ؀ڥ͕ߦಈ݁Ռʹج͍ͮͨใु ΛΤʔδΣϯτ΁
     dΛ܁Γฦ͢ ௕ظతʹ࠷େใु͕΋Β͑ΔߦಈΛબͿΑ͏ʹֶश͢Δ
19. %FFQ3BDFSͰ࢖ΘΕ͍ͯΔख๏  1SPYJNBM
    1PMJDZ
    0QUJNJ[BUJPO https://nervanasystems.github.io/coach/components/agents/policy_optimization/ppo.html
20. DNEFWJP
    DNEFWJP)  "84ʹ͓͚Δػցֶश
21. "84ʹ͓͚Δػցֶश 
22. "84
    %FFQ3BDFS  RoboMakerͰͷγϛϡϨʔγϣϯͱ SageMakerͰͷϞσϧͷֶशΛ܁Γฦ͢
23. %FFQ3BDFSʹؔ܎͢Δ"84αʔϏε  ࠓճؔ܎͢Δͷ͸ʜ
24. %FFQ3BDFSʹؔ܎͢Δ"84αʔϏε  ࠓճؔ܎͢Δͷ͸ʜ Ϟσϧͷֶश
25. "NB[PO
    4BHF.BLFS  ػցֶशͷϑϧϚωʔδυαʔϏε
    w+VQZUFS
    ϊʔτϒοΫͷϗεςΟϯά
    wػցֶशϞσϧͷֶश
    wػցֶशϞσϧͷϗεςΟϯά
    wϥϕϧ͚ͮ Ξϊςʔγϣϯ ͷ؅ཧ
    ͳͲ DeepRacerͰ࢖༻
26. %FFQ3BDFSʹؔ܎͢Δ"84αʔϏε  ࠓճؔ܎͢Δͷ͸ʜ Ϟσϧͷֶश AWS RoboMaker γϛϡϨʔγϣϯ
27. "84
    3PCP.BLFS  ϩϘοτΞϓϦέʔγϣϯͷ։ൃΛαϙʔτ͢ΔαʔϏε
    wϑϧϚωʔδυͳγϛϡϨʔγϣϯαʔϏε
    w$MPVEͱ࿈ܞͨ͠։ൃ؀ڥ
    w304ͷΫϥ΢υ֦ு
    wϑϦʔτϚωδϝϯτ
    ͳͲ DeepRacerͰ࢖༻
28. "84
    %FFQ3BDFS  RoboMakerͰͷγϛϡϨʔγϣϯͱ SageMakerͰͷϞσϧͷֶशΛ܁Γฦ͢
29. DNEFWJP
    DNEFWJP)  %FFQ3BDFSͰ
    ԿΛͲ͏ֶ΂Δͷ͔
30.  ػցֶश΍ڧԽֶशͷྲྀΕ΍֓ཁ ʹ͍ͭͯମݧ&ֶ΂Δ
31. ػցֶश΍ڧԽֶशͷྲྀΕ΍֓ཁͬͯʜ  wػցֶशͱڧԽֶशͷงғؾ
    wͲͷΑ͏ʹͯ͠ղܾ͢Δ͔ߟ͑ΔػցֶशλεΫͷઃܭ
    wԿ౓΋܁Γସ͑͢Ϟσϧͷվળ
    wᷚʹΑ͘ฉ͘ϋΠύʔύϥϝʔλ
    ͳͲ
32. ػցֶशλεΫͷઃܭ  wػցֶशΛ࢖ͬͨ໰୊ͷղ͖ํ΁ͷམͱ͠ࠐΈ
    wใुؔ਺ͷઃܭ
    
    wͲ͏͢Ε͹ϥοϓλΠϜ͕଎͘ͳΔͷ͔
    wͲͷΑ͏ʹใुΛ༩͑Ε͹ɺϥοϓλΠϜ͕଎͍૸ΓํΛֶ श͢Δͷ͔
33. ใुؔ਺ 
34. ߦಈύλʔϯ 
35. Ϟσϧͷվળ  wγϛϡϨʔγϣϯϩάΛ࢖ͬͨϞσϧͷಛ௃෼ੳ
    wҙਤͨ͠௨Γʹֶशͯ͠Δ͔ɺ૸ͬͯΔ͔Λ֬ೝ͠ɺվળʹ ͭͳ͛Δ
    wΑΓ଎͘૸ΔΑ͏ʹ͢ΔͨΊʹ࣮ݧΛ܁Γฦ͢
36. ใु 
37. ͲͷΑ͏ʹ૸ͬͨͷ͔ 
38. ϋΠύʔύϥϝʔλͷௐ੔  wϞσϧͷֶशͷਐΊํΛௐ੔͢Δ
    wχϡʔϥϧωοτϫʔΫ΍ޯ഑߱Լ๏ɺ110ͳͲͷಛੑʹԠ ͨ͡࠷దԽ
    wεϐʔυΛ্͛ͨΓ͢Δͱɺֶश͕೉͘͠ͳΓɺֶश཰ͳͲ ͷύϥϝʔλΛௐ੔͢Δඞཁ͕Ͱͯ͘Δ
39. %FFQ3BDFSʹ͓͚ΔϋΠύʔύϥϝʔλ 
40. ԿΛֶ΂Δͷ͔ʜ  wػցֶशλεΫͷઃܭ
    wػցֶशΛ࢖ͬͨ໰୊ͷղ͖ํ΁ͷམͱ͠ࠐΈ
    w଎͍ϥοϓλΠϜ͕ग़͍ͨ͠
    
    Ͳ͏૸ΒͤΕ͹ɺͲ͏ֶशͤ͞Ε͹͍͍ͷ͔ʜ
    wϞσϧͷվળ
    wγϛϡϨʔγϣϯϩάΛ࢖ͬͨϞσϧͷಛ௃෼ੳ
    wҙਤͨ͠௨Γʹֶशͯ͠Δ͔ɺ૸ͬͯΔ͔֬ೝ͠ɺվળʹͭͳ͛Δ
    wϋΠύʔύϥϝʔλͷௐ੔
    wϞσϧͷֶशͷਐΊํΛௐ੔͢Δ
41. ԿΛֶ΂Δͷ͔ʜ  wػցֶशλεΫͷઃܭ
    wػցֶशΛ࢖ͬͨ໰୊ͷղ͖ํ΁ͷམͱ͠ࠐΈ
    w଎͍ϥοϓλΠϜ͕ग़͍ͨ͠
    
    Ͳ͏૸ΒͤΕ͹ɺͲ͏ֶशͤ͞Ε͹͍͍ͷ͔ʜ
    wϞσϧͷվળ
    wγϛϡϨʔγϣϯϩάΛ࢖ͬͨϞσϧͷಛ௃෼ੳ
    wҙਤͨ͠௨Γʹֶशͯ͠Δ͔ɺ૸ͬͯΔ͔֬ೝ͠ɺվળʹͭͳ͛Δ
    wϋΠύʔύϥϝʔλͷௐ੔
    wϞσϧͷֶशͷਐΊํΛௐ੔͢Δ
42.  ৭ʑ΍ͬͯΈΔͱɺΑ͘෼͔Βͳ͍ͱ͜Ζ͕ग़ͯ͘Δ
    wֶश཰ͬͯ
    w//΍ޯ഑߱Լ๏ʹ͍ͭͯௐ΂ͯΈΔ
    wใुͬͯͲ͏༩͑Ε͹͍͍ͷ͔
    wใुؔ਺ͷઃܭํ๏΍110ʹ͍ͭͯௐ΂ͯΈΔ ͳͲͳͲ
43.  ͳΜ͔Α͘෼͔ΒΜ͚Ͳ ৭ʑ஌Γͨ͘ͳͬͯ͘Δ
44. DNEFWJP
    DNEFWJP)  ػցֶशΛΑΓֶͿͨΊʹ
45. ػցֶशΛΑΓֶͿͨΊͷ͍Ζ͍Ζ  w"84
    %FFQ3BDFS
    %SJWFO
    CZ
    3FJOGPSDFNFOU
    -FBSOJOH
    wIUUQTXXXBXTUSBJOJOH%FUBJMTF-FBSOJOH JE
    w$IBJOFS
    5VUPSJBM
    wIUUQTUVUPSJBMTDIBJOFSPSHKBJOEFYIUNM
    w"NB[PO
    4BHF.BLFS
    &YBNQMFT
    wIUUQTHJUIVCDPNBXTMBCTBNB[POTBHFNBLFSFYBNQMFT
46. "84
    %FFQ3BDFS
    %SJWFO
    CZ
    3FJOGPSDFNFOU
    -FBSOJOH  https://www.aws.training/Details/eLearning?id=35393
47. $IBJOFS
    νϡʔτϦΞϧ  https://tutorials.chainer.org/ja/index.html
48. $IBJOFS
    νϡʔτϦΞϧ  https://tutorials.chainer.org/ja/tutorial.html
49. "NB[PO
    4BHF.BLFS
    &YBNQMFT  https://github.com/awslabs/amazon-sagemaker-examples
50. "NB[PO
    4BHF.BLFS
    &YBNQMFT  https://github.com/awslabs/amazon-sagemaker-examples
51. "NB[PO
    4BHF.BLFS
    &YBNQMFT  https://github.com/awslabs/amazon-sagemaker-examples
52. %JTUSJCVUFE
    %FFQ3BDFS
    3-
    USBJOJOH
    XJUI
    4BHF.BLFS
    BOE
    3PCP.BLFS  https://github.com/awslabs/amazon-sagemaker-examples/blob/master/reinforcement_learning/ rl_deepracer_robomaker_coach_gazebo/deepracer_rl.ipynb
53. DNEFWJP
    DNEFWJP)  %FFQ3BDFSΛ΍ͬͯΈΔ
54. Ϛωδϝϯτίϯιʔϧ 
55. ϞσϧҰཡ 
56. Ϟσϧ࡞੒ 
57. Ϧιʔεͷ࡞੒ 
58. Ϟσϧ໊ 
59. ίʔεબ୒ 
60. ߦಈઃఆ 
61. ߦಈύλʔϯ 
62. ใुؔ਺ 
63. ใुؔ਺ͷαϯϓϧ 
64. ϋΠύʔύϥϝʔλ 
65. ֶश࣌ؒ 
66. ֶश։࢝ 
67. ϞσϧҰཡ 
68. ֶशը໘ 
69. 3PCP.BLFSͷγϛϡϨʔγϣϯπʔϧ 
70. (B[FCPͰͷγϛϡϨʔγϣϯը໘ 
71. ֶश׬ྃ 
72. όʔνϟϧαʔΩοτ 
73. όʔνϟϧαʔΩοτ 
74. όʔνϟϧαʔΩοτʹొ࿥͢Δ 
75. όʔνϟϧαʔΩοτʹొ࿥͢Δ 
76. όʔνϟϧαʔΩοτʹొ࿥͢Δ 
77. Ϟσϧαϒϛοτޙ 
78. ϞσϧධՁத 
79. ϞσϧධՁ׬ྃ  ׬૸ͤͣ…
80. DNEFWJP
    DNEFWJP)  ·ͱΊ
81. ·ͱΊ  w%FFQ3BDFSͰ͸ػցֶशɺڧԽֶशʹ৮ΕΔ͜ͱ͕Ͱ͖Δ
    wࣄલ஌ࣝ͸΄ͱΜͲඞཁͳ͘ɺखܰʹ࢝ΊΒΕΔ
    wແྉ࿮΋͋ΔͨΊɺͱΓ͋͑ͣ΍ͬͯΈΔͷ͕͓͢͢Ί
    wͨͩ͠ɺແྉ࿮Λ௒͑Δͱ҆͘͸ͳ͍ͷͰɺ΍Γ͗͢஫ҙ
    ڵຯΛ࣋ͬͨ಺༰ΛͲΜͲΜ۷ΓԼ͍͛ͯͬͯ
    Ώ͘Ώ͘͸ػցֶशڧऀʹʜ
82.  ͋Γ͕ͱ͏͍͟͝·ͨ͠