DeepRacerに挑戦してみた

DeepRacerを色々とやってみたという話

Transcript

1. DeepRacerʹ௅ઓͯ͠Έͨʂ START YOUR ENGINE!! 2019/11/23 ࢛ࠃΫϥ΢υ͓ว࿏2019 ಙౡ JAWS-UG Ѫඤɹԭ ོ҆
2. ࣗݾ঺հ ݩεʔύʔܦӦ ࣮Ո
   +"846(Ѫඤ
   LJOUPOF
   $BGÉ
   Ѫඤ
   5XJMJP+16(Ѫඤ
   ͘͞ΒΫϥϒѪඤ
   403"$0.
   6(
   4IJLPLV
   +1@4USJQFT
   ۀ຿ϋοΫ ૔ݿ൪఻ಓࢣʢఱ࠽ೝఆূ
   ൪อ༗ʣ
   αΠϘ΢ζެೝ
   LJOUPOFΤόϯδΣϦετ
   LJOUPOF
   "TTPDJBUF
   
   LJOUPOF
   "QQ
   %FTJHO
   4QFDJBMJTU
   
   LJOUPOF
   $VTUPNJ[BUJPO
   4QFDJBMJTU
   
   "84
   ೝఆιϦϡʔγϣϯΞʔΩςΫτ
   r
   ΞιγΤΠτ
   "84
   ೝఆσϕϩούʔ
   r
   ΞιγΤΠτ
   
   ԭ
   ོ҆ʢ͓͖
   ΍͔ͨ͢ʣ
3. དྷि͸ɺre:Invent2019ʹߦ͖·͢ʢ4ճ໨ʣ
4. DeepRacerͬͯ஌ͬͯ·͢ʁ ➤ લʹΧϝϥ͕෇͍ͯͯɺը૾Λݟͯίʔ εΛ૸Γ·͢ ➤ ڧԽֶशͱ͍͏࢓૊ΈͰ૸ΓํΛ֮͑· ͢ ➤ ֶशͷ΍Γํ͸௒γϯϓϧɻifͱܭࢉ͕ࣜ ॻ͚Ε͹े෼Ͱ͢ ➤ ཪଆͷ໘౗ͳ͜ͱ͸AWS DeepRacerଆͰ ΍ͬͯ͘Ε·͢ ➤ λΠϜ͕ग़ͯɺੈքதͰڝ૪ʹͳΔͷͰ ೤͘ͳΓ·͢ʂ
5. Ϙλϯ̍ͭͰ͜Μͳߏ੒͕ࣗಈͰ࡞੒͞Ε·͢
6. Կ͕ྑ͍͔ͱ͍͏ͱ ➤ ࢼͦ͏ͱͯ͠΋ɺಈ࡞͢Δ؀ڥΛߏங͢Δஈ֊Ͱ͏·͍͔ͣ͘࠳ં͢Δ ➤ खॻ͖จࣈೝࣝΈ͍ͨͳ΍ͭͩͱʮ΍ͬͯΈͨʯͰऴΘͬͪΌ͏ ➤ ϋϯζΦϯͰࢼ͕ͨ͠ɺͦͷ࣍ʹվྑ͠Α͏ʹ΋ํ๏͕Θ͔Βͳ͍ ➤ ؀ڥ͸ɺϘλϯΛԡ͚ͩ͢Ͱࣗಈ࡞੒ ➤ αϯϓϧͰ؆୯ʹࢼͤΔ͠ɺλΠϜͰ༏ྼ͕؆୯ʹΘ͔Δ ➤ ධՁؔ਺Λࣗ༝ʹมߋͯ͠ࢼͤΔ DeepRacerͩͱ ࠓ·Ͱ
7. ࢼ͞ͳ͍ͱ ΋͍ͬͨͳ͍ʂ
8. େମͷྲྀΕ ➤ ࡞੒Ϟσϧͷ໊લͱίʔεΛܾΊΔ ➤ Action spaceʢಈ͖ͷ૊Έ߹ΘͤʣΛબ୒ ➤ Reward functionʢใुؔ਺ʣΛ࡞੒ ➤ HyperparametersʢৄࡉઃఆʣΛܾఆ ➤ ֶश࣌ؒΛܾఆ
9. େମͷྲྀΕ ➤ ࡞੒Ϟσϧͷ໊લͱίʔεΛܾΊΔ ➤ Action spaceʢಈ͖ͷ૊Έ߹ΘͤʣΛબ୒ ➤ Reward functionʢใुؔ਺ʣΛ࡞੒ ➤ HyperparametersʢৄࡉઃఆʣΛܾఆ ➤ ֶश࣌ؒΛܾఆ
10. େମͷྲྀΕ ➤ ࡞੒Ϟσϧͷ໊લͱίʔεΛܾΊΔ ➤ Action spaceʢಈ͖ͷ૊Έ߹ΘͤʣΛબ୒ ➤ Reward functionʢใुؔ਺ʣΛ࡞੒ ➤ HyperparametersʢৄࡉઃఆʣΛܾఆ ➤ ֶश࣌ؒΛܾఆ
11. େମͷྲྀΕ ➤ ࡞੒Ϟσϧͷ໊લͱίʔεΛܾΊΔ ➤ Action spaceʢಈ͖ͷ૊Έ߹ΘͤʣΛબ୒ ➤ Reward functionʢใुؔ਺ʣΛ࡞੒ ➤ HyperparametersʢৄࡉઃఆʣΛܾఆ ➤ ֶश࣌ؒΛܾఆ
12. େମͷྲྀΕ ➤ ࡞੒Ϟσϧͷ໊લͱίʔεΛܾΊΔ ➤ Action spaceʢಈ͖ͷ૊Έ߹ΘͤʣΛબ୒ ➤ Reward functionʢใुؔ਺ʣΛ࡞੒ ➤ HyperparametersʢৄࡉઃఆʣΛܾఆ ➤ ֶश࣌ؒΛܾఆ
13. େମͷྲྀΕ ➤ ࡞੒Ϟσϧͷ໊લͱίʔεΛܾΊΔ ➤ Action spaceʢͲ͏ಈ͔͘ͷ૊Έ߹ΘͤʣΛબ୒ ➤ Reward functionʢใुؔ਺ʣΛ࡞੒ ➤ HyperparametersʢৄࡉઃఆʣΛܾఆ ➤ ֶश࣌ؒΛܾఆ ͳ͓ɺ࡞੒ͨ͠ϞσϧΛݩʹ࠶ֶश͢Δ৔߹ɺ Action space͚ͩ͸มߋͰ͖·ͤΜʢͳͥॏཁͳͷ͔͸ޙड़ʣ ॏཁʂʂ
14. ࠓճͷ ֶशํ਑͸…
15. WAYPOINTௐࠪͱ͔ ंͷ޲͖ͱ͔
16. ͳΜͯͷ͸ࢭΊͯ Ͱ͖Δ͚ͩγϯϓϧʹ
17. ਅΜத૸Δ
18. ଎͚Ε͹ྑ͍
19. ࠶ֶशΛࢼ͢
20. ਅΜத૸Δ ଎͚Ε͹ྑ͍ ࠶ֶशΛࢼ͢
21. େମɺ͜Μͳઃఆ
22. ਅΜத૸Δ ͪΌΜͱΰʔϧͯ͠Δʂ
23. ଎͚Ε͹ྑ͍ ̍ඵ୹ॖͨ͠ʂ ΋ͬͱ͍͚Δ͔΋ʂʂ
24. ࠶ֶशΛࢼ͢ ഁ୼ͨ͠ʢྦ
25. ํ޲ੑؒҧ͑Δͱ ࠶ֶशͯ͠΋ ݁Ռ͸ग़ͳ͍
26. ·ͱΊͯΈΔͱ ➤ ࠷େεϐʔυ͕ɹ6m/s ͩͬͨͷͰɺ΋ͬͱ଎ͯ͘΋ྑ͔ͬͨ ➤ ͔֬ɺ12m/s·Ͱ্͛ΕΔ͸ͣͱࢥͬͨΒɺ࠷ߴ଎౓͕4m/sʹͳͬͯͨ ➤ ͜ͷลͷ਺஋΍ϝχϡʔ͸සൟʹมΘΔͷͰ஫ҙඞཁ ➤ ʮ଎͚Ε͹ྑ͍ʯͷ࣌ͷใु͸ɺ΋ͬͱਅΜதدΓʹ੍ݶͨ͠ํ͕ྑ͔ͬͨ ➤ ͦͷ্ͰɺผίʔεͰֶश͢Δͱྑ͔͔ͬͨ΋ʁ ➤ γϯϓϧͳίʔεͰεϐʔυ্͛ͯɺෳࡶͳίʔεͰ࠶ֶशͱ͔ʁ
27. ·ͱΊͯΈΔͱ ➤ ৭ʑͳύλʔϯͰࢼͯ͠Έͳ͍ͱΑ͘෼͔Βͳ͍ ➤ Ͱ΋ɺࠓճͷςετͰେମɺ$100͘Β͍͔͔ͬͯΔ ➤ ͕͢͞ʹ΋͏ࢼͤͳ͍ʢۤস ➤ ٯʹ͍͏ͱɺAIํ໘ͷεΩϧͳͯ͘΋؆୯ʹࢼͤΔͷ͸ྑ͍͔΋ ➤ ຊͱ͔ങͬͯࢼͯ͠΋͓͔͔ۚΔ͠Ͷʔ ➤ AIϕϯνϟʔͬͯੌ͍͜ͱ΍ͬͯΔΜͰ͢Ͷʢ͠Έ͡Έ
28. ·ͱΊͯΈΔͱ ຊ΁ͷ౤ࢿ΋·ͩ·ͩ଍Γͯͳ͍Α͏Ͱ͢ ੌ͍ੈքͰ͢Αʂ
29. օ͞Μ΋ LET’S TRY!
30. ࠷ॳʹ௅ઓͨ࣌͠ͷ࿩ ➤ ͢ͰʹR3ͷձࣾϒϩάʹ্͕ͬͯ·͢ͷ ͰɺʮDeepRacerഊઓهʯͰݕࡧͯͩ͘͠ ͍͞ ➤ جຊతͳྲྀΕͷ࿩ͱɺྉۚͷ͜ͱΛॻ͍ ͯ·͢ ➤ AWSଆ΋ឯ༨ۂં͋ͬͨͷͰɺ࠷ॳͷࠒ ͸ྉۚͷมಈ͕େมͰͨ͠ ➤ $300͘Β͍੥ٻ͕มಈͨ͠Γʢ$900 → $600ʣͱɺϗϯτɺυΩυΩͰͨ͠Αʂ એ఻
31. ͋Γ͕ͱ͏ ͍͟͝·ͨ͠