Pythonによる4足歩行ロボットの制御と強化学習による歩行動作獲得の実例 #pyconjp

Pythonによる4足歩行ロボットの制御と強化学習による歩行動作獲得の実例 #pyconjp

2015年10月10日に開催された PyConJP2015 で発表したスライドです。プログラムはのちほど公開します!

B8e70282c568fd82f483a8bf854843f6?s=128

Hideyuki TAKEI

October 10, 2015
Tweet

Transcript

  1. 1ZUIPOʹΑΔ଍าߦϩϘοτͷ੍ޚͱ ڧԽֶशʹΑΔาߦಈ࡞֫ಘͷ࣮ྫ #FBUSPCP *OD஛Ҫӳߦ 1Z$PO+1

  2. ࣗݾ঺հ w !)JEFZVLJ5BLFJ w )8ճ࿏ઃܭɺϚΠίϯɺ֎૷ઃܭɺதࠃ w 48ϑϩϯτΤϯυ+4ɺ"OESPJEɺ"84 w ͔Θ͍͍ϩϘοτ͕޷͖

  3. ࣗݾ঺հ

  4. ΞδΣϯμ w ຍ࠿ϩϘοτ w ϩϘοτγϛϡϨʔλ(B[FCPͷ঺հ w (B[FCPΛ1ZUIPO͔Βίϯτϩʔϧ͢Δ w ؆୯ͳػߏͷϩϘοτͷ࡞੒ w

    2ֶशʹΑΔલਐಈ࡞ͷ֫ಘ w ຍ࠿ϩϘΛ࣮ػͰಈ࡞ͤ͞Δ w ·ͱΊ
  5. None
  6. ܗ͸Ͱ͖͕ͨʜ

  7. Ϟʔγϣϯ࡞Δͷ͕໘౗ w Ϟʔλͷ֯౓৘ใΛखଧͪͯ͠ɺϞʔγϣϯ Λ࡞Βͳ͚Ε͹ͳΒͳ͍ w ඇৗʹ໘౗ʂ w উखʹϩϘοτ͕ಈ͍ͯ͘ΕͨΒྑ͍ͷʹ ڧԽֶशʹΑΔϞʔγϣϯͷ֫ಘΛ໨ࢦ͢ʂ

  8. ڧԽֶशͷน w ਺ඦճͷࢼߦճ਺ʜ w ࢼߦճ਺ଟ͍ͱɺϩϘοτࣗମ͕յΕͦ͏ͳ ৺ࡉ͍ઃܭ w ࣮෺Ͱֶशͤ͞Δʹ͸ؾ͕Ҿ͚Δ w ܭଌͱ͔΋ΊΜͲͦ͘͞͏

    γϛϡϨʔγϣϯͰ΍ͬͪΌ͓͏ʂ
  9. (B[FCP w IUUQHB[FCPTJNPSH w Φʔϓϯιʔεͳ%ͷϩϘοτ γϛϡϨʔλ؀ڥ w ϦΞϧλΠϜɺݟͨ໨͖Ε͍ w 0%&΍#VMMFUͳͲͷ%෺ཧΤϯδϯ

    ͕੾Γସ͑ΒΕΔ w Α͘304ͱ͍ͬ͠ΐʹ࢖ΘΕ͍ͯΔ w όʔδϣϯͷ໰୊ͳͲ΋͋ΔͷͰɺ ࠓճ͸304Λ࢖Θͣ௚઀(B[FCP ͱίϛϡχέʔγϣϯ͢Δ w (B[FCP͸WΛར༻
  10. (B[FCPͷݟͨ໨

  11. (B[FCPͷߏ੒ ([4FSWFS γϛϡϨʔγϣϯۭؒ ͅ ([$MJFOU Ϟσϧ ࠓճ࡞Δ ڧԽֶशϓϩάϥϜ 1SPUPDPM#V⒎FSTͷ1VC4VCͰ4FSWFS$MJFOU͕௨৴

  12. (B[FCP5JQT w 5PQJD7JTVBMJ[BUJPOπʔϧΛ࢖͏͜ͱ ͰɺݱࡏྲྀΕ͍ͯΔϝοηʔδΛϦΞ ϧλΠϜͰݟΔ͜ͱ͕Ͱ͖Δ w ίϚϯυϥΠϯ͔Βϝοηʔδͷ QVCMJTITVCTDSJCF͕Ͱ͖Δ w (B[FCPͷ୯Ґܥ͸4*ʹ४ڌ

    w ௕͞͸ϝʔτϧ NFUFS  w ॏ͞ NBTT ͸ΩϩάϥϜ LH  w ଎౓ WFMPDJUZ ͸ w SFWPMVUFKPJOUT͸SBET w QPTFͳͲͰͭͷ਺ࣈ͕ฒΜͰ͍Δ ͷ͸ʮYZ[SPMMQJUDIZBXʯͰ͢
  13. 1ZUIPOͰ(B[FCPͱ௨৴ w 1Z(B[FCP w IUUQTHJUIVCDPNKQJFQFSQZHB[FCP w ΄΅1SPUP#VGͷ @QCQZͷϑΝΠϧ w ࠓճ࢖͏ػೳ

    w 4VCTDSJCF w ϩϘοτͷ࠲ඪɺ࢟੎ w 1VCMJTI w ϩϘοτͷϞʔλͷ֯౓ࢦఆ
  14. !USPMMJVTDPSPVUJOF EFGQVCMJTI@MPPQ  NBOBHFSZJFME'SPN QZHB[FCPDPOOFDU  QVCMJTIFSZJFME'SPN  NBOBHFSBEWFSUJTF HB[FCPEFGBVMUNPEFMKPJOU@DNE

     HB[FCPNTHT+PJOU$NE  NFTTBHFQZHB[FCPNTHKPJOU@DNE@QC+PJOU$NE  NFTTBHFOBNFSPCPUKPJOU@OBNF NFTTBHFBYJT NFTTBHFGPSDF XIJMF5SVF ZJFME'SPN QVCMJTIFSQVCMJTI NFTTBHF  ZJFME'SPN USPMMJVTTMFFQ   MPPQUSPMMJVTHFU@FWFOU@MPPQ  MPPQSVO@VOUJM@DPNQMFUF QVCMJTI@MPPQ δϣΠϯτૢ࡞༻ίϚϯυ ϩϘοτͷؔઅΛಈ͔͢αϯϓϧίʔυ ૢ࡞͢ΔϩϘοτ໊ͱؔઅ໊Λࢦఆ ྗΛՃ͑Δํ޲ͱڧ͞Λࢦఆ ίϚϯυΛύϒϦογϡ (B[FCPαʔόͱ௨৴͢Δ ͨΊͷϚωʔδϟͷ࡞੒
  15. Ϟσϧͷදݱ w 4%' IUUQTEGPSNBUPSH Λར༻ w ϩϘοτγϛϡϨʔγϣϯ޲͚ w Ϟσϧ΍؀ڥΛఆٛ͢ΔͨΊͷ 9.-ϑΥʔϚοτ

    w Ϟσϧͷܗ 45-͔%"&Λࢦఆ ɺճస࣠ɺද໘ͷຎ ࡲ܎਺ͳͲͷ෺ཧతͳಛੑ͕ఆٛͰ͖Δ w ϞσϧΛಈ͔͢؀ڥ΋4%'Ͱఆٛ͢Δ w IUUQTCJUCVDLFUPSHPTSGHB[FCP@NPEFMTTSD ͪ͜Βʹ(B[FCPͰ࢖͑Δ4%'͕ू·͍ͬͯΔ w 8JMMPX(BSBHFͷ13ͳͲͷ4%'Λࢀߟʹͯ͠ ϞσϧͷఆٛΛ͢Δͷ͕Φεεϝ
  16. 4%'$POWFSUFSͷ࢖͍ํ w %$"%ͷ*OWFOUPSͷΞηϯϒϦ͔Β4%'Λੜ੒ w IUUQTHJUIVCDPNXJMMTUPUU4%' $POWFSUFS͔ΒίʔυΛμ΢ϯϩʔυͯ͠ 7JTVBM4UVEJPͰFYFΛϏϧυ͢Δ w *OWFOUPSͰΞηϯϒϦ ϑΝΠϧJBNΛ։͘

    w 4%'$POWFSUFSΞϓϦΛ ಉ࣌ىಈ͢Δ w 4BWFUPpMFͱ"MTPTBWF 45-TʹνΣοΫΛ͚ͭͯɺ 45-4DBMF͸ͷ·· w (FOFSBUF4%'Λԡ͢ͱ 4%'͕ੜ੒͞ΕΔ
  17. ࢼ͠ʹ؆୯ͳϩϘοτΛ࡞ͬͯΈΑ͏ w ຊ֨తͳϩϘοτͷલʹ൘ܕϩϘοτʹલਐҠಈͷ ϞʔγϣϯΛ֫ಘͤ͞Δ w ܗ͸%$"%Ͱ࡞੒ w $"%σʔλ͔Β4%'Λ࡞੒ w WJTVBMͱDPMMJTJPOͷϞσϧ͸྆ํಉ͡45-Λ࢖༻

    w 4%'$POWFSUFS IUUQTHJUIVCDPNXJMMTUPUU4%'$POWFSUFS Λར༻ͯ͠4%'Λ࡞Ζ͏ 4%' %$"%ͷ *OWFOUPSͰ࡞੒ 4%'$POWFSUFS Ͱ*OWFOUPSͷ ΞηϯϒϦ͔Β 4%'Λੜ੒ 4%'Λ(B[FCPʹ Πϯϙʔτ͢Δ
  18. ڧԽֶश 2ֶश w ͋Δঢ়ଶTUͰ͋ΔߦಈBUΛͱͬͨͱ͖ɺະདྷʹ ΘͨͬͯͲͷ͘Β͍ͷใु͕ಘΒΕͦ͏͔Λ ද͢ߦಈՁ஋ؔ਺2 TU BU Λֶश w

    ЏHSFFEZબ୒ɿఆΊΒΕͨ֬཰ЏͰϥϯμ Ϝʹߦಈ͠ɼ Џ ͷ֬཰Ͱେ͖ͳํͷ2஋ Λ࣋ͭߦಈΛબ୒Λ͢Δ ΤʔδΣϯτ 2ֶशʹΑΔ ߦಈબ୒ ؀ڥ ߦಈBU ঢ়ଶTU ؀ڥͷ มԽ ใुSU SU  TU 
  19. ঢ়ଶTͱߦಈBͱใुS w ঢ়ଶ਺ΛݮΒͨ͢Ίʹ੍໿ Λઃ͚Δ w ֤ؔઅ͸౓ɺ౓ɺ ౓ͷύλʔϯͷΈ w ߦಈ͸ͭͷؔઅ͔͠ಈ ͔ͤͳ͍

    w ಉ͡ঢ়ଶʹͳΔߦಈ͸બ ୒ෆՄ w ঢ়ଶT͸ύλʔϯ w ঢ়ଶTUͰऔΔ͜ͱ͕Ͱ͖Δ ߦಈBU͸ύλʔϯ w લʹਐΊ͹ਐΉ΄Ͳใु͕ ߴ͍ ͭͷؔઅ͚ͩಈ͔͢
  20. ϓϩάϥϜͷߏ੒ &OWJSPONFOU "HFOU ঢ়ଶ؅ཧ ΞΫγϣϯੜ੒ γϛϡϨʔλ಺ͷ ϩϘοτͷαʔϘઃఆͱ ࠲ඪऔಘ ([4FSWFS ϩϘοτͷ

    γϛϡϨʔγϣϯ 2-FBSOJOH 2ֶश෦෼ ࠓճ࡞ͬͨͱ͜Ζ 1Z(B[FCPʹΑΔ 1SPUP#VGͷ΍ΓͱΓ
  21. ࠷ॳͷ͜Ζ όλόλ͔ͯ͠͠ͳ͍

  22. ࢼߦ໨͘Β͍ ͍ͭͷؒʹ͔લʹਐΉΑ͏ʹͳͬͯΔʂ

  23. ͍ͭʹຍ࠿ʹڧԽֶशΛʂ w ຍ࠿ϩϘͭͷαʔϘ͕͋Δ w ֤଍͝ͱͭͷ্Լํ޲ͷαʔϘͭ w ͭͷ଍ͷԣ࣠ʹಈ͔ͨ͢ΊͷαʔϘͭ w ֫ಘͰ͖ͨาߦΛ࣮ػͰσϞ͠·͢ʂʂ

  24. าߦͷ༷ࢠ

  25. ·ͱΊ w 2ֶशͰϩϘοτʹલਐಈ࡞ͷ֫ಘΛͤͨ͞ w γϛϡϨʔγϣϯͳΒҙ֎ͱ؆୯ w ιʔείʔυ͸ͷͪ΄Ͳެ։͢ΔͷͰɺ Έͳ͞Μಈ͔ͯ͠Έ͍ͯͩ͘͞ʂ w ຍ࠿͸ޤ͏͝ظ଴ʂ

  26. #FBUSPCPΤϯδχΞืूதʂ EPDLFS޷͖ͳํ ϋʔυ΢ΣΞ޷͖ͳํ ΞϧόΠτɾࣾһืूதʂ

  27. ϩϘοτ࡞ΓͰΑ͘࢖͏πʔϧ w FBHMFIUUQXXXDBETPGUVTBDPN w ϓϦϯτج൘ઃܭιϑτ΢ΣΞ w FMFDSPXIUUQXXXFMFDSPXDPN w ܹ҆ϓϦϯτج൘੡଄αʔϏε w

    *OWFOUPS w %$"%ɻ'VTJPO͸ແྉͰ࢖͑Δ w 4IBQFXBZT w Ϥʔϩούͷ%ϓϦϯταʔϏε w "73($$ w CJUϚΠίϯ $ݴޠͰ։ൃ