テレプレゼンスシステムを作る時のノウハウ共有会

Transcript

1. ςϨϓϨθϯεγεςϜΛ࡞Δ࣌ͷϊ΢ϋ΢ڞ༗ձ ྐྵຊݚڀࣨ ݚڀࣨ಺ษڧձ 2018/04/20 দాڿ
2. ֓ཁ • ςϨϓϨθϯεγεςϜΛ࡞Δͱ͖ʹඞཁͳཁૉɾٕज़Λߟ͑ͯΈͨ • ࣮૷ํ๏ΛέʔεελσΟΛݩʹ঺հ ஫ҙ • զྲྀͷ࣮૷ͳͨΊɺ࠷దͳํ๏Ͱͳ͍Մೳੑ͋Γ
3. લఏ ͋Δఔ౓ࣗ෼Ͱ࣮૷͍ͨ͠ • UIΛࣗલͰ༻ҙͰ͖Δ • ϩά΍ૢ࡞ཤྺͷه࿥ػೳΛ౷߹Ͱ͖Δ C++, macOSʹ׳Ε͍ͯΔ • openFrameworks, Cinder͸࢖͑Δ • macOSωΠςΟϒ΋࣮૷Ͱ͖Δ • Unity͸࢖ͬͨ͜ͱ͕ຆͲແ͍ʢC#Λ࢖ͬͨ͜ͱ͕ͳ͍͔Βʣ • Webͱ͔΍Γͨ͘ͳ͍ʢjsͱ͔ॻ͖ͨ͘ͳ͍ɻσόοά͕΍ΓͮΒ͍ɻʣ
4. ςϨϓϨθϯεγεςϜΛ࡞Δͱ͖ʹඞཁͳཁૉɾٕज़
5. ඞཁͳཁૉ Ի੠ • Skype, Facebook Messenger ө૾ • Skype, Facebook Messenger, GStreamer ͦͷଞσʔλ௨৴ʢϩϘοτ΍σόΠεΛԕִૢ࡞͢Δ༻ʣ • UDP, TCP, HTTP, OSC
6. Ի੠ ਖ਼௚ࣗલͰ࣮૷͢Δͷ͸΍Γͨ͘ͳ͍ • ίʔσοΫͱ͔ͷ࿩͕ग़͖ͯͯ໘౗͍͘͞ • ϥΠϒϥϦΛϦϯΫ͢Δखؒ ֎෦πʔϧΛ࢖͍·͠ΐ͏ • Skype, Facebook MessengerͳͲ
7. ө૾ ϑϨʔϜΛ·Δ͝ͱૹΕ͹ͳΜͱ͔ͳΔ • ωοτϫʔΫͷଳҬґଘͰ͸͋Δ͕… • ਅ໘໨ʹ΍Ζ͏ͱ͢Δͱ͜Ε΋େม ֎෦πʔϧ΍ϥΠϒϥϦΛ࢖͍·͠ΐ͏ • Skype, Facebook Messenger, GStreamer • GStreamer͸ө૾఻ૹΛ͍͍ײ͡ʹͯ͘͠ΕΔπʔϧ • GStreamer͸oF޲͚ͷϥΠϒϥϦ͕͋ΔͷͰϓϩάϥϜ͔Βୟ͖΍͍͢
8. ͦͷଞσʔλ௨৴ ௒௕͍USBέʔϒϧΛ࢖ͬͯ΋ྑ͍͕… • ͔͠͠ɺੈͷதʹ͸ศརͳϚΠίϯ͕ͨ͘͞Μ͋Δ • RaspberryPi, Arduino Yun, ESP32, ESP8266 ௨৴ํࣜ • WiFi, BLE ϓϩτίϧ • UDP, TCP, HTTP, OSC
9. ͦͷଞσʔλ௨৴ UDP, TCP • ͱΓ͋͑ͣ͸͜ΕΛ࢖͑͹௨৴Ͱ͖ΔɺγϦΞϧ௨৴ײ֮ͰσʔλΛૹΕΔ • UDP͸᫔᫓੍ޚ౳Λͯ͘͠Εͳ͍ͷͰɺ࠷খϑϨʔϜʹऩΊΔίπ͕ඞཁͩͬͨΓ͢Δ • ΞϓϦέʔγϣϯϨΠϠʔͷϓϩτίϧΛࣗ෼Ͱߟ͑Δඞཁ͕͋Δɺ૬ޓ௨৴ͷ৔߹͸ϙʔτΛ෼͚Δඞཁ͕͋Δ HTTP • ͋Μ·࢖Θͳ͍ɺதԝूݖతͳγεςϜΛ࡞Δ৔߹ศར͔΋ OSC • UDPϕʔεͰύʔα͕༻ҙ͞Ε͍ͯΔͷͰศར • ϥΠϒϥϦͷछྨ͕৭ʑ͋ΔʢରԠϓϥοτϑΥʔϜ͕ଟ͍ʣ
10. έʔεελσΟ1 - ScalableBody https://lab.rekimoto.org/projects/3733-2/
 http://www.0x0c.me/projects/scalable_body
11. γεςϜߏ੒ - ֓ཁ ιϑτ΢ΣΞ ϋʔυ΢ΣΞ WiFi
12. γεςϜߏ੒ - ϩϘοτଆ 4ͭͷαϒγεςϜͷΩϝϥ • WindowsʢThetaө૾ͷ఻ૹ༻ʣ • ESP8266ʢ৳ॖػߏ੍ޚɾԕִૢ࡞༻ʣ • ArduinoʢOmni-wheelϩϘ੍ޚ༻ʣ • iPod touchʢϏσΦ௨࿩༻ʣ ϚΠίϯपΓ͸Α͋͘Δߏ੒ʢͱࢥ͏ʣ • ϚΠίϯΛϚΠίϯ੍͕ޚ͢Δʢίϓϩηοαʣ iPod touch͸Windowsͱ౷߹Ͱ͖Δͱࢥ͏
13. γεςϜߏ੒ - ιϑτ΢ΣΞଆ 2ͭͷαϒγεςϜͷΩϝϥ • ClientʢThetaө૾ͷӾཡ+ϩϘͷԕ੍ִޚʣ • SkypeʢϏσΦ௨࿩ʣ • ͲͪΒ΋1ͭͷύιίϯ্Ͱಈ࡞ Client͸oFͰ࣮૷ͨ͠ • ө૾͸GStreamerͰड৴ˠٿʹςΫενϟϚοϓ • WindowsଆͷGStreamer͕ө૾Λ఻ૹ͍ͯ͠Δ • ϩϘͷૢ࡞͸WiFiܦ༝ͰESP8266ʹUDPͰσʔλΛૹ৴
14. ࡉ͔͍޻෉ ϩϘ͕઀ଓ͢ΔWiFi͸ͲͷΑ͏ʹઃఆ͍ͯ͠Δ͔ʁ • ܾΊଧͪͷSSID/PassΛϑΝʔϜ΢ΣΞʹ௚ॻ͖͍ͯ͠Δ • μΠϫɾελδΦɾσϞ༻AirMacͷ3ͭΛ
 ੾Γସ͑ΒΕΔΑ͏ʹ͍ͯ͠Δ • λΫτεΠονͰ੾Γସ͑Մೳ • σόοά༻ͷOLEDΛ૷ண͍ͯ͠Δ • ઀ଓঢ়گɾड৴σʔλͷදࣔΛߦ͏
15. έʔεελσΟ2 - CASPER https://lab.rekimoto.org/projects/casper/
16. γεςϜߏ੒ - ֓ཁ Windows + oFͰ࣮૷ • Kinect+ϓϩδΣΫλ+Windows PC + Arduinoʢۭؾ๒ʣ • KinectΛ·ͱ΋ʹ৮ΔͨΊʹWindowsΛ࠾༻ • Windowsϓϩάϥϛϯά͸஌Βͳ͍ͷͰC++͕࢖͑ΔoFΛ࠾༻ • oF+VisualStudio͕ΰϛʢखಈͰύεΛ௨͢౳ʣ • 1ͭͷόΠφϦʹinstructor, studentͷ2ͭͷϞʔυΛ࣮૷ Ի੠͸ແઢϚΠΫ+εϐʔΧʔΛ௒Ԇ௕ • ωοτ؀ڥ͕ͳ͔ͬͨͷͰSkype͕࢖͑ͳ͔ͬͨ
18. γεςϜߏ੒ - ޻෉ʢ̍ʣ ௨৴෦෼ • boost asioΛ࠾༻ • oFͷboost͸1.0ͳͷͰasio͕࢖͑Δόʔδϣϯʹແཧ΍ΓΞοϓσʔτ • boost asioΛϥοϓ͢ΔϥΠϒϥϦΛࣗ࡞ • ਓؒ෦෼+Depthը૾ͷ2ຕΛಉ࣌ʹૹ৴͢ΔϥΠϒϥϦ • ؆୯ͳจࣈྻΛૹ৴͢ΔϥΠϒϥϦ • ը૾Λޮ཰తʹ఻ૹ͢ΔͨΊʹTCPͷδϟϯϘϑϨʔϜΛར༻ • TCPͷMTUΛ֦ு͢Δن֨
 ʢWindowsʹಛผͳઃఆ͕ඞཁɺඪ४ن͕֨ͳ͍=ಠࣗن֨ʣ
19. γεςϜߏ੒ - ޻෉ʢ̎ʣ ਓؒ෦෼ͷநग़ • Kinect SDKΛ࢖͏ͱΧϝϥը૾தͷਓؒ෦෼ͷϐΫηϧ͕Θ͔Δ • ਓ͕ؒऩ·ΔαΠζʹcrop͢Δʢը૾ͷσʔλྔ࡟ݮʣ • ਓؒͰ͸ͳ͍ϐΫηϧΛࠇͰృΓͭͿ͢ʢਓؒ෦෼ͷΈ߹੒͢ΔͨΊʣ • jpgʹѹॖͯ͠఻ૹ͢ΔͨΊಁ໌৭Λѻ͑ͳ͍ͷͰృΓͭͿ͍ͯ͠Δ • ຊ౰͸Ϛθϯλ౳ɺࣗવքͰ͸رগͳ৭ͷํ͕ྑ͍ Depthը૾ͷ఻ૹ • ਓؒ෦෼ͷநग़ͱಉ࣌ʹDepthը૾΋crop͢Δ • ਓؒը૾, Depthը૾, ݪ఺, αΠζ৘ใΛ·ͱΊͯ఻ૹ͢Δʢcrop͍ͯ͠ΔͨΊݪ఺, αΠζ৘ใ͕ඞཁʣ ը૾͸શ෦jpgܗࣜʢΤϯίʔυ͍ͯ͠ͳ͍ʣ
20. έʔεελσΟ3 - MatsudaHead
21. MatsudaHead - ֓ཁ ಄෦૷ணܕ΢ΣΞϥϒϧΧϝϥ • ྐྵຊઌੜͷີணऔࡐͷͱ͖ϑοταϧબखʹ૷ணͯ͠΋Βͬͨ ߏ੒ • RaspberryPi Zero • RaspberryPi༻Χϝϥ • LiPoόοςϦʔ • ϔουόϯυ • ࣗ࡞εΠονج൘ʢ࿥ը։࢝ɾఀࢭʣ
22. MatsudaHead - ޻෉ ᝑମσβΠϯ • ϔουόϯυʹϚΠίϯ+Χϝϥ • ΧϝϥέʔϒϧΛ௕͍΋ͷʹมߋͨ͠ʢઍੴి঎ʹέʔϒϧ͚ͩചͬͯΔʣ • LiPo͸ࠊϙʔνʹಀͨ͠ʢ಄෦ʹ౥ࡌ͢Δεϖʔε͕ͳ͔ͬͨʣ ϓϩάϥϜɾج൘ • ిݯ౤ೖ࣌ʹࣗಈͰpythonεΫϦϓτ͕࣮ߦ͞ΕΔ • ࿥ըͷ։࢝ɾఀࢭ͸λΫτεΠον͕෇͍ͨج൘Λ࡞ͬͨ • εΠονΛԡͨ͢ͼʹ࿥ըͷ։࢝ɾఀࢭ͕੾ΓସΘΔ • ঢ়ଶΛࣔ͢LED΋౥ࡌͨ͠ʢ྘LEDɿిݯ, ੺ɿ఺౮࣌͸࿥ըதʣ
23. ༨ஊ
24. ܦݧஊ oF͸ϑϨʔϜϫʔΫͱͯ͠͸ऴΘ͍ͬͯΔ • ϓϩάϥϛϯάύϥμΠϜ͕஍ࠈ • OOPΛཧղ͍ͯ͠ͳ͍ਓ͕࣮૷͍ͯ͠Δ • όʔδϣϯΛগ͠Ͱ΋্͛Δͱಈ͔ͳ͘ͳΔ • ༷ʑͳaddon΋όʔδϣϯґଘ͍ͯ͠Δ܏޲ʢׂͱಈ͔ͳ͍ʣ • Ϗϧυ͕࣌ؒࢮ͵΄Ͳ௕͍ • ͦΕͰ΋ਓ͸ۤ௧Λ৐Γӽ͑ͯoFΛ࢖͏ʢͦͷ͔࣌͠ඞཁͳ͍ϓϩάϥϜ͔ͩΒʣ
25. Yet another choice to develop a telepresence system… Webܥʹڧ͍ਓ • WebRTCͱ͔࢖ͬͯΈͯ΋ྑ͍͔΋ • WebपΓͷٕज़͸ʮʮਐาʯʯ͕ૣ͍ͷͰ৽ͯ͘͠ਖ਼͍͠৘ใΛؤுͬͯ୳ͦ͏ • ΠϯλϥΫςΟϒͳUI͸ۤख͔΋ʢͰ͖ͳ͍͜ͱ͸ͳ͍͕৭ʑςΫχοΫ͕ඞཁʣ ϚΠίϯ • Ψν૊ΈࠐΈ͸͋·Γ͓͢͢Ί͠ͳ͍ʢͱΓ͋͑ͣArduino͔RaspberryPi࢖͓͚ͬͯʣ • ͔ͳΓ׳Ε͕ඞཁɾσόοά͕େม • ੑೳ΍ϖϦϑΣϥϧ਺͕γϏΞͳ৔߹͸ผϚΠίϯΛࢹ໺ʹೖΕΑ͏ • ಈ࡞प೾਺ɺϝϞϦɺSPI΍GPIOͷ਺ͳͲ
26. ϓϩάϥϛϯάʹࣗ਎ͷ͋Δਓ͸ γεςϜΛ࡞Δͱ͖ʹੜ·ΕΔ෭࢈෺ΛOSSͱͯ͠ެ։͢Δָ͠Έ • ͖Ε͍ʹϓϩάϥϛϯά͠Α͏ͱ͢ΔʹεΩϧΞοϓɾσόοάʹ໾ཱͭ • γεςϜͷΞʔΩςΫνϟɾίʔυΛ੔ཧ͢Δ͖͔͚ͬʹ΋ͳΔ • ੈքʹίʔυΛ഑෍Ͱ͖ΔʢOSS׆ಈࣗମΞϐʔϧϙΠϯτʣ • ࣗ෼͕ੜΜͩ෭࢈෺ʹ12ݸ • ࠓͰ΋Α͘࢖͏΋ͷ͕͍͔ͭ͘