ϞόΠϧϑΝʔετͳΞϓϦΛ࡞ΔͨΊʹvear͕ͨ͜͠ͱnoppe xRDCC 2020 C-31
View Slide
noppe• iOSΞϓϦ։ൃऀීஈiOSDCtry!SwiftͰొஃVRMษڧձ࣮ग़ͨࣄͳ͍• vear։ൃऀ• ͖ͭͶ͕͖2
࠷ॳʹεϚϗϑΝʔετͳΞϓϦʹؔ͢ΔτʔΫʹͳΓ·͢VRίϯγϡʔϚͱҧͬͨੈքͷͩͱࢥ͏ͷͰɺָͦ͜͠ΜͰ͍͚ͨͩΕʂVRMͷ͠ͳ͍͚ͲɺVRMҰൠԽͷҰྫͱͯ͠ฉ͍ͯΒ͑Ε3
4
vear• iOS͚• جຊػೳແྉ5
6
ΧϝϥΞϓϦʁ7
ࣗࡱΓΞϓϦʁ8
vear• iOS͚• جຊػೳແྉ• ΞόλʔΛϑΣΠεϞʔϑΟϯά• ࡱӨɾըɾ৴9
10
11
12
Ξόλʔ͔ΒҙࣝΛҳΒͤΔཧ༝ࡱӨ৴ͱ͍ͬͨఏڙ͍ͨ͠ՁʹϑΥʔΧεͤ͞ΔͨΊ13
Ξόλʔ͔ΒҙࣝΛҳΒͤΔཧ༝ࡱӨ৴ͱ͍ͬͨఏڙ͍ͨ͠ՁʹϑΥʔΧεͤ͞ΔͨΊ• ͳͥΞόλʔʹҙ͕͍ࣝͯ͠·͏ͱɺՁ͕ಧ͔ͳ͘ͳͬͯ͠·͏ͷ͔14
Ξόλʔ͔ΒҙࣝΛҳΒͤΔཧ༝ࡱӨ৴ͱ͍ͬͨఏڙ͍ͨ͠ՁʹϑΥʔΧεͤ͞ΔͨΊͦΕ…• ࣮ಈ͔ͯ͠ຬͯ͠͠·͍͕ͪͰ• ϙʔζݟͨʹ߆ͬͨΓ͢Δͱతʹ౸ୡͰ͖ͳ͍͔Β15
ΞόλʔΛͬͨΞϓϦʹେ͖͚ͯ͘ೋͭ͋Δ• ண͙ΔΈࣜ• ύϖοτࣜ16
ண͙ΔΈࣜvearͬͪ͜Ұਓশࢹ͔ΒΞόλʔͱγϯΫϩͯ͠ૢ࡞͢ΔεϙʔπΛͨ͠ΓɺμϯεΛͨ͠Γhttps://en.wikipedia.org/wiki/Motion_capture17
ύϖοτࣜୈࡾऀࢹ͔Βૢ࡞͢ΔΞόλʔ≠ࣗϙʔζΛऔΒͤͨΓɺμϯεΛͤͨ͞Γ18
త·Ͱͷܦ࿏• ண͙ΔΈࣜ• ಈ্͔ͨ͠ͰԋٕߦಈΛ͢Δ• తɿٿΛ͢Δ ≠ ಈ͔͢• ύϖοτࣜ• ಈ͔͢͜ͱ͕తʹͳ͍ͬͯΔ19
ண͙ΔΈࣜͷํ͕ܦ࿏͕ଟ͍ͷͰɺಈ͔͢͜ͱʹϑΥʔΧεͤ͞Δͱతʹ౸ୡͰ͖ͳ͍• ࠷ॳͷը໘Λಈ͘ঢ়ଶʹ͓ͯ͘͠ʢॏཁʣ20
ண͙ΔΈࣜͷऑ21
ண͙ΔΈࣜͷऑೖײ͔Β์Γग़͞Ε͍͢• ͨͩͰ͢Βݱ࣮͡Όͳ͍ͷΛݱ࣮ͱೝ͍ࣝͤͯ͞Δ• ಈ͔ͨ͠௨Γʹಈ͔ͳ͍͚ͩͰݱ࣮ײ͕ଛͳΘΕΔಛʹΞόλʔΛϝλࢹͰݟͤͯ͠·͏ͱɺೖײ͕ଛͳΘΕΔ22
ೖײ͕ଛͳΘΕΔͱ• ؔ৺ԿΛ͠Α͏͔Ͱແ͘ɺ୭ʹͳΖ͏͔ͱ͍͏ʹ͍ͯ͠·͏• ૢ࡞͢Δࣄʹࢥߟ͕औΒΕͯ͠·͏→·ͨత·Ͱ͕ԕ͘ͳͬͯ͠·͏…23
ҧײΛݮΒ͠ೲಘײΛ૿͢• VRͱҧͬͯɺεϚϗΞϓϦͷϥΠϑαΠΫϧ͍ͷͰೖ͖͠Δ·Ͱͷ͕࣌ؒॏཁ24
ҧײΛݮΒͨ͢Ίʹͨ͜͠ͱ• ARKit͔ΒऔΕΔใͳΔ͘ө͢Δ• ݱ࣮ͱဃ͢Δ෦Ӆ͢• Ͱ͖ͳ͍ࣄ͠ͳ͍25
ARKit͔ΒऔΕΔใͳΔ͘ө͢Δ• ճసͷΈͰͳ͘ɺҐஔใ͏• ॠ͖ࢹઢͷଞʹଟ͘ͷใ͕औΕΔ26
ݱ࣮ͱဃ͢Δ෦Ӆ͢τϥοΩϯά͕֎ΕͯϗʔϜϙδγϣϯʹҠಈͤͨ͞Γɺը໘ʹग़ͬ͠ͺͳ͠ʹ͠ͳ͍27
Ͱ͖ͳ͍ࣄ͠ͳ͍Ԇ࣮ࡍͷಈ͖ͱҟͳΔͱࣗͷಈ͖ΛݩʹϑΟΪϡΞΛಈ͔͍ͯ͠Δؾ࣋ͪʹͳͬͯ͠·͏ɻ28
Ͱ͖ͳ͍ࣄ͠ͳ͍2τϥοΩϯάͰ͖ͳ͍શݟͤͳ͍ମͷಈ͖͕өͰ͖ͳ͍ͱͳΔͱɺखͷҐஔ͕ݱ࣮ͱҟͳͬͯҧײʹͳΔɺͳΔ͘όετΞοϓͷΈ͕ݟ͑Δൣғʹͨ͠29
ҧײΛͳͨ͘͠ޙ͜͜ʹདྷͯΑ͏͘ී௨ͷΧϝϥΞϓϦͱಉ͡ॴʹཱͯ·͢Ͱ͜Ε͕ͱͯॏཁɺͳͥͳΒ30
31
ਓ͚ؒΧϝϥΞϓϦͷࢿ࢈͕͑Δ• ϑΟϧλʔػೳ• εςοΧʔ• ΟϯΫͨ͠ΒԿ͔͢Δͱ͔32
త·Ͱͷܦ࿏ؾΛൈ͔ͳ͍৴ࡱӨʹ͓͍ͯɺҧײݮΒ͢ɻ• ڞ௨ೝࣝΛ্खʹ͏33
ڞ௨ೝࣝΛ্खʹ͏• ΧϝϥΞϓϦΒ͍͠ݟ͔ͨΒ֎Εͳ͍• εϚʔτϑΥϯͷಛੑΛ׆͔͢34
ڞ௨ೝࣝΛ্खʹ͏2• OSͷσβΠϯʹԊͬͨUI• Ϙλϯɾτάϧ• αϯυ• ΞΠίϯ• ήʔϜͬΆ͘ݟͤͳ͍ޮՌ• Unity as a Library35
όʔνϟϧͷॅਓʹରͯ͠ؾΛൈ͔ͳ͍طʹ׆༂͍ͯ͠ΔVTuberʹ͚ͯ36
Τϐιʔυ37
࠷ۙͷྲྀߦύʔϑΣΫτγϯΫݻఆ໊ͷBlendShapeΛొͯ͠ARKitͷදΛಉظ͢Δৄࡉඑͱ͔ઉͱ͔ಈ͔ͤΔps• iFacialMocap• Emosignps https://twitter.com/hinzka/status/1274311176273289218?s=20ৄࡉ https://hinzka.hatenablog.com/entry/2020/08/15/14504038
ϓϨϛΞϜ՝ۚͷઃܭϓϨϛΞϜ՝ۚҰൠϢʔβʔ͔ΒҰఆͷڑΛஔ͖ͭͭࣗ༝ͷߴ͍ΦϓγϣϯΛఏڙ͢Δ39
·ͱΊvear͍͔ʹࣗવʹΞόλʔͷนΛ͑Δ͔Λେʹ͍ͯ͠·͢ɻ• ϝϯλϧϞσϧʹରͯ͠ԿΛ֦ு͍ͯ͠Δͷ͔ߟ͑Δ• ΞόλʔΛཱͨͤͳ͍ࣄͰతͷՁΛఏڙ͠Α͏• ΞόλʔΞϓϦ؆୯ʹೖײ͕յΕ͕ͪ40
͓ΘΓ41