iPhoneひとつでデジタルヒューマンを実現する！ 「Emotional LipSync」のヒミツ

アニメ寄りのカワイイ女の子は皆さんに任せますが、リアル寄りでカワイイ女の子を表示する知見ってあまりないですよね。
これはリアル寄りのカワイイ女の子をUnity上で出そうと奮闘した試行錯誤の歴史です。
途中まであまりUnityは関係がなくて、ほぼ大半はWrap3に関する知見です。
リアル寄りのカワイイ女の子をUnityで出したい！という方は必見です。

Transcript

1. iPhoneͻͱͭͰσδλϧώϡʔϚϯ Λ࣮ݱ͢Δʂ ʮEmotional LipSyncʯͷώϛπ ͓ͳ͔ιϑτ ҏ౻ɹप ڠྗɿגࣜձࣾέΠζσβΠϯϥϘʢεʔύʔεΩϟϯελδΦʣ
2. ࣗݾ঺հ • ҏ౻ɹपʢ·͜ͱʣ • ͓ͳ͔ιϑτ • Unityίϯαϧλϯτ • डୗ։ൃۀ຿ • ݩUnityͷதͷਓ(UnityԾ໘) • ܙൺणUnity෦
3. ΞδΣϯμ 1. ࠳ંͷྺ࢙ 2. ࠷ڧπʔϧʮWrap3ʯ঺հ 3. ࣮ફฤ 4. ௅ઓฤ 5. ӡ༻ฤ 6. ࠓޙͷ՝୊
4. 1. ࠳ંͷྺ࢙
5. 2013೥ ۀ຿ͦͬͪͷ͚ͰεΩϟϯ • ϑΥτάϥϝτϦ(Autodesk Recap) Ͱ͍ΖΜͳ΋ͷΛεΩϟϯ • ϓϥϞɺϑΟΪϡΞɺ͵͍͙ΔΈ • mixamoͰϘʔϯೖΕಈ͔͢
6. ࠳ંʂ • ؆୯ʹϘʔϯΛೖΕΒΕͳ͍ • ϑΟΪϡΞ͸ݩʑ֨޷͍͍ϙʔζΛ͚͍ͭͯΔ • TελϯεͰ͸ͳ͍
7. 2014೥ ೦ئͷਓମεΩϟϯ • ॳΊͯͷਓମ̏DεΩϟϯ • ϗϦΤϞϯνϟϯωϧ • ࠓͰ͸ఆ൪ͷʮਓମΩϟ ϓνϟʯˠʮགྷΒͤΔʯ • সإͷ··Ͱ
8. ࠳ંʂ • إ͕มΘΒͳͯ͘ා͍ • Ϊϟάʹ͔͠ͳΒͳ͍ • ՄѪ͘ͳΒͳ͍ • ޱ͕։͚ΒΕͳ͍ͷͰɺ஻Β ͤΔ͜ͱ΋Ͱ͖ͳ͍
9. 2014೥ Project Airina • གྷΕΔՄѪ͍ঁͷࢠ̏DϞσϧΛ࡞ Γ͍ͨ • ౰࣌ՄѪ͍ͱ͞ΕΔ̏DϞσϧෆࡏ ʢϢχςΟͪΌΜ΋͍ͳ͍ʣ • TurboSquid ͰʮAirinaʯࣗෲߪೖ
10. ࠳ંʂ • إ͕มΘΒͳͯ͘ා (ུ • ޮ཰తʹಈ͔͢ख๏΋ͳ͔ͬͨ • BlendShape Λ࡞Δٕೳ͕ͳ͔ͬ ͨ
11. ղઆɿBlendShapeͱ͸ • ϘʔϯʹΑΔมܗͰ͸ͳ͘ɺϝογϡ ύλʔϯ • A→A1, A2, A3, .... ͷύλʔϯΛ༻ҙ • A1Λ10%, A2Λ20%... ࠩ෼ΛՃࢉ͢ Δ • ੍໿ • ಉ͡ϝογϡʢಉ͡τϙϩδʔʣͰ ͋Δ͜ͱ A A1 30% A2 20% A' + =
12. ղઆɿτϙϩδʔͱ͸ • ϝογϡͷྲྀΕ • ϝογϡͷߏ੒ • Ͳ͏۠੾ΒΕ͍ͯΔ͔ • ϙϦΰϯͷॱ൪͕ྲྀΕ͍ͯΔ͔ ಉ͡τϙϩδʔ BlendShapeՄ ҧ͏τϙϩδʔ BlendShapeෆՄ
13. 2015ʙ2017 ҉ࠇͷ࣌୅ • ϑΥτάϥࣗମ͕௝͘͠ͳ͘ͳͬͨ • ʮΈΜͳ΍ͬͯΔˠ๞͖Δʯͷ๏ଇ • ʮՄѪ͍̏DϞσϧ͸ϢχςΟͪΌΜͰྑ͍Μ͡Όͳ͍εΧ(൒ΪϨ)ʯ
14. 2018 IRIAM • ZIZAIൃ VϥΠϒ഑৴ΞϓϦ։ൃʹܞΘΔ • ARKit FaceCapture • ֤͕ࣾಈը഑৴ͷͱ͜ΖɺIRIAM͚ͩ ͸Ϟʔγϣϯ഑৴ • σϞ൛͸AssetStoreͷʮRikoʯͰ • ZIZAI୅දͷ௩ຊ͞ΜʹϓϨθϯ • ݱࡏ΋޷ධ഑৴தʂ
15. ࠳ંʂ • 2DͰ͍͍͡ΌΜ • ਺Λ͜ͳ͢ʹ͸2D͔͠ • BlendShape Λ࡞Δٕೳ͕ͳ͔ͬͨ • Ξχϝతͳ3DΩϟϥΛ͵Δͬͱಈ͔͢ख๏΋ ͳ͔ͬͨ • 3DϞσϧΛޮ཰తʹBlendShape࡞Δख๏͕ͳ ͔ͬͨ ©2019 ZIZAI Inc.
16. ࠳ંʂ࠳ંʂ࠳ંʂ • ໰୊ͷݪҼ͸ҎԼʹू໿ 1.ϝογϡΛ෼཭Ͱ͖ͳ͍ʲ෼཭ͷ໰୊ʳ 2.ද͔Βݟ͑ͳ͍ޱ಺౳ʹϝογϡΛ࡞Εͳ͍ʲޱ಺ ͷ໰୊ʳ 3.BlendShapeΛޮ཰తʹ࡞Εͳ͍ʲޮ཰ੑͷ໰୊ʳ
17. సػɿWrap3ʂ • Wrap3ͱ͍͏ϞσϦϯάπʔϧ Λݟ͚ͭΔ • ࠷ॳͷײ૝ʮ͋Εʁ͜ΕͰ෼ ཭ͷ໰୊͕ղܾͰ͖ͦ͏ʁʯ • ݱࡏͷײ૝ʮ͜Εແ͠Ͱ͸ੜ ͖͍͚ͯͳ͍ʯ
18. 2. ࠷ڧπʔϧʮWrap3ʯ঺հ
19. Wrap3ͱ͸ • ϝογϡมܗಛԽܕϞσ Ϧϯάπʔϧ • Wrapping • ϥοϓͰแΉײ͡ • ϊʔυϕʔε • όονॲཧ
20. Ծઆ ࣮ࣸ̏DϞσϧΛ Ϧτϙϩδʔ͕Ͱ͖ΔͷͰ͸
21. ղઆɿϦτϙϩδʔͱ͸ • τϙϩδʔͷܗ͸إͷมܗʹେ͖͘د༩ ͢Δ • ѱ͍τϙϩδʔͰ͸ΩϨΠʹإͷมܗ͕ Ͱ͖ͳ͍ • ̏DΩϟϓνϟϞσϧͦͷ··͸ѱ͍ τϙϩδʔ • ѱ͍τϙϩδʔΛΩϨΠʹ͢Δ޻ఔɺΛ ʮϦτϙϩδʔʯͱݴ͏ • ࠓ·Ͱ͸खಈ͔؆ུతͳࣗಈ
22. Ծઆɿ࣮ࣸ̏DϞσϧΛϦτϙϩδʔͰ͖Δʁ • ϕʔεϝογϡ࢖༻ • Wrap3͕σϑΥϧτͰ࣋ͬ ͍ͯΔ಄෦ϝογϡ • ޱ಺΋͋Δ(ͨͩ͠ࣃ/ࣃܪ/ ઉ͸ແ͍) • ϕʔεϝογϡͰ࣮ࣸ̏D ϝογϡΛϥοϓ ϕʔεϝογϡ ̙̏εΩϟϯϝογϡ
23. ݁Ռɿ࣮ࣸ̏DϞσϧΛϦτϙϩδʔͰ͖Δʁ • ͋ͬ͞Γ੒ޭʂ • ͦ΋ͦ΋νϡʔτϦΞϧ͕ιϨ Λ૝ఆ͍ͯ͠Δ • ΩϨΠͳτϙϩδʔͷϝογϡ ͕ͩΜͩΜͱϥοϓ͍ͯ͘͠ • ޱ͕཭ΕΔΑ͏ʹͳͬͨ • ʲ෼཭ͷ໰୊ʳΫϦΞʂ
25. 3. ࣮ફฤ
26. Ծઆ ARKitͷإ͕ಈ͘΍ͭ(Ξχจࣈ)Λ ࣮ࣸͰͰ͖ͳ͍͔ʁ
27. ԾઆɿΞχจࣈΛ࣮ࣸͰͰ͖ͳ͍͔ʁ • Ξχจࣈʹ͸51छͷBlendShape͕ඞ ཁ • 40छྨͷإͷΩϟϓνϟσʔλΛࡱ Ө(→ࠨӈ൓సؚΊΕ͹51) • ͦͷશͯΛϦτϙ • ೉͍͠Օॴ͸ϚεΫͰରԠ
28. ݁ՌɿΞχจࣈΛ࣮ࣸͰͰ͖ͳ͍͔ʁ • ࣦഊʂ • إΛಈ͔͢ͱഁ୼͢Δ • ݪҼ • ॏෳͨ͠มܗΛͯ͠͠·͍ͬͯͨ ➡ ద౰ͳมܗͰ͸NG ➡ Apple͕نఆ͍ͯ͠Δಈ͖͡Όͳ͍ͱNG ➡ ʮ͑ʁແཧ͡ΌͶʁʯ
29. సػɿProject Bebyface "Bebylon" • ಉ͡Α͏ʹ೰ΜͰ͍Δਓ͕ւͷ޲ ͜͏ʹ͍ͨ • Kite & Lightning • ಈըͷதͰʮApple͕51छͷϝο γϡαϯϓϧΛఏڙʯͱ͍͏৘ใ • CGRAPH Asia 2018Ͱ "Best Real- Time Graphics and Interactivity" Λड৆ https://www.youtube.com/watch?v=MfnNJaVCLM8
30. Apple 51 Sample Face • Apple͕༻ҙͯ͘͠Εͨαϯϓϧ • إද໘ͷΈ(಄෦͸ͳ͠).. • τϙϩδʔ͕ಠࣗ... • ϙϦΰϯ͕ߥ͍.... • ࡾ֯ϙϦΰϯ..... • ޱ಺͸ͳ͠....... ➡ ͦͷ··࢖͏ͷ͸πϥΠʂ
31. Ծઆ Apple 51 Sample Face ʹ ϕʔεϝογϡΛWrap͢Ε͹ 51छͷϕʔεϝογϡͷ͕ ׬੒͢ΔͷͰ͸ʁ
32. Ծઆɿ51 Sample Face ʹϕʔεϝογϡΛWrap • ϕʔεϝογϡࣗମΛ 51αϯϓϧԽͯ͠͠· ͏ • 51ݸ͸Ұݟେมͦ͏ ➡ όονॲཧͰղܾ ϕʔεϝογϡ Sample Face
33. ݁Ռɿ51 Sample Face ʹϕʔεϝογϡΛWrap • ੒ޭʂ • 51छͷϕʔεϝογϡ ϕʔεϝογϡ Sample Face มܗޙ ϕʔεϝογϡ
34. ϕʔε ϝογϡ มܗޙ ϕʔε ϝογϡ ೚ҙͷ ܗঢ় มܗޙ ೚ҙͷ ܗঢ় ݁Ռɿ51 Sample Face ʹϕʔεϝογϡΛWrap • ੒ޭʂ • 51छͷϕʔεϝογϡ • ϕʔεϝογϡΛ೚ҙͷ ܗঢ়ʹมܗ͑͢͞Ε ͹ɺΞχจࣈͷ BlendShape͕Մೳʹ • ʲޮ཰ੑͷ໰୊ʳΫϦ Ξʂ
35. ՝୊ɿޱΛ։͚Δͱࣃͱઉ͕ͳ͍ͷ͸ҧ࿨ײ • ޱύΫ͢Δͱࣃͱઉ͕ͳ͍ • ϕʔεϝογϡʹ͸ࣃͱઉ͸ؚ ·Εͳ͍ • TurboSquidʹࣃܪϞσϧ͕ • ͳΜͱ͔ˢΛ૊Έ߹ΘͤͰ͖ ͳ͍͔ʁ
36. Ծઆɿ LaticeϊʔυͰࣃܪ·Δ͝ͱ഑ஔͰ͖ͳ͍ʁ
37. ղઆɿLaticeϊʔυ • ࢀߟϞσϧͷมܗલˠมܗޙ͕ ͋Ε͹ɺͦͷมܗʹԠͯ͡มܗ Ͱ͖Δ • A→A1 ͱ͍͏มܗ͕͋Ε͹ɺ BΛ͍͍ͩͨB1ʹมܗͰ͖Δ • ܗঢ়͕ۙ઀͍ͯ͠Δ͜ͱ͕৚݅ A(ମ) A1(ମ) B(෰) B1(෰)
38. ԾઆɿLaticeϊʔυͰࣃܪ·Δ͝ͱ഑ஔͰ͖ͳ͍ʁ • A(಄): ϕʔεϝογϡ • A1(಄):ܗঢ়มԽͤͨ͞ϕʔε ϝογϡ • B(ޱ): ϕʔεϝογϡͷࣃܪ+ࣃ • A(಄)→A1(಄)ͷมԽΛ B(ޱ)→B1(ޱ)ʹదԠͰ͖Δ͔ʁ A(಄) A1(಄) B(ޱ) ʁ
39. ݁ՌɿLaticeϊʔυͰࣃܪ·Δ͝ͱ഑ஔͰ͖ͳ͍ʁ • ੒ޭʂ • 51ࣃܪύλʔϯΛࣗಈੜ੒ • ࡞ۀ͕΄ͱΜͲൃੜ͠ͳ͍ • ࣃܪҎ֎΋ʮ·ͭໟʯʮ໨ ۄʯʹ΋దԠՄೳ • ʲޱ಺ͷ໰୊ʳΫϦΞʂ
40. ౰ॳͷ໰୊ΛશͯΫϦΞʂ • ౰ॳͷ໰୊ 1.ϝογϡΛ෼཭Ͱ͖ͳ͍ʲ෼཭ͷ໰୊ʳ 2.BlendShapeΛޮ཰తʹ࡞Εͳ͍ʲޮ཰ੑͷ໰୊ʳ 3.ද͔Βݟ͑ͳ͍ޱ಺౳ʹϝογϡΛ࡞Εͳ͍ʲޱ಺ ͷ໰୊ʳ
41. 4. ௅ઓฤ
42. ՝୊ • γϫ͕ཉ͍͠ • ໨ΛͭͿͬͨ࣌ɺೋॏδϫ ͕͋Δͷ͸ม • ޱΛ๲Β·ͤͨ࣌ɺ΄͏Ε ͍ઢ͕͋Δͷ͸ม • එໟΛ্͛ͨ࣌ɺ͓Ͱ͜ʹ γϫ͕ແ͍ͷ͸ม • γϫͬͯͲ͏΍ͬͯ࡞Δͷʁ
43. Ծઆ γϫ͋Γˡˠγϫͳ͠Ͱ ςΫενϟϒϨϯυ͢Ε͹ྑ͍ͷͰ͸ʁ
44. Ծઆɿγϫ͋Γ/ͳ͠ͰςΫενϟϒϨϯυ͢Ε͹? • ௨ৗ/γϫ͋Γ/γϫͳ͠ͷς ΫενϟΛ༻ҙ • ShaderGraph ࢖༻ • URP/HDRP ݶఆ • BlendShapeͷ஋ʹԠͯ͡ɺς Ϋενϟ΋ϒϨϯυ • MaskςΫενϟͰ༗ޮൣғΛ ݶఆ
45. ݁Ռɿγϫ͋Γ/ͳ͠ͰςΫενϟϒϨϯυ͢Ε͹? • ੒ޭʂ • ΑΓϦΞϧʹදݱ • ࣮෺ͷγϫ • ඞཁ࠷௿ݶΩϟϓνϟ ͰOK • ௨ৗ • γϫ͋Γ • γϫͳ͠
46. ՝୊ɿ΍͸Γτϙϩδʔ͸มߋͨ͘͠ͳ͍ • ̏DϞσϦϯάΛ֎஫͢Δ৔ ߹ɺͦͷτϙϩδʔΛແࢹ͢Δ ͷ͸༐ؾ͕͍Δ • ཧ૝ • τϙϩδʔ͸Ϟσϥʔ͕ܾΊΔ • BlendShapeϞσϧ͸ࣗಈੜ੒
47. Ծઆɿ Laticeϊʔυ࢖͑͹ ҧ͏τϙϩδʔ΋มܗՄೳͰ͸ʁ
48. ԾઆɿLaticeϊʔυͰҧ͏τϙϩδʔ΋มܗՄೳʁ • ࣃܪΛҠ২ͨ͠Α͏ʹɺإ શମΛมܗͰ͖ΔͷͰ͸ʁ • ϕʔεϝογϡAΛإBʹد ͤͯมܗ͢Δ • A'͕Ͱ͖Δ • A'ΛA'1A'2... ͱ͍͏ Blendshapeʹ͢Δ • ͦΕΛLaticeͰBΛม͑Δ A B A B A' A B A' A'1 A'2 B1 B2
49. ݁ՌɿLaticeϊʔυͰҧ͏τϙϩδʔ΋มܗՄೳʁ • ੒ޭʂ • ͜ΕͰͲΜͳϞσϧͰ΋ BlendShape ࣗಈੜ੒͕Մೳ • ΞχϝతͳΩϟϥͰ΋ • ෰Λମܕʹ߹ΘͤΔ͜ͱ΋༰қ
50. ׬੒ʂ • iPhoneX/Xs/11/iPad Pro • Unity • Universal RP • LWRP Shader/Lit • Shader Graph • ARKit
51. 5. ӡ༻ฤ
52. 3D Scan + AI Talk + Unity ARKit = Emotional LipSync
53. Emotional LipSync • 3DΩϟϓνϟ(SSS) + Ի੠߹੒(ΤʔΞΠ) + Unity ARKit(͓ͳ͔ιϑτ) • ௨ৗͷϦοϓγϯΫʴإΩϟϓνϟͰΑΓࣗવײ͡ • ΤʔΞΠ͞ΜͷԻ੠߹੒ΤϯδϯΛ࢖༻ • ϦοϓγϯΫ͸OVR LipSync • iPhoneX/Xs/11/iPad Pro
54. Emotional LipSync ࣄྫ: Nࣾ͞Μͷ৔߹ • ࣾ௕ߨ࿩Λ࿩ͯ͘͠ΕΔAIΤʔδΣϯτ • ࣾ௕ͷ੠Ͱൃ࿩ • ࣾ௕ෆࡏͰ΋OK • ࣾ಺ൃදձͷͱ͖ͷ࢘ձ • ਓͷσδλϧΞʔΧΠϒ
55. 6. ࠓޙͷ՝୊
56. ΑΓϦΞϧʹ • ഽ • iOSͰͷݶք͕... • ΍͸ΓHDRP+iOS͔ͳ • ؟ٿ • ಛผͳγΣʔμʔ • ޱ https://twitter.com/illustor/status/1211688875237601280
57. ΑΓ҆Ձʹ • ؆қScan͸iOSͰ΋Մೳ • iPhoneͷΈͰ 3D Scan → BlendShapeࣗಈੜ੒ˠ ARKit
58. ·ͱΊ • BlendShape੍࡞ʹ͸Wrap3ͰࣗಈԽ • γϫ߹੒͸ShaderGraph • ʢࠓͷͱ͜ΖiOSͰ͸ʣUniversal RP࠷ڧ