Upgrade to Pro — share decks privately, control downloads, hide ads and more …

iPhoneひとつでデジタルヒューマンを実現する! 「Emotional LipSync」のヒミツ

Makoto Ito
February 17, 2020

iPhoneひとつでデジタルヒューマンを実現する! 「Emotional LipSync」のヒミツ

アニメ寄りのカワイイ女の子は皆さんに任せますが、リアル寄りでカワイイ女の子を表示する知見ってあまりないですよね。
これはリアル寄りのカワイイ女の子をUnity上で出そうと奮闘した試行錯誤の歴史です。
途中まであまりUnityは関係がなくて、ほぼ大半はWrap3に関する知見です。
リアル寄りのカワイイ女の子をUnityで出したい!という方は必見です。

Makoto Ito

February 17, 2020
Tweet

More Decks by Makoto Ito

Other Decks in Technology

Transcript

  1. ղઆɿBlendShapeͱ͸ • ϘʔϯʹΑΔมܗͰ͸ͳ͘ɺϝογϡ ύλʔϯ • A→A1, A2, A3, .... ͷύλʔϯΛ༻ҙ

    • A1Λ10%, A2Λ20%... ࠩ෼ΛՃࢉ͢ Δ • ੍໿ • ಉ͡ϝογϡʢಉ͡τϙϩδʔʣͰ ͋Δ͜ͱ A A1 30% A2 20% A' + =
  2. 2018 IRIAM • ZIZAIൃ VϥΠϒ഑৴ΞϓϦ։ൃʹܞΘΔ • ARKit FaceCapture • ֤͕ࣾಈը഑৴ͷͱ͜ΖɺIRIAM͚ͩ

    ͸Ϟʔγϣϯ഑৴ • σϞ൛͸AssetStoreͷʮRikoʯͰ • ZIZAI୅දͷ௩ຊ͞ΜʹϓϨθϯ • ݱࡏ΋޷ධ഑৴தʂ
  3. ݁ՌɿΞχจࣈΛ࣮ࣸͰͰ͖ͳ͍͔ʁ • ࣦഊʂ • إΛಈ͔͢ͱഁ୼͢Δ • ݪҼ • ॏෳͨ͠มܗΛͯ͠͠·͍ͬͯͨ ➡

    ద౰ͳมܗͰ͸NG ➡ Apple͕نఆ͍ͯ͠Δಈ͖͡Όͳ͍ͱNG ➡ ʮ͑ʁແཧ͡ΌͶʁʯ
  4. సػɿProject Bebyface "Bebylon" • ಉ͡Α͏ʹ೰ΜͰ͍Δਓ͕ւͷ޲ ͜͏ʹ͍ͨ • Kite & Lightning

    • ಈըͷதͰʮApple͕51छͷϝο γϡαϯϓϧΛఏڙʯͱ͍͏৘ใ • CGRAPH Asia 2018Ͱ "Best Real- Time Graphics and Interactivity" Λड৆ https://www.youtube.com/watch?v=MfnNJaVCLM8
  5. Apple 51 Sample Face • Apple͕༻ҙͯ͘͠Εͨαϯϓϧ • إද໘ͷΈ(಄෦͸ͳ͠).. • τϙϩδʔ͕ಠࣗ...

    • ϙϦΰϯ͕ߥ͍.... • ࡾ֯ϙϦΰϯ..... • ޱ಺͸ͳ͠....... ➡ ͦͷ··࢖͏ͷ͸πϥΠʂ
  6. ϕʔε ϝογϡ มܗޙ ϕʔε ϝογϡ ೚ҙͷ ܗঢ় มܗޙ ೚ҙͷ ܗঢ়

    ݁Ռɿ51 Sample Face ʹϕʔεϝογϡΛWrap • ੒ޭʂ • 51छͷϕʔεϝογϡ • ϕʔεϝογϡΛ೚ҙͷ ܗঢ়ʹมܗ͑͢͞Ε ͹ɺΞχจࣈͷ BlendShape͕Մೳʹ • ʲޮ཰ੑͷ໰୊ʳΫϦ Ξʂ
  7. Ծઆɿγϫ͋Γ/ͳ͠ͰςΫενϟϒϨϯυ͢Ε͹? • ௨ৗ/γϫ͋Γ/γϫͳ͠ͷς ΫενϟΛ༻ҙ • ShaderGraph ࢖༻ • URP/HDRP ݶఆ

    • BlendShapeͷ஋ʹԠͯ͡ɺς Ϋενϟ΋ϒϨϯυ • MaskςΫενϟͰ༗ޮൣғΛ ݶఆ
  8. ׬੒ʂ • iPhoneX/Xs/11/iPad Pro • Unity • Universal RP •

    LWRP Shader/Lit • Shader Graph • ARKit
  9. Emotional LipSync • 3DΩϟϓνϟ(SSS) + Ի੠߹੒(ΤʔΞΠ) + Unity ARKit(͓ͳ͔ιϑτ) •

    ௨ৗͷϦοϓγϯΫʴإΩϟϓνϟͰΑΓࣗવײ͡ • ΤʔΞΠ͞ΜͷԻ੠߹੒ΤϯδϯΛ࢖༻ • ϦοϓγϯΫ͸OVR LipSync • iPhoneX/Xs/11/iPad Pro
  10. ΑΓϦΞϧʹ • ഽ • iOSͰͷݶք͕... • ΍͸ΓHDRP+iOS͔ͳ • ؟ٿ •

    ಛผͳγΣʔμʔ • ޱ https://twitter.com/illustor/status/1211688875237601280