VRMアバターのキャリブレーションや表情設定とマルチプレイ同期

- 第6回VRM勉強会
https://vrm.connpass.com/event/260117/
- こちらのURLから10分ほどのLT
https://youtu.be/iWucttIioRk?t=6209
- DVRSDKとFinalIKを組み合わせてキャリブレーションを実装

Transcript

1. ࣗ࡞ΞϓϦʹ͓͚Δ
   ΩϟϦϒϨʔγϣϯ΍ද৘ઃఆͱ
   ϚϧνϓϨΠಉظ
2. ୭ʁ גࣜձࣾFlamers ڞಉ૑ۀऀ ࿀ѪϝλόʔεMemoria։ൃத VRChatʹͯϘΠνΣϯ੎ͱͯ͠ੜ͖ͯΔ Unityྺ͸·ͩ൒೥͘Β͍ɻVRChatϫʔϧυ͸Կݸ΋࡞ͬͨɻ
3. ࠓ೔͢Δ࿩
4. VRChat ࡞Δ ͱ͍͏ͷ͸ʜ⿅
5. ࠓ೔͢Δ࿩ ΞόλʔͷΩϟϦϒϨʔγϣϯʹDVRSDKΛ׆༻͢Δ ίϯτϩʔϥʔ͔Βද৘ɾϋϯυαΠϯΛܾఆ͢Δ ϚϧνϓϨΠʹରԠͤ͞Δ 2ਓ͕ΏͬͨΓ࿩ͤΔVRۭؒΛ࡞Γ͍ͨʂ
6. ͍͖ͳΓ୤ઢ
7. VR։ൃ؀ڥ Unity XR Interaction Toolkit OpenXR Plugin FRAME SYNTHESIS Unity Sync Day2 ໷
8. ΩϟϦϒϨʔγϣϯ
9. Ξόλʔʹ͍͍ײ͡ʹೖΔ͜ͱʂʂ
10. Final IK͚ͩͰ͸ؾ࣋ͪѱ͍ Final IKΛಋೖ Final IKͷVR IKΛVRMϞσϧʹΞλον खटɾගͳͲ͋ΒΏΔϘʔϯͷ޲͖͕ؾ࣋ͪѱ͍ɻ ࢹ఺ͷҐஔ͕͓͔͍͠ɻΞόλʔͷ಄্ʹ͋Δɻ ʢࠨӈͷॏෳΛߟྀͯ͠΋ʣઃఆ߲໨70ۙ͘
11. Կ͔͍͍ײ͡ʹ΍ͬͯ͘ΕΔ ΋ͷͳ͍͔ʁ
13. DVRSDKͱ͸ DMM VR lab͕։ൃ͠ɺOSSԽ / ݱࡏ͸։ൃετοϓ DMM VR Connectͱ࿈ܞͯ͠ɺΞόλʔϩʔυͳͲ͕ՄೳʢαʔϏεऴྃʣ VRM1.0΁ͷରԠ΋ແ͍ͨΊجຊతʹґଘͨ͘͠ͳ͍ ΩϟϦϒϨʔγϣϯͷίʔυ͕࢖͑Δʂ खͷͶ͡Εͱ͔͍͍ײ͡ʹͯ͘͠ΕΔʂ ͨͩ͠ɺઃܭͷํ਑ʹΑΓมߋΛՃ͑Δ
14. ΩϟϦϒϨʔγϣϯͷઃܭʲDVRSDKʳ ΩϟϦϒϨʔγϣϯϘλϯΛԡͨͦ͠ͷॠؒɺඞͣΞόλʔཱ͕ͬͨঢ়ଶʹͳΔ ΩϟϦϒϨʔγϣϯ ਎௕ೖྗ͕ෆཁͳखܰ͞͸͋ΔҰํɺ ϦΞϧͰ࠲ͬͨঢ়ଶͰΩϟϦϒϨʔγϣϯͪ͠Ό͏ͱɺΞόλʔ͕͠Ό͕ΉͨΊʹ͸ɺ ϦΞϧͳࣗ෼͕΋ͬͱ௿࢟੎ʹͳΔඞཁ͕͋Δ →෡Ͱʹ͘͘ͳ͍ʁ ΩϟϦϒϨʔγϣϯͱ͍͏֓೦ʹϢʔβʔΛ৮Εͤͨ͘͞ͳ͍ɻ
15. ΩϟϦϒϨʔγϣϯͷઃܭʲVRChatʳ ʢ3఺Ͱ͋Ε͹ʣϢʔβʔ͸ΩϟϦϒϨʔγϣϯͱ͍͏֓೦ʹ৮Εͳ͍ɻ ୅ΘΓʹɺStand / SitϞʔυͷબ୒ͱɺϦΞϧͳ਎௕ͷೖྗɻ StandϞʔυ → ମ੎ͷิਖ਼ͳ͠ʢϦΞϧͰཱͯ͹Ξλόʔ΋ཱͪɺ࠲Ε͹࠲Δʣ SitϞʔυ → ϦΞϧͰ࠲͍ͬͯΔঢ়ଶͰɺΞόλʔཱ͕ͬͨঢ়ଶʹͳΔ ʢϞʔυ੾Γସ͑࣌ͷ໨ઢ͕ɺΞόλʔཱ͕ͬͨ໨ઢʹͳΔΑ͏Լବཤ͔ͤΔʣ SitϞʔυ StandϞʔυ
16. ઃܭʢStandϞʔυʣ ① ࿹ͷ௕͕͞߹͍ͬͯΔͱײ͡Δ ② ࣗ෼ͷཱͪ/࠲ΓͱΞόλʔ͕ಉظ͢Δ
17. ઃܭʢStandϞʔυʣ   ɾVRۭؒ಺ͷࣗ෼ʢPlayerʣͷScaleΛௐ੔͢Δ ɾʮ࿹+ݞʯͷൺ཰Ͱม׵ ɾʢ͜͜Ͱ͸ 0.34 / 0.56ഒʣ 0 ff TFU ࣗ෼ཱ͕ͬͨͱ͖ʹΞόλʔཱ͕ͬͨঢ়ଶʹ ͳΔΑ͏ʹɺOffsetΛઃஔ ɾϦΞϧ਎௕175cm(Ϣʔβʔ͕ઃఆ) ɾਓମੇ๏σʔλϕʔεΛࢀߟʹ࿹΍ ݞͷ௕͞Λࢉग़ ɾΞόλʔͷAnimator͔Βɺ GetBoneTransformʹΑΓ֤Ϙʔϯͷ࠲ඪऔಘ ɾʢྫʣUpperArmͱHandͷϘʔϯͷDistance ΑΓ࿹ͷ௕ܾ͞ఆ
18. ઃܭʢSitϞʔυʣ 0 ff TFU StandϞʔυ࣌ΑΓ΋ɺOffsetΛେ͖͘͢Δ ࣗ෼͕࠲͍ͬͯΔঢ়ଶͰɺ Ξόλʔཱ͕ͪঢ়ଶʹͳΔΑ͏ʹௐ੔ ɾϦΞϧͰ࠲͍ͬͯΔࠓͷHMDͷ࠲ඪ ɾϦΞϧ਎௕͔Βࢉग़͢ΔɺϦΞϧͰཱ͍ͬͯ Δͱ͖ͷHMDͷ૝ఆ࠲ඪ ɾͦͷࠩ෼Λ΍΍ิਖ਼ܾͯ͠ఆ
19. ද৘
20. ද৘ VRCͱಉ͡Α͏ʹɺίϯτϩʔϥʔೖྗʹΑΓɺϋϯυαΠϯͱإͷද৘Λܾఆ 1SJNBSZ
    4FDPOEBSZ
    5IVNC
    4UJDL /VMM
    5PVDI 5SJHHFS /VMM
    5PVDI
    1SFTT (SJQ /VMM
    1SFTT ӈखࠨख͝ͱʹܾఆ ϚϧνϓϨΠ ಉظ ϋϯυαΠϯ إͷද৘ WBS
    SVOUJNF&YQSFTTJPO
    
    Ϟσ ϧ(FU$PNQPOFOU73.*OTUBODF 3VOUJNF&YQSFTTJPO
    SVOUJNF&YQSFTTJPO4FU8FJHIU &YQSFTTJPO-FZ)BQQZ
    G 
21. ϚϧνϓϨΠ
22. ϚϧνϓϨΠ Photon CloudΛ׆༻ ͬ͘͟Γݴ͏ͱɺҎԼͷ࠲ඪΛڞ༗ͯ͠ɺ֤ΫϥΠΞϯτͰIKΛܭࢉ͍ͯ͠Δ ɾXR OriginʢϓϨΠϠʔͷ਌ΦϒδΣΫτʣ ɾHMD ɾӈखͱࠨखͷίϯτϩʔϥʔ ɾRPCΛ׆༻ͯ͠ɺʢޙ͔ΒJoinͨ͠ਓ΋ؚΊͯʣΩϟϦϒϨʔγϣϯΛಉظ͍ͯ͠Δɻ ɾΩϟϦϒϨʔγϣϯ݁Ռͷڞ༗ʢVR IKͷઃఆ΍ؔ࿈͢ΔGameObjectͷTransform ஋ʣͰ͸ͳ͘ɺ ඞཁͳ৘ใʢϦΞϧ਎௕ͳͲʣΛϓϩύςΟͱͯ͠ૹΓͭͭɺ֤ΫϥΠΞϯτ͕ͦΕͧΕ DoCalibration()ΛݺΜͰ͍Δ
23. ͝ਗ਼ௌ ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ