AvatarMakerを支える技術 / cluster_avatarmaker_engineering

by Cluster, Inc.

Slide 1

Slide 1 text

クラスター株式会社 @yutopp AvatarMakerを支える技術

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Cluster, Inc. All Rights Reserved. Clusterの技術構成 ● クライアント ○ Unity 2019.4.22f ○ MVPパターンで大体設計されている ○ ライブラリ ■ Zenject ■ UniRx/UniTask ■ etc… ● サーバー ○ Go ○ VRM/glTFを最適化する機構をもりもり搭載している ■ メタバースプラットフォーム clusterのserverについて（2021応用編） ■ OSSのglTFライブラリにPull Requestを出した件についてクラスター Advent Calendar 2021 参照

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Cluster, Inc. All Rights Reserved. glTF 2.0 メリット ● AssetBundleのように各プラットフォームに向けて何度もビルドする必要なし ● 標準的な規格なので、他言語のライブラリからでも読める相互運用性の高さ ○ プラットフォームごとのデータの最適化はバックエンド側で担保できるデメリット ● glTFの拡張領域を自由にライブラリから使うのが難しいマルチプラットフォームで使うには最高

Slide 22

Slide 22 text

Cluster, Inc. All Rights Reserved. glTF 2.0 > デメリット ● glTFの拡張領域を自由にライブラリから使うのが難しい解決策 UnityでglTFを扱うライブラリを丸ごと作って解決 yutopp / VGltf using (var importer = new Importer(gltfContainer, timeSlicer)) { importer.Context.Importers.Materials.AddHook(new Hooks.Part.AvatarPartVRM0MtoonImporterHook()); importer.Context.Importers.Nodes.AddHook(new VGltf.Unity.Ext.AvatarImporter()); return await importer.ImportSceneNodes(ct); } glTFのimport/export VRMのexport で利用

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Cluster, Inc. All Rights Reserved. アバターの合成実装ボツ案：複数のglTFパーツは単体でもHumanoidなので、合成せずに Animatorを同じ位置に重ねて表示する。メリット ● パーツの合成処理をVRM出力時に1度だけ行えばよいデメリット ● パーツ切替時にAnimationのタイミングをすべて合わせるのが非常に面倒だった… ● 必須のComponentをすべてのパーツにつけ、同期するのも大変だった

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Cluster, Inc. All Rights Reserved. Bone合成今回のAvatarMakerのglTFパーツは、Humanoidのボーンに関しては仕様を統一しているので、切替時にHumanDescriptionの変更はしていない。 (基本はSkinnedMeshRendererのSkeletonの付け替えのみ) ！Tips ● Humanoid関連のボーンを組み直す場合は、以下の値を編集したAvatarを animatorにセットする必要がある。 ○ HumanDescription.human ○ HumanDescription.skeleton ● Avatar.isHumanがfalseを返さないように気をつける。

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Cluster, Inc. All Rights Reserved. Texture合成シェーダボツ案 : CustomRenderTexture 「カスタムレンダーテクスチャはレンダーテクスチャの拡張機能で、これを使うと簡単にシェーダー付きのテクスチャを作成できます。」 https://docs.unity3d.com/ja/2019.4/Manual/class-CustomRenderTexture.html 合成 Shader Material Custom Render Texture 色々なテクスチャ色々なプロパティ

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Cluster, Inc. All Rights Reserved. IL2CPP ● checkedの範囲が変わる ○ checkedでsignedもunsignedに変換されてしまった https://github.com/yutopp/VJson/commit/3d2f4dbefbacf050dcad71e6f8286fa834da1261 + if ( i < 0 ) + { + throw new OverflowException(); + } o = checked((byte)i);

Slide 39

Slide 39 text

Cluster, Inc. All Rights Reserved. IL2CPP ● Type/TypeInfoのGetCustomAttributesで返ってくるインスタンスがキャッシュされてる ○ 実装依存っぽさ… https://github.com/yutopp/VJson/commit/120020a1c90dd1f0275d0f9353eef4e089943b0a TypeHelper.GetCustomAttribute(ty)? .MemberwiseClone();

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Cluster, Inc. All Rights Reserved. IL2CPP ● code strippingによって静かに実行時エラーが発生 ○ “[Preserve]” 属性をつけて解決… https://github.com/yutopp/VJson/blob/4db11d1a89fcaa61c8d4f26cf7d2c1f9c2794f18/Packages/net.yutopp.vjs on/Runtime/Attribute.cs#L20 ● 自前定義…？ ● Unityに “UnityEngine.Scripting.PreserveAttribute” ない？ ○ PureC#のコード部分なので、UnityEngineへの参照を持ちたくない「For 3rd party libraries that do not want to take on a dependency on UnityEngine.dll, it is also possible to deﬁne their own PreserveAttribute. The code stripper will respect that too, and it will consider any attribute with the exact name "PreserveAttribute" as a reason not to strip the thing it is applied on, regardless of the namespace or assembly of the attribute.」 https://docs.unity3d.com/2019.4/Documentation/ScriptReference/Scripting.PreserveAttribute.html