「REALITY」3Dアバターシステムの7年分の拡張の歴史について

「REALITY」3Dアバターシステムの 7年分の拡張の歴史について REALITY株式会社ソフトウェアエンジニアようてん（山内洋典）

自己紹介 • ようてん（山内洋典） • @youten_redo • ソフトウェアエンジニア • REALITY社
8年生 • Unity・3Dまわりを担当しています 2

• はじめに • M体型の追加（2019） • 髪色自由化（2019） • ボトムス・シューズ（2019） • ガチャとセット服（2019）
• ジェスチャーエモート（2020） • フェイストラッキングの変遷とハンドトラッキング（2018-2024） 3 • アクセサリ位置調整（2023） • ルームとアニメーション家具（2023） • Avatar 2.0（2024） • フルボディトラッキング（2024） • アバター染色（2025） • おわりに目次・アジェンダ

はじめに 4

REALITYと3Dアバター • REALITYはスマートフォン一つでオリジナルの3Dアバターを作成してライブ配信などのコミュニケーションを楽しめるアプリです • フェイストラッキングの適用など、3Dを活かした多様なアバター表現が可能です • 2018年にリリースされて7周年、8年目に入りました •
今日は「7年間でいろいろ増えました」という話をします 5

REALITYと3Dアバター • 今日は「7年間でいろいろ増えました」という話をします 6 2018リリース当初のクローゼット 2025現在のクローゼット

REALITYと3Dアバター • 今日は「7年間でいろいろ増えました」という話をします • カテゴリ：4→30 • アイテム数：23→7000以上 7 2018リリース当初の
クローゼット 2025現在のクローゼット

REALITYと3Dアバター • 今日は「アセットと見た目のサービス的な互換性を保ったまま7年間でいろいろ増えました」という話をします • カテゴリ：4→30 • アイテム数：23→7000以上
• このくらい仕様があとから増えてもなんとかなったよ！ 8 2018リリース当初のクローゼット 2025現在のクローゼット

9 F体型 M体型身長最小身長最大

10 体型パラメータ変更ウィッグ髪色の設定エモート

• ジェスチャーエモート（2020） • フェイストラッキングの変遷とハンドトラッキング（2018-2024） 11 • アクセサリ位置調整（2023） • ルームとアニメーション家具（2023） • Avatar 2.0（2024） • フルボディトラッキング（2024） • アバター染色（2025） • おわりに

M体型の追加（2019） 12

M体型の追加（2019） • リリースから体型が「F型」固定でしたが、「M型」が追加されました • Female/Maleではなくて Feminine/Masculineぐらいのニュアンスです •
「F型用アイテム」と「M型用アイテム」は全部別々につくっています 13 F体型 M体型

M体型の追加（2019） • 「F型の素体」と「M型の素体」が別に存在します ◦ F型でつくったメッシュをM型に「コンバート」したり、テクスチャやアクセサリをFMで共通で使いまわすこともあるのですが、基本的には制作コストが2倍です • 3D技術的には素体を別にするメリットはそこそこあります ◦ 衣装パーツの体型変化時の互換性がよくなります
◦ 共通素体にした際には、どうしても中性的な表現に落ち着きがちです • ユーザー所持アイテムとしては複雑になるというデメリットがあります ◦ REALITYでは、「F型とM型で別のアイテム」「F型とM型で共通のアイテム（内部的に2 つのアイテムをセットで扱います）」「体型に関係ないアイテム（壁紙など）」という3 種類の概念があり、かなり複雑です。 14

髪色自由化（2019） 16

髪色自由化（2019） • リリースから髪・眉・目の色が固定の10色でしたが、色を自由に変更できるようにしました • Main・Shadow・Highlight、シェーダが扱う3つの色を変更する仕組みです •
内部的には最初から3つのRGB 値を保持するつくりになっていて、UIのみ後から追加されました 17 髪色の変更目の色の変更

　ボトムス・シューズ（2019） 19

ボトムス・シューズ（2019） • リリースからずっとREALITYアプリは上半身のみだったのですが、半年経って、ついに下半身に対応しました。 • 上半身しか映らないようにしていたカメラまわりの制限を見直して、全身が映るようになりま
した 20 ボトムスカテゴリシューズカテゴリ

半年で初期計画仕様のリリース完了 • 2018.10のREALITY Avatarのリリースから、約半年経過した2019.05の「ボトムス・シューズ」で、初期に計画していたアバターシステムとしての仕様は、おおむねリリース完了となりました。 • つまりこれ以降は全て仕様追加ということです！ 21

ガチャとセット服（2019） 22

ガチャとセット服（2019） • アバターアイテムを「売る」機能の開発が始まりました • より魅力的な、価値の高いアバターアイテムが必要になり、トップスとボトムスがセットになった「セット服」という概念が追加されました
24 ガチャ試着クローゼットセット服カテゴリ　　　＋　　　　＝

他のカテゴリの装着状態に影響を及ぼすアイテム • 着せ替えアプリとしてはよくあるものだと思いますが、セット服の導入により「他のカテゴリの装着状態に影響を及ぼすアイテム」という概念がはじめて登場しました • ルールとして以下の通りです ◦ セット服を着ると、トップスとボトムスは脱げる ◦
セット服を着た状態から、トップスを着ると、固定のボトムスになる ◦ セット服を着た状態から、ボトムスを着ると、固定のトップスになる ◦ 「セット服を着るとシューズが脱げる」のような特殊な設定もあります • 元の髪型設定を残したまま別の髪を装着する「ウィッグ」や、複数の細かい調整パラメータを一括して変更する「フェイスプリセット」のような概念に応用されていきます 25

クローゼットカテゴリとスロット • 服として自然な分類を「クローゼットカテゴリ」が担当 ◦ Original（体型）, Hair（髪）,Wig（ウィッグ）, Eyes（目）, ColorContact（カラコン）, Tops（トップス）,
Bottoms（ボトムス）, SetClothes（セット服）, Shoes （シューズ）, ... • 一段階内側に、内部システムとして排他な装着箇所を「スロット」が担当 ◦ Trunk, LeftArm, LeftHand, RightArm, RightHand, Waist, Legs, ACC_CenterEye, ACC_CenterEye_Glasses, ACC_FrontCenterHair, ACC_FrontLeftHair, ACC_FrontRigtHair, ... 26

クローゼットカテゴリとスロット 27 トップスにはTrunk, LeftArm, RightArm, LeftHand, RightHandが、ボトムスにはWaistとLegsが所属します頭部のメッシュ分割後述するAvatar
2.0で刷新しました

クローゼットカテゴリとスロット • このようにクローゼットカテゴリとスロットで2段の概念になっています • ちょっと複雑ですが、アセット開発の効率化やカテゴリの再構成がやりやすくなる効果があります
28 スロット： Trunkのみスロット： Trunk + LeftArm + RightArm スロット： Trunk + LeftArm + RightArm + LeftHand + RightHand

ジェスチャーエモート（2020） 30

• 2020年、ジェスチャーエモート機能が登場しました • 最初は固定の4つでしたが、後にクローゼットから差し替えが可能になりました • よくある「固定アニメーション再生」機能です
• REALITYではフェイストラッキングと融合して動作するため、多彩な表現ができます 31 ジェスチャーエモート（2020）リリース時の固定4エモートジェスチャーエモートカテゴリ

AnimationControllerのLayer芸 • Unityではよくある AnimationContorllerのLayer芸で優先度制御をしています • REALITYでは配信中のギフトによる「強制的に再生が開始されるエモート」などもあります •
主に上半身を担当する「ジェスチャーエモート」に加え、全身を担当する「ホールエモート」が後から追加されました 32

フェイストラッキングの変遷とハンドトラッキング（2018-2024） 34

フェイストラッキングの変遷 35 機種 2018 2019 2020 2021 2022 2023 2024
2025 iOS ARKit対応機種 iOS ARKit非対応機種 Android 2018.10 ARKit Face Tracking 2018.12 ﬁrebase ML Kit Face Detection 2020.08 hyprface 2018.12 Vision Framework Face Landmark 2021.10 Facemoji 2020.08 hyprface 2021.10 Facemoji 2023.04 エイプリルフールでMediaPipeによるハンドトラッキングを実現 2023.02 MediaPipe 2023.02 MediaPipe 2024.04 ランク報酬としてハンドトラッキングを開放

フェイストラッキング 36 • 前図のとおり、そこそこ入れ替わっています • iOSのARKit Face Trackingがとにかく優秀で、REALITYアバターの表現力はかなりこれに支えられています ◦
2020年のARKit 4から、TrueDepthカメラ非搭載の機種でも対応となりました • Androidは色々あって、買い入れライブラリを経て、MediaPipeベースの内製に落ち着きました ◦ homuler/MediaPipeUnityPlugin ◦ MediaPipeは非常に相性の悪い機種（SoC）があり、リリース時に開発した、負荷の軽い ﬁrebaseが選択的に現存しています

ハンドトラッキング 37 • せっかくMediaPipeを導入したので、発展系としてハンドトラッキングを実現しました • エイプリルフールで登場、後にランク報酬として開放 •
MediaPipe導入とHolisticなハンドトラッキング話は2023年の発表を参照 • REALITYアバターの個性を引き出す！MediaPipeによる高品質フェイストラッキング実装術 - GREE Tech Conference 2023 MediaPipe Face Mesh Face Mesh REALITYカスタム Holistic REALITYカスタム MediaPipe Holistic REALITY向けに最適化したFace Meshを元に Holisticもカスタムしてフェイストラッキング品質を維持 478個の顔ランドマークがとれます顔・ポーズ・手がとれます

アクセサリ位置調整（2023） 39

アクセサリ位置調整（2023） • アクセサリの大きさ・位置・角度を調整できる機能です • パラメータに制限が設定できるようになっています • 3Dアバターとしては定番の機能ですが、REALITYでは「なるべ
く手間をかけずにいい感じにする」ことを心がけてきたため、比較的最近の実装になりました 40 アクセサリ位置調整あっ、飛んできそう

ルームとアニメーション家具（2023） 42

• ルーム機能にて、アバターがアニメーションする家具が登場 • イスに座ったり、ベッドで横になったり、楽器を弾いたり… • 昔からあった「装着できるギフト」とワールドの「座る機能」がベース
• エモートとあわせてアニメーション組み合わせのカンブリア爆発 43 イスに座ってキーボードを演奏中多様なギミックがついた家具ルームとアニメーション家具（2023）

複雑な組み合わせルール • イスなどの「乗り物」 • 楽器などの「装着品」 • 「乗り物」と「装着品」は同時に使える • エモートは、部位があいていれ
ば同時に使える • ただしいずれかが全身アニメーションだった際には排他される： 44 乗り物であり装着品であるドラム家具スティックを持っていない際にはエモート可

複雑な組み合わせルール • ベストエフォートで探りながらやっている • リリース済みの家具を遡って修正することも 45 ドラムから離れてもスティックで叩ける
「上半身」のエモートはイスとの相性がある

Avatar 2.0（2024） 47

Avatar 2.0（2024） 48 • 6年目にして初の大規模アップデート • 体型と顔まわりを中心にカテゴリ・調整項目が大幅追加 •
内部の仕組みを大幅に変えつつも見た目の互換性を最大限維持 • Avatar 2.0のテクニカルな詳細については2024年の発表を参照 ◦ “なりたい自分“をアップデート！「REALITY Avatar 2.0」の開発秘話 - GREE Tech Conference 2024

体型調整の拡張 49 より小さいより大きい肩幅横幅手足の長さ • ボーンスケールで実現
• Unityでは親のスケールが子に反映されてしまうため、GameObject を1つ挟んで解決 • 家具やエモートで体型差をカバーするためIK機構と設定を導入

顔まわりの変更 50 新カテゴリ「鼻」「輪郭」「掘りの深さ」「しわ」「アイメイク」などの追加テクスチャベースで任意の領域に髪色を適用、刈り上げ・スキンヘッドに対応顔の構成要素・境界線をがっつり変更「元と同じ見た目になるように」
大量のアセットを新規作成最終的に修正したアイテム数645 （変更ファイル数6000弱）のアセットチェックを支えるチェックツールも開発

フルボディトラッキング（2024） 52

フルボディトラッキング（2024） 53 • ソニー株式会社のモバイルモーションキャプチャーmocopi®によるフルボディトラッキングに対応しました • フェイストラッキングと共存 •
特定シーンに限定せず、クローゼットから配信中、ルームもワールドもコラボも区別なく動作 mocopiアプリ REALITYアプリモーション情報 mocopi mocopi対応の概要

• ジェスチャーエモート（2020） 54 • フェイストラッキングの変遷とハンドトラッキング（2018-2024） • アクセサリ位置調整（2023） • ルームと装着系家具（2023） • Avatar 2.0（2024） • フルボディトラッキング（2024） • アバター染色（2025） • おわりに

アバター染色（2025） 55

アバター染色（2025） 56 • アバターのパーツの色を変えられるようにする機能 • 元々カラバリを作りやすくするため、多くのアイテムはマスクテクスチャ＋色情報で動作するシェーダになっている
◦ この方式は2019年春に導入、6年越しのフラグ回収染色中の画面

アバター染色（2025） 57 • 根本としては「マテリアルの色を変えるだけ」の機能 • しかし「染色色情報をどう保存してどう伝達するか」についてはアバター関連全域に渡る大改造 •
リリース後、「社内ツールが染色に対応していない」というバグがそこそこ出ました。マスクテクスチャの例

おわりに 58 • たいていのことはがんばればなんとかなります

おわりに 59 • たいていのことはがんばればなんとかなります • という話で終わってしまうと得るものがないので「いちばん後悔している仕様」を紹介してオチにしたいと思います

おわりに 60 • たいていのことはがんばればなんとかなります • という話で終わってしまうと得るものがないので「いちばん後悔している仕様」を紹介してオチにしたいと思います • 0埋めstringはやめときましょう ◦
カラバリを"0001", "0002",... という文字列で表現しているのですがかなりよくないです。素直に1,2,3,....のintにしましょう。

ご清聴ありがとうございました 61

「REALITY」3Dアバターシステムの7年分の拡張の歴史について

「REALITY」3Dアバターシステムの7年分の拡張の歴史について

More Decks by gree_tech

Other Decks in Technology

Featured

Transcript