REALITY株式会社　Director　白井 暁彦 GREE VR Studio Laboratory - UXDev R&D Summary 2022 REALITY株式会社　Intern　堀部貴紀 中野友介 加藤琢磨 Alexandre Berthault

グリーグループでメタバース事業を推進する REALITY株式会社において、 XR・メタバース時代の研究開発・発信活動を推進 するGREE VR Studio Laboratoryの 最新の活動成果を報告します。具体的には、 ・複数のユーザによるアバター楽曲演奏 　「AI Fusion」 ・音声信号処理による感情・表情推定、 ・HMD体験におけるプロトタイピング、 ・その可視化 …を凝縮して紹介します！ GREE VR Studio Laboratory 2022 - Metaverse Research and Development GREE VR Studio Laboratory - UXDev R&D Summary 2022

中野さん 明治大学総合数理学部先端メディアサイエンス学科の4年。 2020年12月よりラボに参加。UXDevシリーズを通して助監督としてストーリーライン設計から Unityのエンジニアリングなど幅広く担当。アカペラサークル所属。映画好き。 やはぎさん デジタルハリウッド大学デジタルコミュニケーション学部デジタルコンテンツ学科の2年。 UxDevシリーズのUnityのエンジニアリングや各種スクリプティングを担当しています。 高校時代からラボに出入りしていた生粋のメタバースの住人。VALORANTで戦っている。 堀部さん 明治大学大学院先端数理科学研究科先端メディアサイエンス専攻修士1年。 2019年10月よりGREE VR Studio Laboratoryにて実験的ボイスチェンジャーサービス『転声こ えうらない』利用者の音声分析やボイスチェンジャーのiOS実装や高速化に取り組む。UXDevで は、主に音声や表情を担当している。Pikmin BloomでLv70超。 Member in GREE VR Studio Laboratory

Alexandre Berthaultさん フランスのデジタルアート系大学ISART Digitalを卒業し、東京港工科大学の研究生をやっている UXデザイナー。UXDevシリーズでは、主にUXプロトタイピングとエフェクトデザインを担当し ている。ラーメンが好き。漢字が苦手。 山岡さん 明治大学総合数理学部先端メディアサイエンス学科4年。2022年10月よりGREE VR Studio Laboratoryに参加。アバターが現実世界に違和感なく溶け込む技術を研究している。 Meta Quest, Hololens2, Web AR等での制作経験を活かしてアバター周りのR&Dを担当。 最近はQuest等HMDデバイスのアバターベンチマークツールを担当。 白井暁彦 Director GREE VR Studio Laboratoryのディレクター。研究開発と教育、ビジュアルアート、VRエンター テインメント、科学コミュニケーションなどで25年以上の経験を持つ。多様な才能を発揮してグ リーグループの開発文化に多様性を沿えている。 業務外でグリー技術書典部や書籍「AIとコラボして神絵師になる」などを執筆している。 Member in GREE VR Studio Laboratory

•GREE VR Studio Laboratory, REALITY株式会社 •UXDev https://vr.gree.net/lab/uxdev/ •チーム紹介 https://vr.gree.net/lab/internship/ GREE VR Studio Laboratory - UXDev R&D Summary 2022 5


弦楽器・打楽器における AI Fusion: システム構成 技術課題：モーションキャプチャーを使う と楽器演奏が難しい。 正解譜面から生成したアニメーションは （演奏として正しいが）見ていて飽きる。 個人の表現力の豊かさを維持しながら 将来的にネットワーク上で 「アバターカラオケ」ができる気軽さが 可能になるAIアシスト技術を開発。 参考：正解譜面だけで生成した ドラムアニメーション

みんなで楽曲を演奏する体験 Collaborative Music Play Experience REALITYのアバターで Questだけで メタバース内でスクールバンドのメンバーに なれる体験ができる……！ 自由度が高い近未来の「アバターカラオケ」 GREE VR Studio Laboratory、メタバース 時代のアバターを活用したクリエイターエコノ ミーを刺激～バーチャル演奏技術映像 「AI Fusion」を公開～ PRTIMES 2022/10/19

Voice2Emote：HMD装着時のアバター表情生成 堀部貴紀, 中野友介 【背景】 「HMD装着時は顔トラッキングが使えない！」 …と思考停止することなく、現在のREALITYと近い感覚で、 より多様で高速な表情生成を行うことができないか？ → 音声による表情生成を検討。 【過去の取り組み：uLipSyncによるエモート再生】 ● リアルタイムに音響特徴量MFCCを解析 ● 予めキャリブレーションしたプロファイルと 照らし合わせて一番近い音素を推定 ● BlendShapeへ反映する（かなり高速） [uLipSyncによる実装@GTC21]

音声から表情を生成する研究 【NVIDIA Audio2Face】 Facial Action Coding Systemに基づくと思われるBlendShapeを46項目取得する 例えば、口唇の動きに関係する値は、Audio2Face：24項目, REALITY VRM：5項目 → 互換性がない、表現方法が制限される。 フォトリアルなアバターとアニメ調のアバターの構成の違い https://www.nvidia.com/ja-jp/omniverse/apps/audio2face/ Related Works Avatar File Format Languages Audio2Face (NVIDIA) 3D Photo-Realistic .usd, Maya 英語、フランス語、 ロシア語 MeshTalk (Facebook) 3D Photo-Realistic .obj MakeItTalk (Adobe) 2D Any 関連研究

音素セグメンテーション Julius Segmentation-Kit Voice/音声 時刻[s], 音素 モーラ変換 時刻[s], モーラ 0.0000 1.2125 silB 1.2125 1.3025 m 1.3025 1.3425 a 1.3425 1.3725 d 1.3725 1.4525 a 1.2125 1.3425 ma 1.3425 1.4525 da 1.4525 1.5625 mi 1.5625 1.6625 ta … … .anim ● 「あいうえお」に対応するBlendShapeを用いたアニメーション ● 母音/子音の分類は可能 → 母音/子音を考慮したキーフレーム ● 口の開き具合、眉毛の角度/動きによる感情表現の重要性 → 音声信号処理と表現に対する機械学習を利用した改善 In Unity 母音から口の形状の決定 Voice2Emote：パイプライン

UXDev エフェクト Visual Effect Graph 11


UXDev エフェクト Visual Effect Graph 12
 Pros ● Optimised ● Multiple systems ● Easy iteration ● Compatible with shaders ● No easy collisions Cons ● No easy collisions

13
 Shader Graph Animations UXDev エフェクト

14
 Simple particle system Post process Off On UXDev エフェクト

Guitar effects 15
 Off On UXDev エフェクト

UXDevでのキャラクターアニメーション デジタルハリウッド大学2年 VRStudioLab Takuma Kato aka.やはぎ

VR機器を使ったモーションキャプチャーシステム • Q2,Q3の実装の中でアニメーションを作るコストが高いと感じてい た。 • キャラクターを動かすのにメンバーがリモート環境でアニメーション を作成する方法が欲しかった。 • Labのメンバーは全員Meta Quest2を持っている。 • 足の表現をしたいのでフルトラッキングも可能だと望ましい

QueTra: Questを使った簡易モーションキャプチャ

VRデバイス (SteamVR) DVRSDK ※ キャリブレーション SteamVRからのinput アバター(VRM) Easy MotionRecorder Project内の キャラクター VRIK IKベースで キャラクターを動作 頭・手等の座標 データ キャラクターと 現実の人間の 体格差を補正 Humanoid形式の Animation キャラクターの モーション ※DMM VR Connect SDK システムのフロー

• 小学生を対象とした子供向けのワーク ショップ • メタバースを作ろう！というテーマで キャラクターを踊らせるためのアニメー ション作成を体験してもらいました。 • 実装などはnoteに詳しく書いています。 https://note.com/reality_eng/n/n17b0202971fd UXDev以外での利用シーン →子供でも使える！簡単さを評価

SIGGRAPH ASIA 2022にPosters採択 • Cross-platforming “School life metaverse” user experience • メタバースで学校生活を体験する中で必要 になってくるのはどんなことだろう? • HMD時代のREALITYを考えてどれぐらい のアバターを描画できるか? • こちらもnoteを制作予定です！

emoji, button-tap type “continuous tap” Continuous tap detection: The emoji button is tapped twice (or more) within 1 second. • Solving practical problem such as large number of server requests. • Expressing the magnitude of the viewers’ emotion. Today’s following talk “Continuous tap”

Bottom axis: Video Playback time [s] Requests Left axis: The cumulative count of taps or requests within 5 s. Right axis: The single moving average (5 s window with the resolution of 1 s/red line) Taps Result

[UXDevT5] ”Meta Communication”

25 Confidential

26 Confidential

27 Confidential

UXDevデモ体験コーナー　 REALITYのアバターを使って Oculus Questで 複数人同時バンド演奏を体験!! [Trigger]長押し→決定 プレイ中: ギター弦を押さえる [サムスティック] 押し込み→位置リセット 3秒間倒す→楽器選択 [Menuボタン] タイトルに戻る YouTube配信アーカイブ j.mp/VRSYT Belle: Bass ビューティフル先輩 Yahagi: Guitar マイペース先輩 Damivo: Drum マイペース後輩 Miku: Keyboard 協調タイプ(automatic) GREE VR Studio Laboratoryは 「REALITYがVR/AR時代になったときの新しいUX」を 探求しています。この体験ではアバターによる新しいUXの 一例としてアバター楽曲演奏カラオケ(エアギター+ドラム)を HMDだけで、しかもライブをYouTube配信できる体験を デモしています。 開発協力 GONBEEE Project

六本木で開催中の GREE Tech Conf 2022 会場から配信中!! Oculus Questで REALITYのアバターを 使ったバンド体験が できます コメント歓迎です 詳細は vr.gree.net/lab/uxdev

GREE VR Studio Lab =「すごいことを楽しそうにやる」 UXDevティザーシリーズは 各国語版を http://vr.gree.net/lab/uxdev にて公開しています 学術面も論文賞授賞、CEDEC、 SIGGRAPH ASIA採択など豊作 技術紹介はこちら YouTube: https://j.mp/VRSYT

https://vr.gree.net/lab/vtc/ Make your VR challenge into a page of metaverse history
 あなたのVRでの挑戦をメタバース史の1ページに！
 


Twitter@VRStudioLab インターン募集中です！

GREE技術書典部 現地即売会開催中！ 社内部活動で技術同人誌を 執筆・頒布しています グリー技術書典部誌 各1,000円 部員による初の商業誌 「AIとコラボして神絵師になる 論文から読み解くStable Diffusion」 2022/10/28発売!! 新刊 「グリー技術書典部誌 2022 年秋号」 オンライン版もあります

34