GREE VR Studio Laboratory - UXDev R&D Summary 2022

GREE Tech Conference 2022で発表された資料です。
https://techcon.gree.jp/2022/session/TrackA-8

Transcript

1. REALITY株式会社　Director　白井 暁彦
   GREE VR Studio Laboratory
   - UXDev R&D Summary 2022
   REALITY株式会社　Intern　堀部貴紀 中野友介 加藤琢磨
   Alexandre Berthault
   

   View Slide

2. グリーグループでメタバース事業を推進する
   REALITY株式会社において、
   XR・メタバース時代の研究開発・発信活動を推進
   するGREE VR Studio Laboratoryの
   最新の活動成果を報告します。具体的には、
   ・複数のユーザによるアバター楽曲演奏
   　「AI Fusion」
   ・音声信号処理による感情・表情推定、
   ・HMD体験におけるプロトタイピング、
   ・その可視化
   …を凝縮して紹介します！ GREE VR Studio Laboratory 2022 - Metaverse Research and Development
   GREE VR Studio Laboratory
   - UXDev R&D Summary 2022
   

   View Slide

3. 中野さん
   明治大学総合数理学部先端メディアサイエンス学科の4年。
   2020年12月よりラボに参加。UXDevシリーズを通して助監督としてストーリーライン設計から
   Unityのエンジニアリングなど幅広く担当。アカペラサークル所属。映画好き。
   やはぎさん
   デジタルハリウッド大学デジタルコミュニケーション学部デジタルコンテンツ学科の2年。
   UxDevシリーズのUnityのエンジニアリングや各種スクリプティングを担当しています。
   高校時代からラボに出入りしていた生粋のメタバースの住人。VALORANTで戦っている。
   堀部さん
   明治大学大学院先端数理科学研究科先端メディアサイエンス専攻修士1年。
   2019年10月よりGREE VR Studio Laboratoryにて実験的ボイスチェンジャーサービス『転声こ
   えうらない』利用者の音声分析やボイスチェンジャーのiOS実装や高速化に取り組む。UXDevで
   は、主に音声や表情を担当している。Pikmin BloomでLv70超。
   Member in GREE VR Studio Laboratory
   

   View Slide

4. Alexandre Berthaultさん
   フランスのデジタルアート系大学ISART Digitalを卒業し、東京港工科大学の研究生をやっている
   UXデザイナー。UXDevシリーズでは、主にUXプロトタイピングとエフェクトデザインを担当し
   ている。ラーメンが好き。漢字が苦手。
   山岡さん
   明治大学総合数理学部先端メディアサイエンス学科4年。2022年10月よりGREE VR Studio
   Laboratoryに参加。アバターが現実世界に違和感なく溶け込む技術を研究している。
   Meta Quest, Hololens2, Web AR等での制作経験を活かしてアバター周りのR&Dを担当。
   最近はQuest等HMDデバイスのアバターベンチマークツールを担当。
   白井暁彦 Director
   GREE VR Studio Laboratoryのディレクター。研究開発と教育、ビジュアルアート、VRエンター
   テインメント、科学コミュニケーションなどで25年以上の経験を持つ。多様な才能を発揮してグ
   リーグループの開発文化に多様性を沿えている。
   業務外でグリー技術書典部や書籍「AIとコラボして神絵師になる」などを執筆している。
   Member in GREE VR Studio Laboratory
   

   View Slide

5. •GREE VR Studio Laboratory, REALITY株式会社
   •UXDev https://vr.gree.net/lab/uxdev/
   •チーム紹介 https://vr.gree.net/lab/internship/
   GREE VR Studio Laboratory
   - UXDev R&D Summary 2022
   5

   

   View Slide

6. 弦楽器・打楽器における AI Fusion: システム構成
   技術課題：モーションキャプチャーを使う
   と楽器演奏が難しい。
   正解譜面から生成したアニメーションは
   （演奏として正しいが）見ていて飽きる。
   個人の表現力の豊かさを維持しながら
   将来的にネットワーク上で
   「アバターカラオケ」ができる気軽さが
   可能になるAIアシスト技術を開発。
   参考：正解譜面だけで生成した
   ドラムアニメーション
   

   View Slide

7. みんなで楽曲を演奏する体験
   Collaborative Music Play Experience
   REALITYのアバターで Questだけで
   メタバース内でスクールバンドのメンバーに
   なれる体験ができる……！
   自由度が高い近未来の「アバターカラオケ」
   GREE VR Studio Laboratory、メタバース
   時代のアバターを活用したクリエイターエコノ
   ミーを刺激～バーチャル演奏技術映像 「AI
   Fusion」を公開～
   PRTIMES 2022/10/19
   

   View Slide

8. Voice2Emote：HMD装着時のアバター表情生成
   堀部貴紀, 中野友介
   【背景】
   「HMD装着時は顔トラッキングが使えない！」
   …と思考停止することなく、現在のREALITYと近い感覚で、
   より多様で高速な表情生成を行うことができないか？
   → 音声による表情生成を検討。
   【過去の取り組み：uLipSyncによるエモート再生】
   ● リアルタイムに音響特徴量MFCCを解析
   ● 予めキャリブレーションしたプロファイルと
   照らし合わせて一番近い音素を推定
   ● BlendShapeへ反映する（かなり高速）
   [uLipSyncによる実装@GTC21]
   

   View Slide

9. 音声から表情を生成する研究
   【NVIDIA Audio2Face】
   Facial Action Coding Systemに基づくと思われるBlendShapeを46項目取得する
   例えば、口唇の動きに関係する値は、Audio2Face：24項目, REALITY VRM：5項目
   → 互換性がない、表現方法が制限される。
   フォトリアルなアバターとアニメ調のアバターの構成の違い
   https://www.nvidia.com/ja-jp/omniverse/apps/audio2face/
   Related Works Avatar File Format Languages
   Audio2Face (NVIDIA) 3D Photo-Realistic .usd, Maya 英語、フランス語、
   ロシア語
   MeshTalk (Facebook) 3D Photo-Realistic .obj
   MakeItTalk (Adobe) 2D Any
   関連研究
   

   View Slide

10. 音素セグメンテーション
    Julius Segmentation-Kit
    Voice/音声
    時刻[s], 音素
    モーラ変換
    時刻[s], モーラ
    0.0000 1.2125 silB
    1.2125 1.3025 m
    1.3025 1.3425 a
    1.3425 1.3725 d
    1.3725 1.4525 a
    1.2125 1.3425 ma
    1.3425 1.4525 da
    1.4525 1.5625 mi
    1.5625 1.6625 ta
    …
    …
    .anim
    ● 「あいうえお」に対応するBlendShapeを用いたアニメーション
    ● 母音/子音の分類は可能 → 母音/子音を考慮したキーフレーム
    ● 口の開き具合、眉毛の角度/動きによる感情表現の重要性
    → 音声信号処理と表現に対する機械学習を利用した改善
    In Unity
    母音から口の形状の決定
    Voice2Emote：パイプライン
    

    View Slide

11. UXDev エフェクト
    Visual Effect Graph
    11

    

    View Slide

12. UXDev エフェクト
    Visual Effect Graph
    12

    Pros
    ● Optimised
    ● Multiple systems
    ● Easy iteration
    ● Compatible with shaders
    ● No easy collisions
    Cons
    ● No easy collisions
    

    View Slide

13. 13

    Shader Graph Animations
    UXDev エフェクト
    

    View Slide

14. 14

    Simple particle system Post process
    Off On
    UXDev エフェクト
    

    View Slide

15. Guitar effects
    15

    Off On
    UXDev エフェクト
    

    View Slide

16. UXDevでのキャラクターアニメーション
    デジタルハリウッド大学2年
    VRStudioLab
    Takuma Kato aka.やはぎ
    

    View Slide

17. VR機器を使ったモーションキャプチャーシステム
    • Q2,Q3の実装の中でアニメーションを作るコストが高いと感じてい
    た。
    • キャラクターを動かすのにメンバーがリモート環境でアニメーション
    を作成する方法が欲しかった。
    • Labのメンバーは全員Meta Quest2を持っている。
    • 足の表現をしたいのでフルトラッキングも可能だと望ましい
    

    View Slide

18. QueTra: Questを使った簡易モーションキャプチャ
    

    View Slide

19. VRデバイス
    (SteamVR)
    DVRSDK ※
    キャリブレーション
    SteamVRからのinput
    アバター(VRM) Easy
    MotionRecorder
    Project内の
    キャラクター
    VRIK
    IKベースで
    キャラクターを動作
    頭・手等の座標
    データ
    キャラクターと
    現実の人間の
    体格差を補正
    Humanoid形式の
    Animation
    キャラクターの
    モーション
    ※DMM VR Connect SDK
    システムのフロー
    

    View Slide

20. • 小学生を対象とした子供向けのワーク
    ショップ
    • メタバースを作ろう！というテーマで
    キャラクターを踊らせるためのアニメー
    ション作成を体験してもらいました。
    • 実装などはnoteに詳しく書いています。
    https://note.com/reality_eng/n/n17b0202971fd
    UXDev以外での利用シーン
    →子供でも使える！簡単さを評価
    

    View Slide

21. SIGGRAPH ASIA 2022にPosters採択
    • Cross-platforming “School life
    metaverse” user experience
    • メタバースで学校生活を体験する中で必要
    になってくるのはどんなことだろう?
    • HMD時代のREALITYを考えてどれぐらい
    のアバターを描画できるか?
    • こちらもnoteを制作予定です！
    

    View Slide

22. emoji, button-tap type “continuous tap”
    Continuous tap detection: The emoji button is tapped twice (or more) within 1
    second.
    • Solving practical problem such as large number of server requests.
    • Expressing the magnitude of the viewers’ emotion.
    Today’s following talk “Continuous tap”
    

    View Slide

23. Bottom axis: Video Playback time [s]
    Requests
    Left axis: The cumulative count of taps or requests within 5 s.
    Right axis: The single moving average (5 s window with the resolution of 1 s/red line)
    Taps
    Result
    

    View Slide

24. [UXDevT5] ”Meta Communication”
    

    View Slide

25. 25
    Confidential
    

    View Slide

26. 26
    Confidential
    

    View Slide

27. 27
    Confidential
    

    View Slide

28. UXDevデモ体験コーナー　
    REALITYのアバターを使って
    Oculus Questで
    複数人同時バンド演奏を体験!!
    [Trigger]長押し→決定
    プレイ中: ギター弦を押さえる
    [サムスティック] 押し込み→位置リセット
    3秒間倒す→楽器選択
    [Menuボタン]
    タイトルに戻る
    YouTube配信アーカイブ
    j.mp/VRSYT
    Belle: Bass
    ビューティフル先輩
    Yahagi: Guitar
    マイペース先輩
    Damivo: Drum
    マイペース後輩
    Miku: Keyboard
    協調タイプ(automatic)
    GREE VR Studio Laboratoryは
    「REALITYがVR/AR時代になったときの新しいUX」を
    探求しています。この体験ではアバターによる新しいUXの
    一例としてアバター楽曲演奏カラオケ(エアギター+ドラム)を
    HMDだけで、しかもライブをYouTube配信できる体験を
    デモしています。
    開発協力 GONBEEE Project
    

    View Slide

29. 六本木で開催中の
    GREE Tech Conf 2022
    会場から配信中!!
    Oculus Questで
    REALITYのアバターを
    使ったバンド体験が
    できます
    コメント歓迎です
    詳細は
    vr.gree.net/lab/uxdev
    

    View Slide

30. GREE VR Studio Lab
    =「すごいことを楽しそうにやる」
    UXDevティザーシリーズは
    各国語版を http://vr.gree.net/lab/uxdev
    にて公開しています
    学術面も論文賞授賞、CEDEC、
    SIGGRAPH ASIA採択など豊作
    技術紹介はこちら
    YouTube: https://j.mp/VRSYT
    

    View Slide

31. https://vr.gree.net/lab/vtc/
    Make your VR challenge into a page of metaverse history

    あなたのVRでの挑戦をメタバース史の1ページに！

    

    

    View Slide

32. Twitter@VRStudioLab
    インターン募集中です！
    

    View Slide

33. GREE技術書典部
    現地即売会開催中！
    社内部活動で技術同人誌を
    執筆・頒布しています
    グリー技術書典部誌
    各1,000円
    部員による初の商業誌
    「AIとコラボして神絵師になる
    論文から読み解くStable Diffusion」
    2022/10/28発売!!
    新刊
    「グリー技術書典部誌 2022 年秋号」
    オンライン版もあります
    

    View Slide

34. View Slide