#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)

Slide 1

Slide 1 text

GREE VR Studio Lab, GREE, Inc. VTuber向け特殊表情コントローラの可能性と機械学習的アプローチグリー株式会社 GREE VR Studio Lab Director 白井暁彦 Akihiko SHIRAI, Ph.D GREE VR Studio Lab Twitter@o_ob @VRStudioLab 速公開版

Slide 2

Slide 2 text

白井暁彦: VRエンタテインメントシステムの研究者書籍「白井博士の未来のゲームデザイン～エンタテイメントシステムの科学～」(2013)より ▶ 2018年6月より現職 GREE VR Studio Lab, Director

Slide 3

Slide 3 text

[現在] GREE VR StudioDirector ＜ラボって何やってるの…？＞ VTuber事業を推進するWright Flyer Live Entertainment (WFLE)の技術支援国内/海外他社とのR&D連携推進成果発信・啓蒙活動・インターンシップ受け入れ Twitter @VRStudioLab YouTubeチャンネル j.mp/VRSYT

Slide 4

Slide 4 text

GREE VR Studio Lab, FY19でやったこと(抜粋) ・特許の使い方 IPの作り方・機械学習を用いたフェイシャルキャプチャ・指表現グローブの開発・Vicon, Xsens等新型Mocapの評価導入・外部デモを開発する・価値を測る・アバター社会の教育利用・ボイスチェンジャー(基礎・応用) ・触覚VR ・外部発信ワークショップ開発・国際連携

Slide 5

Slide 5 text

1. 誰もやらない事をやる 1. どういう状態になっていればいいかを考える 1. R2Dのパスを考える GREE VR Studio Lab

Slide 6

Slide 6 text

2019/7/1発表

Slide 7

Slide 7 text

VTuberと触覚エンタテインメント(まじめ) ● IEEE World Haptics Conference (東京, 7/9- 12)でデモ発表 ”Haptic Minesweeper” ● SIGGRAPH 2019 Posters 採択(ロサンゼルス, 7/28-8/1) ”Neck Strap Haptics: An Algorithm for Non-Visible VR Information Using Haptic Perception on the Neck” ● Yusuke Yamazaki, et al. バーチャルな世界の熱狂を肌で感じることができる触覚デバイス「Hapbeat」（東工大発Startup企業） →視覚に頼らず距離や方向を表現するためのアルゴリズムに関する研究東工大オフキャンパス実習＆長谷川研究室とコラボで実現

Slide 8

Slide 8 text

https://twitter.com/koeuranai https://vr.gree.net/lab/vc/

Slide 9

Slide 9 text

「転声こえうらない」(β) 2019/6/27リリース GREE VR Studio Labから初のプロダクトしかもWebブラウザ上のサービス。 13タイプの様々なキャラクターから選択して、好きな声になって気持ちを伝えよう！あなたは「どんな声」で何を伝えますか？「なりたい声」を選び「なりたい声」になって Twitter等でシェアできる公開実験プロジェクト。「おねえさん」「マダム」「男子中学生」「ソプラノ」「おにいさん」「小学生」「ゴリラ」「ダミボ」「ヤミ声」「ムッシュ」「カワボ」「ダンディ」「両声類」の計13種類 https://twitter.com/koeuranai https://vr.gree.net/lab/vc/

Slide 10

Slide 10 text

「転声こえうらない」(β) http://bit.ly/KOEURANAIB

Slide 11

Slide 11 text

とあるユーザさんによる例 #こえうらないで探してみてください https://twitter.com/tanakayoshikazu/status/1144525991802331142 https://vr.gree.net/lab/vc/share#1uz04gem591q39t1v8am30jb54

Slide 12

Slide 12 text

“なりたい自分で、生きていく” (WFLE社HPより)

Slide 13

Slide 13 text

No content

Slide 14

Slide 14 text

ACM SIGGRAPH ASIA 2018 TOKYO “Real-Time Live!” 【リアルタイム・ライヴ!!】東京国際フォーラム1500席の前でたった7分間ライブデモを行う SIGGRAPH内でも難度高いデモセッション

Slide 15

Slide 15 text

VTuber 産業における R&D要素

Slide 16

Slide 16 text

VTuber 3D Avatar Technology Voice Record & Lip Sync Motion Capture Finger Capture Hair & Accessary Face Capture & Blend Shape Body & Cloth Xsens MVN Animate - Products - Xsens 3D motion tracking https://www.xsens.com/products/xsens-mvn-animate/ Real Time Rendering Network Broadcasting Gifting https://ikinema.com/orion

Slide 17

Slide 17 text

No content

Slide 18

Slide 18 text

記者会見やライブデモにも活用 👈決算説明会（朝日新聞社YouTubeより）外部イベント用仕様 iPhone新機種のキラーアプリ的扱い YouTube「KDDI iPhone XS／XS Max 発売イベント」で検索 VTuber社員「いそら真実」@_Isoramanami/

Slide 19

Slide 19 text

REALITY Studio Tokyo - プロによる公式番組 MVN Link MVN Link MVN Studio Live Action Vive Tracker x8 Vive Tracker x8 Live Action iKinema Orion iKinema Orion 収録と生放送で共演可能複数人のライブモーションキャプチャーに対応

Slide 20

Slide 20 text

REALITY Studio Tokyo - プロによる公式番組収録と生放送で共演可能現実空間のカメラワークや音響と仮想空間の3D演出をリアルタイムにミックスマイクやミキサーによる音声出力 Vive Tracker のカメラワーク Unreal Engineの 3D表現の出力現実空間仮想空間ゲームの映像出力 OBS/WireCast

Slide 21

Slide 21 text

REALITY Studio → クラウド → REALITYアプリへ収録と生放送で共演可能毎日の収録&生配信に耐えうる機材を常備他のプラットフォームにサイマル配信が可能技術スタッフによる検証

Slide 22

Slide 22 text

REALITY Studioの紹介専用アプリで視聴者と交流 3Dギフトによる視聴者との交流無料ギフト応援グッズバラエティアピール定常ギフトは毎月追加予定！季節ごとに入れ替わるギフトや専用ギフトを準備中

Slide 23

Slide 23 text

表情の可能性

Slide 24

Slide 24 text

No content

Slide 25

Slide 25 text

“特殊表情”

Slide 26

Slide 26 text

REALITY 公式番組における特殊表情の例奏天まひろ＆葉月ナツさんによるデスソースチャレンジ

Slide 27

Slide 27 text

Unreal Engine 4 (自社開発) Pipelines for VTuber Live Entertainment in REALITY Studio REALITY Glove (StretchSense) Facial Capture Blendshape (iPhoneX TrueDepth) Gifting (GCP) Real-Time Rendering (Unreal Engine4) OBS Studio IP Broadcasting

Slide 28

Slide 28 text

Maya上でのBlendshapeの生成

Slide 29

Slide 29 text

No content

Slide 30

Slide 30 text

No content

Slide 31

Slide 31 text

機械学習的アプローチ

Slide 32

Slide 32 text

フランスEISKO社Startup“Polywink” 機械学習と人力によりアップロード後24時間で iPhoneX用 52Blendshapesを生成してくれるサービス【海外技術評価】

Slide 33

Slide 33 text

“特殊表情” どうやってこれをコントロールする？

Slide 34

Slide 34 text

Real-Time Rendering (Unreal Engine4) Pipelines for VTuber Live Entertainment in REALITY Studio REALITYGlove (StretchSense) Facial Capture (iPhoneX TrueDepth) Gifting (GCP) OBS Studio IP Broadcasting VIVE Tracker (Bluetooth / USB Cable) Xsens MVN Studio Facial Controller - LiveAction - Camera controller - Studio props - Collision 2D Real-Time Compositing RTMP Transfer

Slide 35

Slide 35 text

今回扱った特殊表情15種類 happy: 嬉しい顔 plan: 企み・ドヤ顔 pressure: 威圧顔 x: ＞＜（バツ目）顔 fear: 恐怖/青ざめ angry: 怒り顔 spiritless: 無気力顔 beg: おねだり sad: 泣き顔 shame: 照れ顔 star: 星目 o: 白丸目 Kiss: キス顔 speak: 通常顔 default: 通常顔（顔閉じ）

Slide 36

Slide 36 text

それぞれの表情を 10秒かけて演じてください・iPhoneXを顔が正面中央に撮影されるよう固定し、目線は特に指定ない限りはカメラに向けてください（スタジオではヘッドセットを装着して実験します）・表情は15種類あります・セリフはアドリブ可です。間違ったりしてもそのまま続けてください。・誰か特定の人物に向けて語りかけるイメージだとやりやすいです。・同じ実験を5テイク収録します。それぞれのテイクで「再現性あるキャラづくり」を意識しつつ、バリエーションは広めにつけていただいて構いません。演技開始演技終了 600で約10秒です保存/次へ save 学習シーケンスの例

Slide 37

Slide 37 text

学習環境顔が見えると集中できない、など様々なノウハウあり ※PKSHA Technology社とのコラボレーションに関しては詳細資料割愛

Slide 38

Slide 38 text

52 blendshapes (upto 75 fps)

Slide 39

Slide 39 text

その他検討した手法・音声を組み合わせた学習・クラスを統合・ルールベースの組み合わせ

Slide 40

Slide 40 text

完成したプロトタイプ ● 予測結果の表示 ● Blendshape値 ● スレッショルド ● 時間方向フィルタ ● ルールベースOn/Off ● 機械学習On/Off ● 分類器On/Off ● 分類クラスの選択 PKSHA Tech Collaboration

Slide 41

Slide 41 text

(できたものベース)まとめ

Slide 42

Slide 42 text

(意味的な) まとめ人間がやるべきことルールを見つけるこれからも継続すべき良いテーマ

Slide 43

Slide 43 text

https://vr.gree.net/lab/vc/

Slide 44

Slide 44 text

「転声こえうらない」(β) の背景【技術】・VR Studio Labと社内のインフラ基盤などを支える開発本部を中心に開発・音声変換の高品質化、クラウド化、リアルタイム化を目標の基盤研究・ラボプロトタイプ「声のバーチャルリアリティ」・明治大学総合数理学部先端メディアサイエンス学科森勢将雅准教授による音声分析合成方式「WORLD」を応用・楽しい体験とシェア機能を通して、みなさんの「なりたい自分」についての調査・研究が可能なサービス【今後】・リアルタイム化、クラウド上で動くエンジンモジュール化・音声コミュニケーションと将来のソーシャルメディア研究基盤・今後も「R2D」で新たな社会実装を続けて参ります https://twitter.com/koeuranai https://vr.gree.net/lab/vc/

Slide 45

Slide 45 text

No content

Slide 46

Slide 46 text

GREE VR Studio Labインターン募集学位認定型インターン(3-6か月)：修士～博士の専門テーマに関連自由研究型インターン(3か月)：提案によりミッション達成型インターン（機械学習系）実装エンジニア（グラフィックス / Web / サーバーインフラ）・総合的なR&D就業体験、キャリア相談、素敵なランチ・出勤日は週2日～。ミッション達成型は自宅作業も検討します。・時給は規定により優遇：・修士/博士課程学生優遇・指導教員と連携して進めます・欧州型インターンシップ・学位認定要件に最適・International (English/Japanese)：英語を日常的に使いたい人オススメ応募方法：VRSionUpの懇親会で名刺交換もしくは Twitter @o_ob へDMにて応募

Slide 47

Slide 47 text

Copyright © GREE, Inc. All Rights Reserved. GREE Camp（2日間）エンジニア、デザイナー、ビジネス／ゲームプランナー混成チームを組み、新規ゲームやインターネットサービスの企画・モックアップ開発に挑む。優秀チームは社内イベントや勉強会などに特別ご招待いたします。 ■開催日程・2019年7月20日（土）～21日（日）・2019年8月3日（土）～4日（日） ■開催場所六本木ヒルズグリー本社 ■待遇・実習手当20,000円・本選考特別選考パス 6/1よりエントリー開始！皆さんのご応募をお待ちしております！！

Slide 48

Slide 48 text

Copyright © GREE, Inc. All Rights Reserved. GREE Jobs（3週間～）実際の開発環境でグリーの社員や役員と席を並べて、実践に即した知識やスキルを身につけることができる長期実践型インターンシップ。 ■募集コース・ゲーム（Web/Native）事業・広告・メディア事業・XR（VR/AR/MR）事業・VTuber事業・インフラストラクチャ開発 ■開催場所六本木ヒルズグリー本社 ■待遇・時給1,000円～・本選考特別選考パス