#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)

VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ(速公開版)
グリー株式会社 GREE VR Studio LabDirector 白井暁彦

Transcript

1. GREE VR Studio Lab, GREE, Inc. VTuber向け特殊表情コントローラの 可能性と機械学習的アプローチ グリー株式会社 GREE VR Studio Lab Director 白井暁彦 Akihiko SHIRAI, Ph.D GREE VR Studio Lab Twitter@o_ob @VRStudioLab 速公開版
2. 白井暁彦: VRエンタテインメントシステムの研究者 書籍「白井博士の未来のゲームデザイン～エンタテイメントシステムの科学～」(2013)より ▶ 2018年6月より現職 GREE VR Studio Lab, Director
3. [現在] GREE VR StudioDirector ＜ラボって何やってるの…？＞ VTuber事業を推進するWright Flyer Live Entertainment (WFLE)の技術支援 国内/海外他社とのR&D連携推進 成果発信・啓蒙活動・インターンシップ受け入れ Twitter @VRStudioLab YouTubeチャンネル j.mp/VRSYT
4. GREE VR Studio Lab, FY19でやったこと(抜粋) ・特許の使い方 IPの作り方 ・機械学習を用いたフェイシャルキャプチャ ・指表現グローブの開発 ・Vicon, Xsens等新型Mocapの評価導入 ・外部デモを開発する ・価値を測る ・アバター社会の教育利用 ・ボイスチェンジャー(基礎・応用) ・触覚VR ・外部発信ワークショップ開発 ・国際連携
5. 1. 誰もやらない事をやる 1. どういう状態になっていればいいかを考える 1. R2Dのパスを考える GREE VR Studio Lab
6. 2019/7/1発表
7. VTuberと触覚エンタテインメント(まじめ) • IEEE World Haptics Conference (東京, 7/9- 12)でデモ発表 ”Haptic Minesweeper” • SIGGRAPH 2019 Posters 採択(ロサンゼルス, 7/28-8/1) ”Neck Strap Haptics: An Algorithm for Non-Visible VR Information Using Haptic Perception on the Neck” • Yusuke Yamazaki, et al. バーチャルな世界の熱狂を 肌で感じることができる 触覚デバイス「Hapbeat」 （東工大発Startup企業） →視覚に頼らず距離や方向を 表現するためのアルゴリズムに関する研究 東工大 オフキャンパス実習＆ 長谷川研究室とコラボで実現
8. https://twitter.com/koeuranai https://vr.gree.net/lab/vc/
9. 「転声こえうらない」(β) 2019/6/27リリース GREE VR Studio Labから初のプロダクト しかもWebブラウザ上のサービス。 13タイプの様々なキャラクターから選択して、 好きな声になって気持ちを伝えよう！ あなたは「どんな声」で何を伝えますか？ 「なりたい声」を選び「なりたい声」になって Twitter等でシェアできる公開実験プロジェクト。 「おねえさん」「マダム」「男子中 学生」「ソプラノ」「おにいさん」 「小学生」「ゴリラ」「ダミボ」 「ヤミ声」「ムッシュ」「カワボ」 「ダンディ」「両声類」の計13種類 https://twitter.com/koeuranai https://vr.gree.net/lab/vc/
10. 「転声こえうらない」(β) http://bit.ly/KOEURANAIB
11. とあるユーザさんによる例 #こえうらない で探してみてください https://twitter.com/tanakayoshikazu/status/1144525991802331142 https://vr.gree.net/lab/vc/share#1uz04gem591q39t1v8am30jb54
12. “なりたい自分で、生きていく” (WFLE社HPより)
14. ACM SIGGRAPH ASIA 2018 TOKYO “Real-Time Live!” 【リアルタイム・ライヴ!!】 東京国際フォーラム1500席の前で たった7分間ライブデモを行う SIGGRAPH内でも難度高いデモセッション
15. VTuber 産業における R&D要素
16. VTuber 3D Avatar Technology Voice Record & Lip Sync Motion Capture Finger Capture Hair & Accessary Face Capture & Blend Shape Body & Cloth Xsens MVN Animate - Products - Xsens 3D motion tracking https://www.xsens.com/products/xsens-mvn-animate/ Real Time Rendering Network Broadcasting Gifting https://ikinema.com/orion
18. 記者会見やライブデモにも活用 👈決算説明会（朝日新聞社YouTubeより） 外部イベント用仕様 iPhone新機種のキラーアプリ的扱い YouTube「KDDI iPhone XS／XS Max 発売イベント」で検索 VTuber社員 「いそら真実」@_Isoramanami/
19. REALITY Studio Tokyo - プロによる公式番組 MVN Link MVN Link MVN Studio Live Action Vive Tracker x8 Vive Tracker x8 Live Action iKinema Orion iKinema Orion 収録と生放送で 共演可能 複数人のライブモーションキャプチャーに対応
20. REALITY Studio Tokyo - プロによる公式番組 収録と生放送で 共演可能 現実空間のカメラワークや音響と 仮想空間の3D演出をリアルタイムにミックス マイクやミキサー による音声出力 Vive Tracker のカメラワーク Unreal Engineの 3D表現の出力 現実空間 仮想空間 ゲームの映像出力 OBS/WireCast
21. REALITY Studio → クラウド → REALITYアプリへ 収録と生放送で 共演可能 毎日の収録&生配信に耐えうる機材を常備 他のプラットフォームにサイマル配信が可能 技術スタッフによる検証
22. REALITY Studioの紹介 専用アプリで 視聴者と交流 3Dギフトによる視聴者との交流 無料ギフト 応援グッズ バラエティ アピール 定常ギフトは毎月追加予定！ 季節ごとに入れ替わるギフトや 専用ギフトを準備中
23. 表情の可能性
25. “特殊表情”
26. REALITY 公式番組における特殊表情の例 奏天まひろ ＆ 葉月ナツ さんによる デスソースチャレンジ
27. Unreal Engine 4 (自社開発) Pipelines for VTuber Live Entertainment in REALITY Studio REALITY Glove (StretchSense) Facial Capture Blendshape (iPhoneX TrueDepth) Gifting (GCP) Real-Time Rendering (Unreal Engine4) OBS Studio IP Broadcasting
28. Maya上でのBlendshapeの生成
31. 機械学習的 アプローチ
32. フランスEISKO社Startup“Polywink” 機械学習と人力によりアップロード後24時間で iPhoneX用 52Blendshapesを生成してくれるサービス 【海外技術評価】
33. “特殊表情” どうやってこれを コントロールす る？
34. Real-Time Rendering (Unreal Engine4) Pipelines for VTuber Live Entertainment in REALITY Studio REALITYGlove (StretchSense) Facial Capture (iPhoneX TrueDepth) Gifting (GCP) OBS Studio IP Broadcasting VIVE Tracker (Bluetooth / USB Cable) Xsens MVN Studio Facial Controller - LiveAction - Camera controller - Studio props - Collision 2D Real-Time Compositing RTMP Transfer
35. 今回扱った特殊表情15種類 happy: 嬉しい顔 plan: 企み・ドヤ顔 pressure: 威圧顔 x: ＞＜（バツ目）顔 fear: 恐怖/青ざめ angry: 怒り顔 spiritless: 無気力顔 beg: おねだり sad: 泣き顔 shame: 照れ顔 star: 星目 o: 白丸目 Kiss: キス顔 speak: 通常顔 default: 通常顔（顔閉じ）
36. それぞれの表情を 10秒かけて演じてください ・iPhoneXを顔が正面中央に撮影されるよう固定し、目線は特に指定ない限りは カメラに向けてください（スタジオではヘッドセットを装着して実験します） ・表情は15種類あります ・セリフはアドリブ可です。間違ったりしてもそのまま続けてください。 ・誰か特定の人物に向けて語りかけるイメージだとやりやすいです。 ・同じ実験を5テイク収録します。それぞれのテイクで「 再現性あるキャラづくり」を 意識しつつ、バリエーションは広めにつけていただいて構いません。 演技開始 演技終了 600で 約10秒です 保存/次へ save 学習シーケンスの例
37. 学習環境 顔が見えると集中できない、など 様々なノウハウあり ※PKSHA Technology社との コラボレーションに関しては 詳細資料割愛
38. 52 blendshapes (upto 75 fps)
39. その他検討した手法 ・音声を組み合わせた学習 ・クラスを統合 ・ルールベースの組み合わせ
40. 完成したプロトタイプ • 予測結果の表示 • Blendshape値 • スレッショルド • 時間方向フィルタ • ルールベースOn/Off • 機械学習On/Off • 分類器On/Off • 分類クラスの選択 PKSHA Tech Collaboration
41. (できたものベース)まとめ
42. (意味的な) まとめ 人間がやるべきこと ルールを見つける これからも継続すべき良いテーマ
43. https://vr.gree.net/lab/vc/
44. 「転声こえうらない」(β) の背景 【技術】 ・VR Studio Labと社内のインフラ基盤などを支える開発本部を中心に開発 ・音声変換の高品質化、クラウド化、リアルタイム化を目標の基盤研究 ・ラボプロトタイプ「声のバーチャルリアリティ」 ・明治大学 総合数理学部先端メディアサイエンス学科 森勢将雅 准教授に よる音声分析合成方式「WORLD」を応用 ・楽しい体験とシェア機能を通して、 みなさんの「なりたい自分」についての調査・研究が可能なサービス 【今後】 ・リアルタイム化、クラウド上で動くエンジンモジュール化 ・音声コミュニケーションと将来のソーシャルメディア研究基盤 ・今後も「R2D」で新たな社会実装を続けて参ります https://twitter.com/koeuranai https://vr.gree.net/lab/vc/
46. GREE VR Studio Labインターン募集 学位認定型インターン(3-6か月)：修士～博士の専門テーマに関連 自由研究型インターン(3か月)：提案により ミッション達成型インターン（機械学習系） 実装エンジニア（グラフィックス / Web / サーバーインフラ） ・総合的なR&D就業体験、キャリア相談、素敵なランチ ・出勤日は週2日～。ミッション達成型は自宅作業も検討します。 ・時給は規定により優遇： ・修士/博士課程学生優遇 ・指導教員と連携して進めます ・欧州型インターンシップ・学位認定要件に最適 ・International (English/Japanese)： 英語を日常的に使いたい人オススメ 応募方法：VRSionUpの懇親会で名刺交換 もしくは Twitter @o_ob へDMにて応募
47. Copyright © GREE, Inc. All Rights Reserved. GREE Camp（2日間） エンジニア、デザイナー、ビジネス／ゲームプランナー混成チームを組み、 新規ゲームやインターネットサービスの企画・モックアップ開発に挑む。 優秀チームは社内イベントや勉強会などに特別ご招待いたします。 ▪開催日程 ・2019年7月20日（土）～21日（日） ・2019年8月3日（土）～4日（日） ▪開催場所 六本木ヒルズ グリー本社 ▪待遇 ・実習手当20,000円 ・本選考特別選考パス 6/1よりエントリー開始！ 皆さんのご応募をお待ちしております！！
48. Copyright © GREE, Inc. All Rights Reserved. GREE Jobs（3週間～） 実際の開発環境でグリーの社員や役員と席を並べて、実践に即した 知識やスキルを身につけることができる長期実践型インターンシップ。 ▪募集コース ・ゲーム（Web/Native）事業 ・広告・メディア事業 ・XR（VR/AR/MR）事業 ・VTuber事業 ・インフラストラクチャ開発 ▪開催場所 六本木ヒルズ グリー本社 ▪待遇 ・時給1,000円～ ・本選考特別選考パス
51. “ゲーム機能” 7月中旬リリース! 今後もご注目ください!!