Upgrade to Pro — share decks privately, control downloads, hide ads and more …

#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントロー...

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →

#CCSE2019 GREE VR Studio Lab 「VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ」(速公開版)

VTuber向け特殊表情コントローラの可能性と機械学習的アプローチ(速公開版)
グリー株式会社 GREE VR Studio Lab Director 白井暁彦

gree_tech PRO

July 13, 2019

Transcript

51 slides
  1. GREE VR Studio Lab, GREE, Inc. VTuber向け特殊表情コントローラの 可能性と機械学習的アプローチ グリー株式会社 GREE

    VR Studio Lab Director 白井暁彦 Akihiko SHIRAI, Ph.D GREE VR Studio Lab Twitter@o_ob @VRStudioLab 速公開版
  2. [現在] GREE VR StudioDirector <ラボって何やってるの…?> VTuber事業を推進するWright Flyer Live Entertainment (WFLE)の技術支援

    国内/海外他社とのR&D連携推進 成果発信・啓蒙活動・インターンシップ受け入れ Twitter @VRStudioLab YouTubeチャンネル j.mp/VRSYT
  3. GREE VR Studio Lab, FY19でやったこと(抜粋) ・特許の使い方 IPの作り方 ・機械学習を用いたフェイシャルキャプチャ ・指表現グローブの開発 ・Vicon,

    Xsens等新型Mocapの評価導入 ・外部デモを開発する ・価値を測る ・アバター社会の教育利用 ・ボイスチェンジャー(基礎・応用) ・触覚VR ・外部発信ワークショップ開発 ・国際連携
  4. VTuberと触覚エンタテインメント(まじめ) • IEEE World Haptics Conference (東京, 7/9- 12)でデモ発表 ”Haptic

    Minesweeper” • SIGGRAPH 2019 Posters 採択(ロサンゼルス, 7/28-8/1) ”Neck Strap Haptics: An Algorithm for Non-Visible VR Information Using Haptic Perception on the Neck” • Yusuke Yamazaki, et al. バーチャルな世界の熱狂を 肌で感じることができる 触覚デバイス「Hapbeat」 (東工大発Startup企業) →視覚に頼らず距離や方向を 表現するためのアルゴリズムに関する研究 東工大 オフキャンパス実習& 長谷川研究室とコラボで実現
  5. 「転声こえうらない」(β) 2019/6/27リリース GREE VR Studio Labから初のプロダクト しかもWebブラウザ上のサービス。 13タイプの様々なキャラクターから選択して、 好きな声になって気持ちを伝えよう! あなたは「どんな声」で何を伝えますか?

    「なりたい声」を選び「なりたい声」になって Twitter等でシェアできる公開実験プロジェクト。 「おねえさん」「マダム」「男子中 学生」「ソプラノ」「おにいさん」 「小学生」「ゴリラ」「ダミボ」 「ヤミ声」「ムッシュ」「カワボ」 「ダンディ」「両声類」の計13種類 https://twitter.com/koeuranai https://vr.gree.net/lab/vc/
  6. VTuber 3D Avatar Technology Voice Record & Lip Sync Motion

    Capture Finger Capture Hair & Accessary Face Capture & Blend Shape Body & Cloth Xsens MVN Animate - Products - Xsens 3D motion tracking https://www.xsens.com/products/xsens-mvn-animate/ Real Time Rendering Network Broadcasting Gifting https://ikinema.com/orion
  7. REALITY Studio Tokyo - プロによる公式番組 MVN Link MVN Link MVN

    Studio Live Action Vive Tracker x8 Vive Tracker x8 Live Action iKinema Orion iKinema Orion 収録と生放送で 共演可能 複数人のライブモーションキャプチャーに対応
  8. REALITY Studio Tokyo - プロによる公式番組 収録と生放送で 共演可能 現実空間のカメラワークや音響と 仮想空間の3D演出をリアルタイムにミックス マイクやミキサー

    による音声出力 Vive Tracker のカメラワーク Unreal Engineの 3D表現の出力 現実空間 仮想空間 ゲームの映像出力 OBS/WireCast
  9. Unreal Engine 4 (自社開発) Pipelines for VTuber Live Entertainment in

    REALITY Studio REALITY Glove (StretchSense) Facial Capture Blendshape (iPhoneX TrueDepth) Gifting (GCP) Real-Time Rendering (Unreal Engine4) OBS Studio IP Broadcasting
  10. Real-Time Rendering (Unreal Engine4) Pipelines for VTuber Live Entertainment in

    REALITY Studio REALITYGlove (StretchSense) Facial Capture (iPhoneX TrueDepth) Gifting (GCP) OBS Studio IP Broadcasting VIVE Tracker (Bluetooth / USB Cable) Xsens MVN Studio Facial Controller - LiveAction - Camera controller - Studio props - Collision 2D Real-Time Compositing RTMP Transfer
  11. 今回扱った特殊表情15種類 happy: 嬉しい顔 plan: 企み・ドヤ顔 pressure: 威圧顔 x: ><(バツ目)顔 fear:

    恐怖/青ざめ angry: 怒り顔 spiritless: 無気力顔 beg: おねだり sad: 泣き顔 shame: 照れ顔 star: 星目 o: 白丸目 Kiss: キス顔 speak: 通常顔 default: 通常顔(顔閉じ)
  12. 完成したプロトタイプ • 予測結果の表示 • Blendshape値 • スレッショルド • 時間方向フィルタ •

    ルールベースOn/Off • 機械学習On/Off • 分類器On/Off • 分類クラスの選択 PKSHA Tech Collaboration
  13. 「転声こえうらない」(β) の背景 【技術】 ・VR Studio Labと社内のインフラ基盤などを支える開発本部を中心に開発 ・音声変換の高品質化、クラウド化、リアルタイム化を目標の基盤研究 ・ラボプロトタイプ「声のバーチャルリアリティ」 ・明治大学 総合数理学部先端メディアサイエンス学科

    森勢将雅 准教授に よる音声分析合成方式「WORLD」を応用 ・楽しい体験とシェア機能を通して、 みなさんの「なりたい自分」についての調査・研究が可能なサービス 【今後】 ・リアルタイム化、クラウド上で動くエンジンモジュール化 ・音声コミュニケーションと将来のソーシャルメディア研究基盤 ・今後も「R2D」で新たな社会実装を続けて参ります https://twitter.com/koeuranai https://vr.gree.net/lab/vc/
  14. GREE VR Studio Labインターン募集 学位認定型インターン(3-6か月):修士~博士の専門テーマに関連 自由研究型インターン(3か月):提案により ミッション達成型インターン(機械学習系) 実装エンジニア(グラフィックス / Web

    / サーバーインフラ) ・総合的なR&D就業体験、キャリア相談、素敵なランチ ・出勤日は週2日~。ミッション達成型は自宅作業も検討します。 ・時給は規定により優遇: ・修士/博士課程学生優遇 ・指導教員と連携して進めます ・欧州型インターンシップ・学位認定要件に最適 ・International (English/Japanese): 英語を日常的に使いたい人オススメ 応募方法:VRSionUpの懇親会で名刺交換 もしくは Twitter @o_ob へDMにて応募
  15. Copyright © GREE, Inc. All Rights Reserved. GREE Camp(2日間) エンジニア、デザイナー、ビジネス/ゲームプランナー混成チームを組み、

    新規ゲームやインターネットサービスの企画・モックアップ開発に挑む。 優秀チームは社内イベントや勉強会などに特別ご招待いたします。 ▪開催日程 ・2019年7月20日(土)~21日(日) ・2019年8月3日(土)~4日(日) ▪開催場所 六本木ヒルズ グリー本社 ▪待遇 ・実習手当20,000円 ・本選考特別選考パス 6/1よりエントリー開始! 皆さんのご応募をお待ちしております!!
  16. Copyright © GREE, Inc. All Rights Reserved. GREE Jobs(3週間~) 実際の開発環境でグリーの社員や役員と席を並べて、実践に即した

    知識やスキルを身につけることができる長期実践型インターンシップ。 ▪募集コース ・ゲーム(Web/Native)事業 ・広告・メディア事業 ・XR(VR/AR/MR)事業 ・VTuber事業 ・インフラストラクチャ開発 ▪開催場所 六本木ヒルズ グリー本社 ▪待遇 ・時給1,000円~ ・本選考特別選考パス

More Decks by gree_tech

Other Decks in Technology