Oculus Questでマリオネットを召喚して遊んでみた

Oculus Questでマリオネットを召喚して遊んでみた

Oculus Questでマリオネット(糸操り人形)を動かすプロトタイプ的なソフトの紹介です。「ハンドトラッキングがあるとこんなことが出来ます」的な事例紹介になっているほか、VRアバターの一形態としてこんなのどうかな、という概論共有も兼ねています。

D643a24b5c2a1e6eb98dfef061c1a65f?s=128

Baku_Dreameater

June 18, 2019
Tweet

Transcript

  1. Oculus Questでマリオネットを 召喚して遊んでみた 獏星(ばくすたー)@baku_dreameater 2019/06/18 Standalone VR Meetup #02 1

  2. 何について話すのか ・昨日動かしたものの紹介 ・ハンドトラッキングの事例共有 ※本LTは飛び込みです https://twitter.com/baku_dreameater/status/1140649061139095552 2

  3. もくじ • マリオネットって何?種類は?動かし方は? • なぜ作ったのか • どう作っているのか • 得られた知見 •

    今後やりたいこと 3
  4. マリオネットって何? マリオネット(仏: Marionnette、英: Marionette)は、 人形劇でよく使われる操り人形の一つであり、 特に糸で操るものを指す。日本では糸繰り人形とも言う。 マリオネットの語源はフランス語においての 「マリオ」「マリア」の親愛形である。 ただし、フランス語のマリオネット(Marionnette)は、 糸操り人形に限定されず、英語のパペット(puppet)と同義で、

    動かして楽しむ人形全般を意味する。 マリオネット (Wikipedia) https://ja.wikipedia.org/wiki/%E3%83%9E%E3%83%AA%E3%82%AA%E3%83%8D%E3%83%83%E3%83%88 4
  5. マリオネットの種類は? 近縁種も入れると意外にたくさん ・糸で動かすもの(Marionette) ・完全に糸だけで吊るす ← 今回はコレ ・胴体には金属串 + 手足を糸で操作 ・手を突っ込んで動かす(Puppet)

    = いわゆる腹話術人形 ・指で直接動かすだけ ・口パクの機構があるもの ※ヒト型以外も探すとあります 参考: パペットハウスの商品で全バリエーション見られます。 https://www.puppet-house.co.jp/ 5
  6. マリオネットの動かし方 糸で吊っているタイプの事例(※参考ページのSkeleton 2008)で紹介 + 実演 ・右手 ・手全体 : 全身動作 ・親指

    : 足踏み動作 ・人差し指: 口パク ・左手 ・両手、腰、etc. 参考: パペットハウスで買うと使い方も教えてもらえます!!!! https://www.puppet-house.co.jp/ 6
  7. なぜ作ったのか ・マリオネットは市場が小さい + きちんとしたものは少しだけ高い →VRに乗っていれば文化的に残しやすいのでは? ・一部Vtuberが人形浄瑠璃と呼ばれることがある + 人形浄瑠璃もマリオネット的 →VR内である程度まで再現できるのでは? ・アバター提示方法の一例として

    →手だけで、リアルタイムに、全身が動く →三人称視点で見える自分、ワンクッション置いてる感 7
  8. どう作っているのか 用意するもの • Unity (Unity 2019.1) • 何かしらのヒューマノイド • Obi

    Rope = 動くロープが作れるアセット やること • ヒューマノイドを縮めて、1kg程度のラグドール化 • 実物を参考に、ハンドルと糸を作ってつなげる • ControllerAnchorにハンドルをくっつける • 親指の動きをスクリプトで制御 • 以上! 8
  9. どう作っているのか マリオネットとOculus Touchの対応付け ・右手 ・手全体 : 全身動作 ・親指 : 足踏み動作

    ・人差し指: 口パク ・左手 ・両手、または腰、etc. →Touch本体 →Touchのジョイスティック →トリガー(※未実装だが自明) →Touch本体、まずは両手だけを対応 9
  10. 得られた知見 • Oculus Touch(と多分Vive Controllerも)はマリオネットと好相性 実物と十分似たインターフェースを提供できるのが良い • ロボット(Kyle)程度なら見た目OK、人形系モデルはさらに相性良さそう • (試してないが)逆に、いかにも人っぽいアバターは相性が悪そう

    →工夫しないとキモくなります 10
  11. 今後やりたいこと • 物理シミュレーションの調整 + 人形の背の高さで撮影 • ぬいぐるみ系モデルでの相性検討 • IKの併用の検討 ・ロープだけの実装

    (今回): 原理的に正しいがシミュレーション精度がやや苦しそう ・IKでの調整: 物理的に変かもしれないが見た目は改善するかも →金属串が通っているタイプのマリオネットに動きが近づくかも • マリオネットを等身大~巨大化して同期表示 →VRならではの見せ方 11