Oculus Questでマリオネットを召喚して遊んでみた

Oculus Questでマリオネット(糸操り人形)を動かすプロトタイプ的なソフトの紹介です。「ハンドトラッキングがあるとこんなことが出来ます」的な事例紹介になっているほか、VRアバターの一形態としてこんなのどうかな、という概論共有も兼ねています。

Transcript

1. Oculus Questでマリオネットを 召喚して遊んでみた 獏星(ばくすたー)@baku_dreameater 2019/06/18 Standalone VR Meetup #02 1
2. 何について話すのか ・昨日動かしたものの紹介 ・ハンドトラッキングの事例共有 ※本LTは飛び込みです https://twitter.com/baku_dreameater/status/1140649061139095552 2
3. もくじ • マリオネットって何？種類は？動かし方は？ • なぜ作ったのか • どう作っているのか • 得られた知見 • 今後やりたいこと 3
4. マリオネットって何？ マリオネット（仏: Marionnette、英: Marionette）は、 人形劇でよく使われる操り人形の一つであり、 特に糸で操るものを指す。日本では糸繰り人形とも言う。 マリオネットの語源はフランス語においての 「マリオ」「マリア」の親愛形である。 ただし、フランス語のマリオネット（Marionnette）は、 糸操り人形に限定されず、英語のパペット（puppet)と同義で、 動かして楽しむ人形全般を意味する。 マリオネット (Wikipedia) https://ja.wikipedia.org/wiki/%E3%83%9E%E3%83%AA%E3%82%AA%E3%83%8D%E3%83%83%E3%83%88 4
5. マリオネットの種類は？ 近縁種も入れると意外にたくさん ・糸で動かすもの(Marionette) ・完全に糸だけで吊るす ← 今回はコレ ・胴体には金属串 + 手足を糸で操作 ・手を突っ込んで動かす(Puppet) = いわゆる腹話術人形 ・指で直接動かすだけ ・口パクの機構があるもの ※ヒト型以外も探すとあります 参考: パペットハウスの商品で全バリエーション見られます。 https://www.puppet-house.co.jp/ 5
6. マリオネットの動かし方 糸で吊っているタイプの事例(※参考ページのSkeleton 2008)で紹介 + 実演 ・右手 ・手全体 : 全身動作 ・親指 : 足踏み動作 ・人差し指: 口パク ・左手 ・両手、腰、etc. 参考: パペットハウスで買うと使い方も教えてもらえます！！！！ https://www.puppet-house.co.jp/ 6
7. なぜ作ったのか ・マリオネットは市場が小さい + きちんとしたものは少しだけ高い →VRに乗っていれば文化的に残しやすいのでは？ ・一部Vtuberが人形浄瑠璃と呼ばれることがある + 人形浄瑠璃もマリオネット的 →VR内である程度まで再現できるのでは？ ・アバター提示方法の一例として →手だけで、リアルタイムに、全身が動く →三人称視点で見える自分、ワンクッション置いてる感 7
8. どう作っているのか 用意するもの • Unity (Unity 2019.1) • 何かしらのヒューマノイド • Obi Rope = 動くロープが作れるアセット やること • ヒューマノイドを縮めて、1kg程度のラグドール化 • 実物を参考に、ハンドルと糸を作ってつなげる • ControllerAnchorにハンドルをくっつける • 親指の動きをスクリプトで制御 • 以上！ 8
9. どう作っているのか マリオネットとOculus Touchの対応付け ・右手 ・手全体 : 全身動作 ・親指 : 足踏み動作 ・人差し指: 口パク ・左手 ・両手、または腰、etc. →Touch本体 →Touchのジョイスティック →トリガー(※未実装だが自明) →Touch本体、まずは両手だけを対応 9
10. 得られた知見 • Oculus Touch(と多分Vive Controllerも)はマリオネットと好相性 実物と十分似たインターフェースを提供できるのが良い • ロボット(Kyle)程度なら見た目OK、人形系モデルはさらに相性良さそう • (試してないが)逆に、いかにも人っぽいアバターは相性が悪そう →工夫しないとキモくなります 10
11. 今後やりたいこと • 物理シミュレーションの調整 + 人形の背の高さで撮影 • ぬいぐるみ系モデルでの相性検討 • IKの併用の検討 ・ロープだけの実装 (今回): 原理的に正しいがシミュレーション精度がやや苦しそう ・IKでの調整: 物理的に変かもしれないが見た目は改善するかも →金属串が通っているタイプのマリオネットに動きが近づくかも • マリオネットを等身大～巨大化して同期表示 →VRならではの見せ方 11