Oculus Questでマリオネットを召喚して遊んでみた

Oculus Questでマリオネット(糸操り人形)を動かすプロトタイプ的なソフトの紹介です。「ハンドトラッキングがあるとこんなことが出来ます」的な事例紹介になっているほか、VRアバターの一形態としてこんなのどうかな、という概論共有も兼ねています。

Transcript

1. Oculus Questでマリオネットを
   召喚して遊んでみた
   獏星(ばくすたー)@baku_dreameater
   2019/06/18
   Standalone VR Meetup #02
   1
   

   View Slide

2. 何について話すのか
   ・昨日動かしたものの紹介
   ・ハンドトラッキングの事例共有
   ※本LTは飛び込みです
   https://twitter.com/baku_dreameater/status/1140649061139095552
   2
   

   View Slide

3. もくじ
   • マリオネットって何？種類は？動かし方は？
   • なぜ作ったのか
   • どう作っているのか
   • 得られた知見
   • 今後やりたいこと
   3
   

   View Slide

4. マリオネットって何？
   マリオネット（仏: Marionnette、英: Marionette）は、
   人形劇でよく使われる操り人形の一つであり、
   特に糸で操るものを指す。日本では糸繰り人形とも言う。
   マリオネットの語源はフランス語においての
   「マリオ」「マリア」の親愛形である。
   ただし、フランス語のマリオネット（Marionnette）は、
   糸操り人形に限定されず、英語のパペット（puppet)と同義で、
   動かして楽しむ人形全般を意味する。
   マリオネット (Wikipedia)
   https://ja.wikipedia.org/wiki/%E3%83%9E%E3%83%AA%E3%82%AA%E3%83%8D%E3%83%83%E3%83%88
   4
   

   View Slide

5. マリオネットの種類は？
   近縁種も入れると意外にたくさん
   ・糸で動かすもの(Marionette)
   ・完全に糸だけで吊るす ← 今回はコレ
   ・胴体には金属串 + 手足を糸で操作
   ・手を突っ込んで動かす(Puppet) = いわゆる腹話術人形
   ・指で直接動かすだけ
   ・口パクの機構があるもの
   ※ヒト型以外も探すとあります
   参考: パペットハウスの商品で全バリエーション見られます。
   https://www.puppet-house.co.jp/ 5
   

   View Slide

6. マリオネットの動かし方
   糸で吊っているタイプの事例(※参考ページのSkeleton 2008)で紹介 + 実演
   ・右手
   ・手全体 : 全身動作
   ・親指 : 足踏み動作
   ・人差し指: 口パク
   ・左手
   ・両手、腰、etc.
   参考: パペットハウスで買うと使い方も教えてもらえます！！！！
   https://www.puppet-house.co.jp/ 6
   

   View Slide

7. なぜ作ったのか
   ・マリオネットは市場が小さい + きちんとしたものは少しだけ高い
   →VRに乗っていれば文化的に残しやすいのでは？
   ・一部Vtuberが人形浄瑠璃と呼ばれることがある + 人形浄瑠璃もマリオネット的
   →VR内である程度まで再現できるのでは？
   ・アバター提示方法の一例として
   →手だけで、リアルタイムに、全身が動く
   →三人称視点で見える自分、ワンクッション置いてる感
   7
   

   View Slide

8. どう作っているのか
   用意するもの
   • Unity (Unity 2019.1)
   • 何かしらのヒューマノイド
   • Obi Rope = 動くロープが作れるアセット
   やること
   • ヒューマノイドを縮めて、1kg程度のラグドール化
   • 実物を参考に、ハンドルと糸を作ってつなげる
   • ControllerAnchorにハンドルをくっつける
   • 親指の動きをスクリプトで制御
   • 以上！
   8
   

   View Slide

9. どう作っているのか
   マリオネットとOculus Touchの対応付け
   ・右手
   ・手全体 : 全身動作
   ・親指 : 足踏み動作
   ・人差し指: 口パク
   ・左手
   ・両手、または腰、etc.
   →Touch本体
   →Touchのジョイスティック
   →トリガー(※未実装だが自明)
   →Touch本体、まずは両手だけを対応
   9
   

   View Slide

10. 得られた知見
    • Oculus Touch(と多分Vive Controllerも)はマリオネットと好相性
    実物と十分似たインターフェースを提供できるのが良い
    • ロボット(Kyle)程度なら見た目OK、人形系モデルはさらに相性良さそう
    • (試してないが)逆に、いかにも人っぽいアバターは相性が悪そう
    →工夫しないとキモくなります
    10
    

    View Slide

11. 今後やりたいこと
    • 物理シミュレーションの調整 + 人形の背の高さで撮影
    • ぬいぐるみ系モデルでの相性検討
    • IKの併用の検討
    ・ロープだけの実装 (今回): 原理的に正しいがシミュレーション精度がやや苦しそう
    ・IKでの調整: 物理的に変かもしれないが見た目は改善するかも
    →金属串が通っているタイプのマリオネットに動きが近づくかも
    • マリオネットを等身大～巨大化して同期表示
    →VRならではの見せ方
    11
    

    View Slide