Haritoraのような安価なIMUモーキャプの特性と考慮点について

by izm

Slide 1

Slide 1 text

Haritoraのような安価なIMU式モーションキャプチャの特性と考慮点について @izm スライドは後日公開予定

Slide 2

Slide 2 text

挨拶 ● 趣味でHaritoraというプロジェクトをやってる@izmです。 ● フルトラ民主化しようとしたら戦国時代になってしまった… ○ →選択肢がいっぱいあるのはとても良い！切磋琢磨で健全な市場になるので ● 注意：本発表はHaritoraのポジショントークが含まれます Haritoraはいいぞ！ ↑ポジショントークの例

Slide 3

Slide 3 text

宣伝 ● Haritoraの量産後継機であるHaritoraXを株式会社 Shiftallさんと業務提携して進めています。 ● オーダー受付中 ( https://ja.shiftall.net/archives/product_page/haritorax/ ) 買って！

Slide 4

Slide 4 text

目次 ● IMU式モーションキャプチャの概要と特性 ● Haritoraの話 ● 良いIMUモーキャプかどうかの見分け方全部で3個！

Slide 5

Slide 5 text

IMUモーキャプの概要と特性

Slide 6

Slide 6 text

IMUとは ● 姿勢（角度）が取得できるセンサを1個以上積んだ物 ○ 例：加速度センサ、ジャイロセンサ、地磁気センサの組み合わせ ● 位置は取得できない ● ViveTrackerやOculusTouchも中にIMUが入っています ● リングフィットアドベンチャーで使ってる仕組み！

Slide 7

Slide 7 text

Sensor Fusion ● ジャイロセンサ（角速度）加速度センサ（加速度）地磁気センサ（地磁気）を組み合わせて、あるべき姿勢を導き出す ○ ジャイロセンサ：角速度が取れるので積分したら角度が取れる ○ 加速度センサ：静止していたら重力の9.8Gを元にお辞儀している量が分かる ○ 地磁気センサ：地球の地磁気をベースに姿勢が分かる ● ↑これらを組み合わせて正しそうな姿勢を求めるSensorFusion ○ この説明だけで60分くらいかかるので省略

Slide 8

Slide 8 text

IMU式モーションキャプチャ ● IMUを体のあちこちにつけて、SensorFusionにより、取り付けた関節の姿勢がわかる ● Forward Kinematics(順運動学)によって人体の姿勢を求める

Slide 9

Slide 9 text

姿勢計算の具体例腰:(30,0,0) 左もも (90,-10,0) 左すね(10,10,0) 単位は度

Slide 10

Slide 10 text

いくつか気にする事 ● IMUが人の体に斜めに取り付けられたりするのを吸収 ● IMUの姿勢が電源投入時にリセットされる物の場合はこのオフセットも計算する ● これらを吸収するためにユーザに幾つかのポーズを取ってもらう

Slide 11

Slide 11 text

2ポーズキャリブレーション全てのセンサー関節が1軸についてだけ曲がるポーズを使う

Slide 12

Slide 12 text

IMU式モーションキャプチャ ● Rootから末端に行くにつれて、姿勢推定誤差の蓄積で誤差が出てくる ● 歩いて移動した距離、を求めるのは大変（よくあるのが足の加速度を計測して歩行を推定しておく仕組み） ● 市販のIMU式モーションキャプチャも絶対位置を補正する仕組みをオプションで備えがち

Slide 13

Slide 13 text

IMU式モーションキャプチャの利点 ● PC側の計算コストが軽い ● 遮蔽に強い ● 素朴に実装しても複雑骨折しにくい ○ toBの生配信においてキャラクターが複雑骨折するとクビが飛ぶ ○ とはいえ、磁気ノイズの影響で突如首がクルンと回ることもある ■ トラスの上の収録とか ■ あなたが手に持ったマイク、地磁気ノイズの塊ですよ！！

Slide 14

Slide 14 text

IMU式モーションキャプチャの欠点 ● 絶対位置が取れない ● ドリフトが起きる ○ ドリフト=時間蓄積による姿勢推定誤差 ○ ドリフトが起きないIMUはメチャンコ高いです ○ 民生品だと大体30分-1hくらいで最低1度以上ズレるはず

Slide 15

Slide 15 text

IMUモーションキャプチャの人体装着方法 ● 誤差の蓄積によるドリフト以外に「体に取り付けたセンサがズレた」という誤差もある ● 各社工夫しています ● リングフィットアドベンチャーでさえ、ジャージの上から取り付けると太ももから滑り落ちます ● 全身タイツが一番安定します ● 人体各所に3脚のねじ穴が空いていてほしい！！！

Slide 16

Slide 16 text

取り付けソリューションの例全裸！

Slide 17

Slide 17 text

取り付けソリューションの例オシャレ！

Slide 18

Slide 18 text

Haritoraの話

Slide 19

Slide 19 text

Haritoraの仕組み ● 上半身は3点トラッキングが普及している（最高） ● 下半身の腰と足だけIMU式でキャプチャしたい ● 3点、5点、6点、8点あたりが検討に入る

Slide 20

Slide 20 text

3点式 ● KAT Locoが実用化 ● 太ももと腰に取り付け ● スネや足首は推定、実際違和感はある ● 一方でDeep Inertia Poser,など機械学習ベースで推定する仕組みもある ○ （計算コストが上がるのでトレードオフ）

Slide 21

Slide 21 text

5点式 ● 腰に1個、足に2個づつ ● WalkOVRおよびHaritora,HaritoraXが採用 ○ 足首は諦める ○ 腰と胸、みたいに2個付けた方が正確ではある（Unityの HumanoidのSpineBoneが2個以上という制約には意味がある）

Slide 22

Slide 22 text

6点式 ● Uni-motion,SlimeVRが採用 ● 5点式に加えて、腰またはみぞおちにもう1個追加 ● お辞儀をしたとき、腰はほぼまっすぐだけど、みぞおちは傾いてる、みたいな再現度が上がる

Slide 23

Slide 23 text

8点式 ● 6点に加えて両足首にもセンサーをつける ● 足首の加速度センサにより歩行の足踏み検知がしやすいので、IMUだけで全身モーキャプするなら足首センサはほぼ必須 ● 表現力と装着コストのトレードオフ良いなあ

Slide 24

Slide 24 text

Haritoraの5点式 ● 腰センサーはみぞおちにマウントする ● 6点式なら腰にあるはずのIMUの姿勢を根性で計算によって求める ○ 人間の背骨Spine1とSpine2は連動してる ○ なので「大体みぞおちがこの姿勢だったら腰センサーはこんな姿勢」みたいな推定が割と可能 ○ ver0.2.2より実装済み

Slide 25

Slide 25 text

No content

Slide 26

Slide 26 text

良いIMUモーキャプの見分け方

Slide 27

Slide 27 text

IMUモーキャプ買う時注意：これだけ覚えて帰って下さい ● その場から歩いているリアルタイム動画が無いものは全部ダメ ● ドリフトに言及していないものは全部ダメ ● 開発者にオタクがいないプロジェクトは全部ダメ（これはポジショントークです）

Slide 28

Slide 28 text

IMU式モーションキャプチャの大事ポイント ● IMU式モーションキャプチャ「も」ソフトウェアの出来が大事 ● 特にセンサーファームウェアや、PC側の骨格推定アルゴリズムが大事

Slide 29

Slide 29 text

みんなも作ろうIMU式モーションキャプチャ ● IMUをいっぱい繋げたハードウェアを作ってから先がめっちゃ面白い ● ハンダ付けもめっちゃ面白い ● みんなも作ってみよう

Slide 30

Slide 30 text

終わり