Share
Embed
Slide 1
Slide 1 text
Haritoraのような安価なIMU式
モーションキャプチャの特性と考慮点について
@izm
スライドは後日公開予定
Slide 2
Slide 2 text
挨拶
● 趣味でHaritoraというプロジェクトをやってる@izmです。
● フルトラ民主化しようとしたら戦国時代になってしまった…
○ →選択肢がいっぱいあるのはとても良い！切磋琢磨で健全な市場になるので
● 注意：本発表はHaritoraのポジショントークが含まれます
Haritoraはいいぞ！
↑ポジショントークの例
Slide 3
Slide 3 text
宣伝
● Haritoraの量産後継機であるHaritoraXを株式会社
Shiftallさんと業務提携して進めています。
● オーダー受付中 ( https://ja.shiftall.net/archives/product_page/haritorax/ )
買って！
Slide 4
Slide 4 text
目次
● IMU式モーションキャプチャの概要と特性
● Haritoraの話
● 良いIMUモーキャプかどうかの見分け方
全部で3個！
Slide 5
Slide 5 text
IMUモーキャプの概要と特性
Slide 6
Slide 6 text
IMUとは
● 姿勢（角度）が取得できるセンサを1個以上積んだ物
○ 例：加速度センサ、ジャイロセンサ、地磁気センサの組み合わ
せ
● 位置は取得できない
● ViveTrackerやOculusTouchも中にIMUが入っています
● リングフィットアドベンチャーで使ってる仕組み！
Slide 7
Slide 7 text
Sensor Fusion
● ジャイロセンサ（角速度）加速度センサ（加速度）地磁気センサ
（地磁気）を組み合わせて、あるべき姿勢を導き出す
○ ジャイロセンサ：角速度が取れるので積分したら角度が取れる
○ 加速度センサ：静止していたら重力の9.8Gを元にお辞儀している量が分か
る
○ 地磁気センサ：地球の地磁気をベースに姿勢が分かる
● ↑これらを組み合わせて正しそうな姿勢を求めるSensorFusion
○ この説明だけで60分くらいかかるので省略
Slide 8
Slide 8 text
IMU式モーションキャプチャ
● IMUを体のあちこちにつけて、SensorFusionにより、取
り付けた関節の姿勢がわかる
● Forward Kinematics(順運動学)によって人体の姿勢を
求める
Slide 9
Slide 9 text
姿勢計算の具体例
腰:(30,0,0) 左もも (90,-10,0) 左すね(10,10,0) 単位は度
Slide 10
Slide 10 text
いくつか気にする事
● IMUが人の体に斜めに取り付けられたりするのを吸収
● IMUの姿勢が電源投入時にリセットされる物の場合はこ
のオフセットも計算する
● これらを吸収するためにユーザに幾つかのポーズを取っ
てもらう
Slide 11
Slide 11 text
2ポーズキャリブレーション
全てのセンサー関節が1軸についてだけ曲がるポーズを使う
Slide 12
Slide 12 text
IMU式モーションキャプチャ
● Rootから末端に行くにつれて、姿勢推定誤差の蓄積で誤
差が出てくる
● 歩いて移動した距離、を求めるのは大変（よくあるのが
足の加速度を計測して歩行を推定しておく仕組み）
● 市販のIMU式モーションキャプチャも絶対位置を補正す
る仕組みをオプションで備えがち
Slide 13
Slide 13 text
IMU式モーションキャプチャの利点
● PC側の計算コストが軽い
● 遮蔽に強い
● 素朴に実装しても複雑骨折しにくい
○ toBの生配信においてキャラクターが複雑骨折するとクビが飛ぶ
○ とはいえ、磁気ノイズの影響で突如首がクルンと回ることもある
■ トラスの上の収録とか
■ あなたが手に持ったマイク、地磁気ノイズの塊ですよ！！
Slide 14
Slide 14 text
IMU式モーションキャプチャの欠点
● 絶対位置が取れない
● ドリフトが起きる
○ ドリフト=時間蓄積による姿勢推定誤差
○ ドリフトが起きないIMUはメチャンコ高いです
○ 民生品だと大体30分-1hくらいで最低1度以上ズレるはず
Slide 15
Slide 15 text
IMUモーションキャプチャの人体装着方法
● 誤差の蓄積によるドリフト以外に「体に取り付けたセンサが
ズレた」という誤差もある
● 各社工夫しています
● リングフィットアドベンチャーでさえ、ジャージの上から取
り付けると太ももから滑り落ちます
● 全身タイツが一番安定します
● 人体各所に3脚のねじ穴が空いていてほしい！！！
Slide 16
Slide 16 text
取り付けソリューションの例
全裸！
Slide 17
Slide 17 text
取り付けソリューションの例
オシャレ！
Slide 18
Slide 18 text
Haritoraの話
Slide 19
Slide 19 text
Haritoraの仕組み
● 上半身は3点トラッキングが普及している（最高）
● 下半身の腰と足だけIMU式でキャプチャしたい
● 3点、5点、6点、8点あたりが検討に入る
Slide 20
Slide 20 text
3点式
● KAT Locoが実用化
● 太ももと腰に取り付け
● スネや足首は推定、実際違和感はある
● 一方でDeep Inertia Poser,など機械学習ベースで推定す
る仕組みもある
○ （計算コストが上がるのでトレードオフ）
Slide 21
Slide 21 text
5点式
● 腰に1個、足に2個づつ
● WalkOVRおよびHaritora,HaritoraXが採用
○ 足首は諦める
○ 腰と胸、みたいに2個付けた方が正確ではある（Unityの
HumanoidのSpineBoneが2個以上という制約には意味がある）
Slide 22
Slide 22 text
6点式
● Uni-motion,SlimeVRが採用
● 5点式に加えて、腰またはみぞおちにもう1個追加
● お辞儀をしたとき、腰はほぼまっすぐだけど、みぞおち
は傾いてる、みたいな再現度が上がる
Slide 23
Slide 23 text
8点式
● 6点に加えて両足首にもセンサーをつける
● 足首の加速度センサにより歩行の足踏み検知がしやすい
ので、IMUだけで全身モーキャプするなら足首センサは
ほぼ必須
● 表現力と装着コストのトレードオフ
良いなあ
Slide 24
Slide 24 text
Haritoraの5点式
● 腰センサーはみぞおちにマウントする
● 6点式なら腰にあるはずのIMUの姿勢を根性で計算によっ
て求める
○ 人間の背骨Spine1とSpine2は連動してる
○ なので「大体みぞおちがこの姿勢だったら腰センサーはこんな
姿勢」みたいな推定が割と可能
○ ver0.2.2より実装済み
Slide 25
Slide 25 text
No content
Slide 26
Slide 26 text
良いIMUモーキャプの見分け方
Slide 27
Slide 27 text
IMUモーキャプ買う時注意：これだけ覚えて帰って下さい
● その場から歩いているリアルタイム動画が無いものは全
部ダメ
● ドリフトに言及していないものは全部ダメ
● 開発者にオタクがいないプロジェクトは全部ダメ（これ
はポジショントークです）
Slide 28
Slide 28 text
IMU式モーションキャプチャの大事ポイント
● IMU式モーションキャプチャ「も」ソフトウェアの出来
が大事
● 特にセンサーファームウェアや、PC側の骨格推定アルゴ
リズムが大事
Slide 29
Slide 29 text
みんなも作ろうIMU式モーションキャプチャ
● IMUをいっぱい繋げたハードウェアを作ってから先が
めっちゃ面白い
● ハンダ付けもめっちゃ面白い
● みんなも作ってみよう
Slide 30
Slide 30 text
終わり