MGDSS：慣性式モーションキャプチャを用いた ジェスチャによるドローンの操作 山内 瀬智，湯村 翼 北海道情報大学 第75回情報処理学会エンタテインメントコンピューティング研究会 2025.03.18 ＠京都大学 

はじめに | 背景 ・近年、エンタメ・ビジネスでドローンが使用 ・エンタメ：音楽PV、ライトアップショー ・ビジネス：配達業、農業、災害救助 ・ドローン操縦の際、コントローラを持つことによって 手がふさがってしまう ・両手を塞がずにドローンを操作できれば、作業効率向 上や活用の幅が広がる 2 農業用ドローン https://agri.mynavi.jp/2022_09_29 _203417/ ドローンによるライトアップショー https://agri.mynavi.jp/2022_09_29_2 03417/ 

はじめに | 関連研究 ・吉田ら(2012),ジェスチャ操作型飛行ロボットによる身体性の拡張[1] ・ Kinectと呼ばれる設置型センサを用いて全身の骨格情報を取得 ・上田(2022),装着型センサによるドローン操作システム[2] ・microbitやマイコンボードを手の甲に装着 ・フィンガーサインでドローンを操縦してみた！[3] ・ カメラからMediaPipeを使用して手の動きを取得 [1] https://www.interaction-ipsj.org/archives/paper2012/data/Interaction2012/interactive/data/pdf/1EXB-45.pdf [2] https://koara.lib.keio.ac.jp/xoonips/modules/xoonips/download.php/KO40002001-00002021-0025.pdf?file_id=166119 [3] https://drone.hachi-suke.com/2022/09/30/key-88/ 3 [1] [2] [3] 

はじめに | 目的 ・ジェスチャによってドローンを操作する先行研究はあるが ・設置型センサ → 操縦者の移動範囲に制限がある ・自作の装着型機器 → 不意の破損時に交換不可 ・カメラ → 強い環境光下や暗闇で使用が困難 4 汎用的な慣性式モーションキャプチャ装置でドローンを 操作するシステム MGDSS を開発 

MGDSS 5 

MGDSS ・慣性センサにmocopiを使用 ・mocopiとドローンの接続 →unityを介して接続 ・unity内でジェスチャを判定してドローンへ命令 →Pythonへの変換が必要 モーションデータ送信 Pythonに変換 命令を送信 特定のモーションを判定 6 

mocopi ・SONY社製 ・６つの慣性センサを装着することで モーションキャプチャを行える機材 ・専用アプリを使用してスマホに接続 (アプリ経由で他媒体での接続も可能) https://www.sony.jp/mocopi/ 7 

Tello ・Ryze Tech社製 ・遠隔で操作できる小型の無人航空機 ・研究では「Tello(テロー)」を使用 ・ WebAPIでの操作 ・小型 ・カメラ撮影が可能 https://www.ryzerobotics.com/jp/tello 8 

設計 9 ・mocopi センサー 身体に装着 ・mocopi モバイルアプリ データを元にキャラを表示 Bluetooth OSC ・Unity ジェスチャの判定 PC ・Python ドローンの制御用 OSC HTTP ・TELLO Pythonからの命令で動作 

ジェスチャの判定 ・mocopiの動作と連動する、Unity内の3Dモデルからマッスル値を計測 ・マッスル値：3Dモデルの腕や足などの位置を数値化したもの ・特定のジェスチャからあらかじめマッスル値を計測 同じマッスル値＝同じジェスチャの時に判定 10 離陸のジェスチャ マッスル値 肩の上下：0.6～1.2 腕の前後：-0.8～0 

mocopiの装着位置 ・全身をトラッキングする場合、肘、膝のトラッキング精度が低い。 ・トラッキングとマッスル値の精度を考慮し、足のセンサを上腕につける、 「上半身集中」を使用。 11 全身トラッキング 上半身集中 

ジェスチャ操作 ・7種類のジェスチャを実装 12 離陸 着陸 前進 右回転 左回転 右移動 左移動 

評価実験 13 

評価実験 概要 ・MGDSSシステムの有用性を調べるために コントローラ操作との比較実験を行った ・被験者：6人 ・場所：北海道情報大学 Gスタジオ ・被験者には、ジェスチャ操作とコントローラで同様の目的地まで ドローンを操作してもらい、アンケートを実施 14 

評価実験 概要 15 アンケート Q1 ドローンの制御とジェスチャの対応は自然だったか。 Q2 操作方法の理解は容易だったか。 Q3 繰り返し操作することで、操作が簡単に感じらたか。 Q4 動かしたい方向にドローンを動かせたか。 Q5 動かしたい位置にドローンを動かせたか。 Q6 動かしたいタイミングでドローンを動かせたか。 Q7 安心してドローンを操作できたか。 Q8 コントローラ操作と比べて、ジェスチャ操作は簡単だったか。 Q9 改善点 Q10 気づいたこと 

アンケート結果 16 ・ジェスチャでの操作性 ・「そう思う」、「ややそう思う」が66％以上で概ね好評 

アンケート結果 17 ・ジェスチャ操作での安心感 ・ジェスチャが反応しずらいことがあったため、「そう思わない」と 回答があったと考えられる 

アンケート結果 18 ・コントローラ操作との比較 ・それぞれの操作に別々の欠点があり、「そう思う」「ややそう思う」と 「どちらとも言えない」「あまりそう思わない」に分かれた。 

アンケート結果 ・改善点 ・ジェスチャーの許容範囲が狭いと感じた。 ・ジェスチャーを行っても反応せず、腕の向きを微調整して 反応する場面があり、ストレスに感じた。 ・正面がどっちなのかわからない時があった。 ・腕が疲れる ・手の伸ばし具合などでスピードが変わると、より直感的だと 感じた。 19 

アンケート結果 ・気づいたこと ・機械操作に慣れているので、コントローラーの方が若干操作しやす かった。 ・ジェスチャはコントローラーより微調整がしやすかった。 ・コントローラー操作では予期せぬ動きをしてしまったりしてしまい、 危険とも感じてしまった。 ・ジェスチャー操作では直感的な操作が可能であり、操作のしやすさ を感じた。 ・ジェスチャー操作では一度の移動量が少なく、操作のしやすさを 手助けしていると同時に遅さを感じた。 ・センサの接続設定に煩わしさを感じた。 20 

実験結果 ・判定する腕の向き設定と、センサの精度によってジェスチャが 判定されずらいことがあり、操作感にブレが生じた。 ・操作性を考慮し、ドローンを低速に設定した結果、微調整を しやすくなった。しかし、移動操作中は鈍さを感じ、 操作時間が伸びることで腕が疲労することが分かった。 ・mocopiやドローンの接続設定に時間がかかり、被験者に 煩わしさを感じさせてしまった。 21 

課題 ・ジェスチャの判定精度を向上させる必要がある。 ・ドローンの移動速度を、ジェスチャ操作に適した速度に設定する 必要がある。 ・機器が多く、接続にも時間がかかるため、屋外での使用が難しい。 そのため、接続機器を絞る必要がある。 22 

まとめ ・慣性式モーションキャプチャを用いてドローンのジェス チャ操作を行うシステムMGDSSを提案 ・mocopiとTelloを用いてシステムを実装 ・評価実験 ・ジェスチャでの操作感は概ね好評 ・ジェスチャの判定がされずらい場合があった ・操作時間や機器の接続時間に煩わしさがあった ・課題 ・ジェスチャの判定精度の向上 ・屋外使用、設定時間短縮のための使用機器削減 23