Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MGDSS:慣性式モーションキャプチャを用いたジェスチャによるドローンの操作 / ec75-y...
Search
yumulab
March 18, 2025
Research
0
460
MGDSS:慣性式モーションキャプチャを用いたジェスチャによるドローンの操作 / ec75-yamauchi
2025年3月18日(火)の情報処理学会エンタテインメントコンピューティング(EC)研究発表会 発表スライド
yumulab
March 18, 2025
Tweet
Share
More Decks by yumulab
See All by yumulab
研究室から社会へ 〜 情報科学でつなぐ科学技術コミュニケーション実践 / #CoSTEP20th
yumulab
0
47
A Proposal of an Information Delivery Method using Human Movement as a Communication Medium for Electronic Paper Signage / ICEC2025
yumulab
0
7
メタバース空間で対話相⼿に向かって⾃律移動するAIアバター『ノア』の開発 / EC2025-Oyamada
yumulab
0
21
足位置の視覚的提示による電子オルガンのペダル鍵盤演奏学習支援システムの提案 / EC2025-Hokin
yumulab
0
20
電子ペーパーサイネージにおける人の移動を通信媒介とした情報配送手法の提案 / EC2025-Akiba
yumulab
0
13
フィジカルコンピューティングでアイデアをカタチに! / hiu-physcom
yumulab
0
36
大学内にファブスペースをつくってみた #sapporo3dp / Making HIU Fab
yumulab
1
61
感圧導電シートを用いた床面圧力センサによる人物同定手法の開発 / HCI213
yumulab
0
11
ASSADS:ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
yumulab
1
540
Other Decks in Research
See All in Research
音声感情認識技術の進展と展望
nagase
0
150
多言語カスタマーインタビューの“壁”を越える~PMと生成AIの共創~ 株式会社ジグザグ 松野 亘
watarumatsuno
0
130
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
0
190
20250605_新交通システム推進議連_熊本都市圏「車1割削減、渋滞半減、公共交通2倍」から考える地方都市交通政策
trafficbrain
0
840
[論文紹介] Intuitive Fine-Tuning
ryou0634
0
120
SSII2025 [SS1] レンズレスカメラ
ssii
PRO
2
1.1k
ip71_contraflow_reconfiguration
stkmsd
0
110
SNLP2025:Can Language Models Reason about Individualistic Human Values and Preferences?
yukizenimoto
0
180
SegEarth-OV: Towards Training-Free Open-Vocabulary Segmentation for Remote Sensing Images
satai
3
300
Creation and environmental applications of 15-year daily inundation and vegetation maps for Siberia by integrating satellite and meteorological datasets
satai
3
380
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
taiji_suzuki
25
19k
Pythonでジオを使い倒そう! 〜それとFOSS4G Hiroshima 2026のご紹介を少し〜
wata909
0
740
Featured
See All Featured
Statistics for Hackers
jakevdp
799
220k
GitHub's CSS Performance
jonrohan
1032
460k
Git: the NoSQL Database
bkeepers
PRO
431
66k
Building Adaptive Systems
keathley
43
2.8k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Making Projects Easy
brettharned
119
6.4k
The Language of Interfaces
destraynor
162
25k
Balancing Empowerment & Direction
lara
4
680
Facilitating Awesome Meetings
lara
56
6.6k
How STYLIGHT went responsive
nonsquared
100
5.8k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Rebuilding a faster, lazier Slack
samanthasiow
84
9.2k
Transcript
MGDSS:慣性式モーションキャプチャを用いた ジェスチャによるドローンの操作 山内 瀬智,湯村 翼 北海道情報大学 第75回情報処理学会エンタテインメントコンピューティング研究会 2025.03.18 @京都大学
はじめに | 背景 ・近年、エンタメ・ビジネスでドローンが使用 ・エンタメ:音楽PV、ライトアップショー ・ビジネス:配達業、農業、災害救助 ・ドローン操縦の際、コントローラを持つことによって 手がふさがってしまう ・両手を塞がずにドローンを操作できれば、作業効率向 上や活用の幅が広がる
2 農業用ドローン https://agri.mynavi.jp/2022_09_29 _203417/ ドローンによるライトアップショー https://agri.mynavi.jp/2022_09_29_2 03417/
はじめに | 関連研究 ・吉田ら(2012),ジェスチャ操作型飛行ロボットによる身体性の拡張[1] ・ Kinectと呼ばれる設置型センサを用いて全身の骨格情報を取得 ・上田(2022),装着型センサによるドローン操作システム[2] ・microbitやマイコンボードを手の甲に装着 ・フィンガーサインでドローンを操縦してみた![3] ・
カメラからMediaPipeを使用して手の動きを取得 [1] https://www.interaction-ipsj.org/archives/paper2012/data/Interaction2012/interactive/data/pdf/1EXB-45.pdf [2] https://koara.lib.keio.ac.jp/xoonips/modules/xoonips/download.php/KO40002001-00002021-0025.pdf?file_id=166119 [3] https://drone.hachi-suke.com/2022/09/30/key-88/ 3 [1] [2] [3]
はじめに | 目的 ・ジェスチャによってドローンを操作する先行研究はあるが ・設置型センサ → 操縦者の移動範囲に制限がある ・自作の装着型機器 → 不意の破損時に交換不可
・カメラ → 強い環境光下や暗闇で使用が困難 4 汎用的な慣性式モーションキャプチャ装置でドローンを 操作するシステム MGDSS を開発
MGDSS 5
MGDSS ・慣性センサにmocopiを使用 ・mocopiとドローンの接続 →unityを介して接続 ・unity内でジェスチャを判定してドローンへ命令 →Pythonへの変換が必要 モーションデータ送信 Pythonに変換 命令を送信 特定のモーションを判定
6
mocopi ・SONY社製 ・6つの慣性センサを装着することで モーションキャプチャを行える機材 ・専用アプリを使用してスマホに接続 (アプリ経由で他媒体での接続も可能) https://www.sony.jp/mocopi/ 7
Tello ・Ryze Tech社製 ・遠隔で操作できる小型の無人航空機 ・研究では「Tello(テロー)」を使用 ・ WebAPIでの操作 ・小型 ・カメラ撮影が可能 https://www.ryzerobotics.com/jp/tello
8
設計 9 ・mocopi センサー 身体に装着 ・mocopi モバイルアプリ データを元にキャラを表示 Bluetooth OSC
・Unity ジェスチャの判定 PC ・Python ドローンの制御用 OSC HTTP ・TELLO Pythonからの命令で動作
ジェスチャの判定 ・mocopiの動作と連動する、Unity内の3Dモデルからマッスル値を計測 ・マッスル値:3Dモデルの腕や足などの位置を数値化したもの ・特定のジェスチャからあらかじめマッスル値を計測 同じマッスル値=同じジェスチャの時に判定 10 離陸のジェスチャ マッスル値 肩の上下:0.6~1.2 腕の前後:-0.8~0
mocopiの装着位置 ・全身をトラッキングする場合、肘、膝のトラッキング精度が低い。 ・トラッキングとマッスル値の精度を考慮し、足のセンサを上腕につける、 「上半身集中」を使用。 11 全身トラッキング 上半身集中
ジェスチャ操作 ・7種類のジェスチャを実装 12 離陸 着陸 前進 右回転 左回転 右移動 左移動
評価実験 13
評価実験 概要 ・MGDSSシステムの有用性を調べるために コントローラ操作との比較実験を行った ・被験者:6人 ・場所:北海道情報大学 Gスタジオ ・被験者には、ジェスチャ操作とコントローラで同様の目的地まで ドローンを操作してもらい、アンケートを実施 14
評価実験 概要 15 アンケート Q1 ドローンの制御とジェスチャの対応は自然だったか。 Q2 操作方法の理解は容易だったか。 Q3 繰り返し操作することで、操作が簡単に感じらたか。
Q4 動かしたい方向にドローンを動かせたか。 Q5 動かしたい位置にドローンを動かせたか。 Q6 動かしたいタイミングでドローンを動かせたか。 Q7 安心してドローンを操作できたか。 Q8 コントローラ操作と比べて、ジェスチャ操作は簡単だったか。 Q9 改善点 Q10 気づいたこと
アンケート結果 16 ・ジェスチャでの操作性 ・「そう思う」、「ややそう思う」が66%以上で概ね好評
アンケート結果 17 ・ジェスチャ操作での安心感 ・ジェスチャが反応しずらいことがあったため、「そう思わない」と 回答があったと考えられる
アンケート結果 18 ・コントローラ操作との比較 ・それぞれの操作に別々の欠点があり、「そう思う」「ややそう思う」と 「どちらとも言えない」「あまりそう思わない」に分かれた。
アンケート結果 ・改善点 ・ジェスチャーの許容範囲が狭いと感じた。 ・ジェスチャーを行っても反応せず、腕の向きを微調整して 反応する場面があり、ストレスに感じた。 ・正面がどっちなのかわからない時があった。 ・腕が疲れる ・手の伸ばし具合などでスピードが変わると、より直感的だと 感じた。 19
アンケート結果 ・気づいたこと ・機械操作に慣れているので、コントローラーの方が若干操作しやす かった。 ・ジェスチャはコントローラーより微調整がしやすかった。 ・コントローラー操作では予期せぬ動きをしてしまったりしてしまい、 危険とも感じてしまった。 ・ジェスチャー操作では直感的な操作が可能であり、操作のしやすさ を感じた。 ・ジェスチャー操作では一度の移動量が少なく、操作のしやすさを
手助けしていると同時に遅さを感じた。 ・センサの接続設定に煩わしさを感じた。 20
実験結果 ・判定する腕の向き設定と、センサの精度によってジェスチャが 判定されずらいことがあり、操作感にブレが生じた。 ・操作性を考慮し、ドローンを低速に設定した結果、微調整を しやすくなった。しかし、移動操作中は鈍さを感じ、 操作時間が伸びることで腕が疲労することが分かった。 ・mocopiやドローンの接続設定に時間がかかり、被験者に 煩わしさを感じさせてしまった。 21
課題 ・ジェスチャの判定精度を向上させる必要がある。 ・ドローンの移動速度を、ジェスチャ操作に適した速度に設定する 必要がある。 ・機器が多く、接続にも時間がかかるため、屋外での使用が難しい。 そのため、接続機器を絞る必要がある。 22
まとめ ・慣性式モーションキャプチャを用いてドローンのジェス チャ操作を行うシステムMGDSSを提案 ・mocopiとTelloを用いてシステムを実装 ・評価実験 ・ジェスチャでの操作感は概ね好評 ・ジェスチャの判定がされずらい場合があった ・操作時間や機器の接続時間に煩わしさがあった ・課題 ・ジェスチャの判定精度の向上
・屋外使用、設定時間短縮のための使用機器削減 23