M5Stackでclusterのアバターを動かす
by
esc122
Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
M5Stackでclusterのアバターを動かす 2022/04/12 IoT縛りの勉強会! IoTLT vol.86
Slide 2
Slide 2 text
自己紹介 赤外線学習リモコンでエアコン動作 名前:Konishi(エス。。) @esc122e https://protopedia.net/prototyper/esc122 2014年からRaspberry Piを使用 IoT・電子工作・AI(機械学習) Unity・Blender(clusterワールド作成)
Slide 3
Slide 3 text
概要 M5stack(Gray)を傾ける →clusterのアバターが移動 中央のボタンを押しながら傾ける →視点変更 右のボタンを押しながら振る →手を振る
Slide 4
Slide 4 text
作ったきっかけ clusterのプレイスタイル リアルとバーチャルをつなげる:IoT 没入せずにバーチャルを操作できるものを作ってみよう
Slide 5
Slide 5 text
全体構成
Slide 6
Slide 6 text
PyAutoGUIによるキーボード操作 M5Stackの加速度のデータ ↓ Pythonでキーボード操作 (前後・左右の移動、ジャンプ) *ただしWindowsの3Dゲームは PyAutoGUIで、マウス操作できない (pydirectinputでも動かない)
Slide 7
Slide 7 text
WindowsAPIによるマウス操作 M5Stackの加速度のデータ (中央のボタンを押しながら) ↓ Pythonでマウス操作 (視点変更) M5Stackの加速度のデータ (右のボタンを押しながら) ↓ Pythonでマウス操作 (手を振る)
Slide 8
Slide 8 text
感想 ・思ったよりM5Stackでスムーズに操作できた ・マウス操作できずに挫折しそうになったけ ど、WindowsAPIで動いたので、記事を書いて いただいた方に感謝 ・さらに自動操作しようと JetsonNanoで、YOLOv5を使って 物体検出して検出した結果から 動かそうとしたけど 検出と操作が同期せずに 挫折気味。。