M5Stackでclusterのアバターを動かす

IoT縛りの勉強会! IoTLT vol.86 @Youtube
https://iotlt.connpass.com/event/242530/

Transcript

1. M5Stackでclusterのアバターを動かす 2022/04/12 IoT縛りの勉強会! IoTLT vol.86
2. 自己紹介 赤外線学習リモコンでエアコン動作 名前：Konishi（エス。。） @esc122e https://protopedia.net/prototyper/esc122 2014年からRaspberry Piを使用 IoT・電子工作・AI（機械学習） Unity・Blender（clusterワールド作成）
3. 概要 M5stack（Gray）を傾ける →clusterのアバターが移動 中央のボタンを押しながら傾ける →視点変更 右のボタンを押しながら振る →手を振る
4. 作ったきっかけ clusterのプレイスタイル リアルとバーチャルをつなげる：IoT 没入せずにバーチャルを操作できるものを作ってみよう
5. 全体構成
6. PyAutoGUIによるキーボード操作 M5Stackの加速度のデータ ↓ Pythonでキーボード操作 （前後・左右の移動、ジャンプ） ＊ただしWindowsの3Dゲームは PyAutoGUIで、マウス操作できない （pydirectinputでも動かない）
7. WindowsAPIによるマウス操作 M5Stackの加速度のデータ （中央のボタンを押しながら） ↓ Pythonでマウス操作 （視点変更） M5Stackの加速度のデータ （右のボタンを押しながら） ↓ Pythonでマウス操作 （手を振る）
8. 感想 ・思ったよりM5Stackでスムーズに操作できた ・マウス操作できずに挫折しそうになったけ ど、WindowsAPIで動いたので、記事を書いて いただいた方に感謝 ・さらに自動操作しようと JetsonNanoで、YOLOv5を使って 物体検出して検出した結果から 動かそうとしたけど 検出と操作が同期せずに 挫折気味。。