M5Stackでclusterのアバターを動かす 2022/04/12 IoT縛りの勉強会! IoTLT vol.86 

自己紹介 赤外線学習リモコンでエアコン動作 名前：Konishi（エス。。） @esc122e https://protopedia.net/prototyper/esc122 2014年からRaspberry Piを使用 IoT・電子工作・AI（機械学習） Unity・Blender（clusterワールド作成） 

概要 M5stack（Gray）を傾ける →clusterのアバターが移動 中央のボタンを押しながら傾ける →視点変更 右のボタンを押しながら振る →手を振る 

作ったきっかけ clusterのプレイスタイル リアルとバーチャルをつなげる：IoT 没入せずにバーチャルを操作できるものを作ってみよう 

全体構成 

PyAutoGUIによるキーボード操作 M5Stackの加速度のデータ ↓ Pythonでキーボード操作 （前後・左右の移動、ジャンプ） ＊ただしWindowsの3Dゲームは PyAutoGUIで、マウス操作できない （pydirectinputでも動かない） 

WindowsAPIによるマウス操作 M5Stackの加速度のデータ （中央のボタンを押しながら） ↓ Pythonでマウス操作 （視点変更） M5Stackの加速度のデータ （右のボタンを押しながら） ↓ Pythonでマウス操作 （手を振る） 

感想 ・思ったよりM5Stackでスムーズに操作できた ・マウス操作できずに挫折しそうになったけ ど、WindowsAPIで動いたので、記事を書いて いただいた方に感謝 ・さらに自動操作しようと JetsonNanoで、YOLOv5を使って 物体検出して検出した結果から 動かそうとしたけど 検出と操作が同期せずに 挫折気味。。