Slide 1

Slide 1 text

M5Stackでclusterのアバターを動かす 2022/04/12 IoT縛りの勉強会! IoTLT vol.86

Slide 2

Slide 2 text

自己紹介 赤外線学習リモコンでエアコン動作 名前:Konishi(エス。。) @esc122e https://protopedia.net/prototyper/esc122 2014年からRaspberry Piを使用 IoT・電子工作・AI(機械学習) Unity・Blender(clusterワールド作成)

Slide 3

Slide 3 text

概要 M5stack(Gray)を傾ける →clusterのアバターが移動 中央のボタンを押しながら傾ける →視点変更 右のボタンを押しながら振る →手を振る

Slide 4

Slide 4 text

作ったきっかけ clusterのプレイスタイル リアルとバーチャルをつなげる:IoT 没入せずにバーチャルを操作できるものを作ってみよう

Slide 5

Slide 5 text

全体構成

Slide 6

Slide 6 text

PyAutoGUIによるキーボード操作 M5Stackの加速度のデータ ↓ Pythonでキーボード操作 (前後・左右の移動、ジャンプ) *ただしWindowsの3Dゲームは PyAutoGUIで、マウス操作できない (pydirectinputでも動かない)

Slide 7

Slide 7 text

WindowsAPIによるマウス操作 M5Stackの加速度のデータ (中央のボタンを押しながら) ↓ Pythonでマウス操作 (視点変更) M5Stackの加速度のデータ (右のボタンを押しながら) ↓ Pythonでマウス操作 (手を振る)

Slide 8

Slide 8 text

感想 ・思ったよりM5Stackでスムーズに操作できた ・マウス操作できずに挫折しそうになったけ ど、WindowsAPIで動いたので、記事を書いて いただいた方に感謝 ・さらに自動操作しようと JetsonNanoで、YOLOv5を使って 物体検出して検出した結果から 動かそうとしたけど 検出と操作が同期せずに 挫折気味。。