IoTLT-ESP32やってみた

Transcript

1. ESP32で WebRTCやってみた keita ogura
2. 自己紹介 • 小椋 恵太(ogura keita) • NTTドコモビジネス • (旧社名:NTTコミュニケーションズ) • モノづくり大好きマン • 溶接から電子工作までなんでも大好き • 実家の仏間をモノづくりガレージに改造 • 先祖に見守られながらEV3輪、エンジン4輪を制作 • 格ゲーで負けすぎて自作のコントローラーを作る • それでも勝てず • 人生初LT • お手柔らかに…
3. ESP32での実装の前に… WebRTCについて
4. WebRTCというものがありまして • リアルタイムにメディア/データ通信するための仕組み • インターネット経由で、P2Pやサーバを介しての通信が可能 • 特に低遅延性が売り • 用途はビデオ会議からロボットの遠隔制御など幅広く使われている • 便利だけどちゃんと扱うのは大変 接続先にIPなどの情報を 教えたりするサーバー リアルタイムメディア/データ通信
5. (ちょっと宣伝) • WebRTCを簡単に実現するプラットフォーム • ブラウザ(JS)、Android、iOS、Unity 、 Linux向けSDK • API叩くだけで簡単にリアルタイムメディア/データ通信 • (oguraはLinuxSDKのTL)
6. そんなWebRTC… 去年ぐらいに界隈がざわつく
7. ESP32にWebRTC実装が出始める • これまでマイコン向けWebRTC実装はほぼ無かった
8. これは作るしかない！ マイコンの時代が来てます！ うちで作りましょうよ！！ いいね！ やってみよう！！ えらい人
9. 楽しくモノづくり…
10. プロトタイプが2台爆誕
11. ラジコンロボ • カメラ付き移動ロボット • AtomS3R-M12 • 電池6本(3x2) • FEETECHの移動台車を秋月のモータードライバ基板で制御 • スマホで映像を見ながら遠隔操縦 • スマホ モバイル網︎ 自宅ネットワーク ESP32 • サーバー群はSkyWay、WebRTC機能はlibpeerで
12. アームロボ • 遠隔でアームを動かす • M5Stack Basic v2.7 • M5Stackの8chサーボドライバ • TypeC給電x2 • Amazonで買ってきたサーボアーム • スマホの傾きなどでアームコントロール • 構成はラジコンと同じ
13. プロトタイプを実装してみて 課題もありました
14. プロトタイプを踏まえた課題 • WebRTCのメディア通信ではH.264などが使われる • マイコンだと基本YUVやMJPEG… • メディア通信固有の帯域に合わせた解像度自動調整とかが使えない… • (データ通信として送ることはできるがイケてない…) • ESP32-P4などを使えばH.264を扱えるようにはなる • でも、そこまでのスペックならラズパイとかで良く無いかともなりそう… • SDKにしてはRAMがカッツカツ • プロトタイプ機での使用率50%以上 • 既存のコードとかに組み込んでもらうってなったらRAM足りないかも… • マイコンでリアルタイムメディア通信がウケるか全くわからない • ノリで作ったは良いが… • SkyWayとして、これまでと別界隈へのアプローチなので知見がない • 実はラズパイで良くないかとならないか • イベントに出すとかしてウケるか確認したい→実際しました
15. • 色んな角度でコメントもらいに行こうと思った次第 • 事前に想定した人数の1.5倍以上から話を聞けて大成功 • 体験してもらったり、アドバイスしてもらったり そんなこんなでMakerFaireTokyo2025に出展しました
16. ウケそう感は掴めたので… 色々検討中 今後に期待！
17. おわりに • アドバイス、応援などなど募集中 • マイコン x リアルタイムメディア通信を何に使ったら価値ありそうか • 遠隔地から3Dプリンタの印刷状況見るとか？ • 実家のおばあちゃんと通話するロボットとか？ • 工場のセンサを遠隔先でリアルタイムに確認したいとか？ • 他のメーカーのマイコン使った方がいいかなぁ • ESP32で商用環境では使わない気もする…？ • ハード作るから早くSDK出してくれコメントなども募集