ROS#を使ったROSとxRデバイスの通信

瀬戸内ROS勉強会 ＃2で発表した内容です

https://ros.xrea.jp/index.php?%E7%80%AC%E6%88%B8%E5%86%85ROS%E5%8B%89%E5%BC%B7%E4%BC%9A%20%E7%AC%AC02%E5%9B%9E

Transcript

1. ROS#を使ったロボットとxRデバイスの通信 もじゃなり @masanari7430
2. ROS#とは？ • ROSとUnityのための通信ライブラリ • websocket？を経由してROSのデータを送受信可能 • IPアドレスを指定して通信をするので，ROSとUnityが別のPCでも通信可能 • ROSやUnityで作ったシュミレーションモデル(URDF形式)も送受信可能
3. ROS#で対応しているデータ 使用頻度の高いデータは ほとんど対応 もし無くても自作が可能 • LaserScan(2次元LIDAR) • Image(Webカメラの画像) • Twist(ロボットの移動速度) • Odometry(ロボットの位置)等・・・
4. どこでROS#に出会ったか？ https://twitter.com/Spri_ta/status/1016971100314451968 https://qiita.com/Spritaro/items/5eb99b2fcdc26a3816c e
5. 自分もやってみた
6. システム構成 Oculus Go 頭の角度 カメラ映像 サーボ Webカメラ ラズパイ ROS#によるWifi通信 arduino
7. Unityを使うと何がいいの？ Unity • ゲーム製作に特化したゲームエンジン • ロボットを動かすのは難しい • データの表現方法の自由度が高い • xRデバイスの開発環境 ROS • ロボットを動かすのに特化したミドルウェア • RvizやGazeboはあるけど 開発者向けのデバックツール ロボットを動かす xRを使ってデータ表示 一般の人にも分かりやすい ロボット操作インターフェイス
8. ARゴーグルを使ったロボット操作 NorthStar • 学生が手を出せるAR専用デバイス • オープンソースで設計図が公開されている • 3Dプリンタがあれば，3万円以内で作れる • 手のトラッキングが可能で 手を入力装置として使える
9. ARマーカで位置推定+手による操作 移動ロボット ARマーカ 操作者 人差指の向きで ロボットを操作 ARマーカから位置推定して 走行方向を表示
10. デバイス間のデータの流れ 指の角度から Twist(移動速度)を送信 認識したARマーカからロ ボット位置を表示 受け取ったTwistから ロボットを移動させる ROS#によるWifi通信
11. ハンドジェスチャによる操作  人差し指を伸ばすと前進，矢印も追従
12. ハンドジェスチャによる操作  指を曲げるとその方向に移動
13. ARゴーグルによる操作インターフェイス  実機実験
14. まとめ • ROSとUnityのそれぞれの利点 • ROS#を使ってROSとUnityの通信をやってみた • ARゴーグルを使ってロボットを操作してみた 自分の頭で考えられることをやり切ってアイデアが 無くなったので提案お待ちしています
15. 参考文献  ROS#について ROS#:UnityとROSの接続 http://kuwamai.hatenablog.com/entry/2018/11/28/200011  NorthStarについて Leap Motion社のARヘッドセット「Project North Star」を3万円で2019 年に組み立てた https://tech.showroom.co.jp/entry/2019/01/28/175438