D-Robotics 2024 - Confidential Information Under NDA ジェスチャー制御ロボットに関する事例研究 RDK X3に基づいて

D-Robotics 2024 - Confidential Information Under NDA content 1.0 機能概要 2.0 準備作業 3.0 使用ガイド 4.0 ジェスチャー制御ロボットのデモンストレー ション 5.0 原理解析 6.0 FAQ

D-Robotics 2024 - Confidential Information Under NDA ロボットが異なるジェスチャーに迅速に反応できる能力は、RDK X3ボードのBPUによって支えられており、効率的なアルゴリズム推論 のために5TOPSの計算能力を提供します。これにより、以下が可能になります： • 低遅延：約50msの応答時間 • 高フレームレート：最大30fpsの能力 • 長距離検出：5メートル以上の距離からのジェスチャー認識 機能概要

D-Robotics 2024 - Confidential Information Under NDA センシング 認識 インタラクシ ョン 制御 ロボット本体 モバイルロボット本体は、制御コマンド を受け取り、モーターの動きを管理し、 最終的にジェスチャーによるロボット制 御を実現する必要があります 「インタラクション」モジュールか らの出力に基づいて、ロボットの機 械的制御を可能にするための制御コ マンドが発行されます ジェスチャーが認識されると、それぞれのジェスチャ ーに適切に反応するための機能を定義し、実装する必 要があります センサーから画像データを受け取っ た後、視覚アルゴリズムを使用して データを解釈し、ジェスチャーを認 識して認識能力を実現します ジェスチャー制御のためには、視覚に基づいた インテリジェントアルゴリズムに依存する画像 データを取得するために、視覚センサーが不可 欠です

D-Robotics 2024 - Confidential Information Under NDA 準備作業 Sensor RDK X3 Robot

D-Robotics 2024 - Confidential Information Under NDA 準備作業 システムインストール 詳細な手順については、X3ボードのユーザーマニュアルのシステムイ ンストールセクションを参照してください。 システムアップデート インストール後（またはシステムがすでにインストールされている場合）、 最新のソフトウェアが動作していることを確認するために、システムを更新 してください。 ネットワーク設定 X3ボードのワイヤレスネットワーク設定を行うためには、X3ボードのユーザ ーマニュアルのワイヤレスネットワークセクションに従って設定を行ってく ださい。

D-Robotics 2024 - Confidential Information Under NDA 02. 01. 03. 使用ガイド 接続 検証 閲覧

D-Robotics 2024 - Confidential Information Under NDA PCのブラウザでリアルタイムのカメラフィード、体、頭 、顔、手の検出結果、ジェスチャー認識、およびパフォ ーマンス統計を表示するには、カメラストリームとデー タ処理の設定を行い、それらをウェブインターフェース に レ ン ダ リ ン グ す る 必 要 が あ り ま す RDK X3でターミナルを開き、ジェスチャー制御を開始します。 # Configure the Environment source /opt/tros/setup.bash # Copy the Configuration Files cp -r /opt/tros/lib/mono2d_body_detection/config/ . cp -r /opt/tros/lib/hand_lmk_detection/config/ . cp -r /opt/tros/lib/hand_gesture_detection/config/ . # Start launch ros2 launch gesture_control hobot_gesture_control.launch.py 低遅延（51ms）、高フレームレート（30fps）、お よび長距離（5メートル以上）のアルゴリズム推論 使用ガイド

D-Robotics 2024 - Confidential Information Under NDA ROS2を実行しているX3ボードで利用可能なトピックのリストを 照会するには、ros2 topic list コマンドを使用します。手順は以下 の通りです： # Configure the Environment source /opt/tros/setup.bash ros2 topic list ros2 topic type /cmd_vel RDK X3ボードのROS2で /cmd_vel トピックに公開 された情報やメッセージを照会するには、以下の手 順に従ってください 使用ガイド

D-Robotics 2024 - Confidential Information Under NDA • RDK X3 にROS2パッケー ジのソースコードをコピー する 01 RDK X3 上でパッケージを ビルドする 02 ロボットモーションコント ロールパッケージを起動す る 03 ロボットの動作を制御するた めに /cmd_vel メッセージを 公開する 04 03.Usage Guide

D-Robotics 2024 - Confidential Information Under NDA ジェスチャー制御ロボットのデモンストレーシ ョン RDK X3でジェスチャー認識および制御スクリプトを開始する #Configure TogetherROS Environment source /opt/tros/setup.bash # Copy Required Configuration Files cp -r /opt/tros/lib/mono2d_body_detection/config/ . cp -r /opt/tros/lib/hand_lmk_detection/config/ . cp -r /opt/tros/lib/hand_gesture_detection/config/ . #Launch the Gesture Control System ros2 launch gesture_control hobot_gesture_control.launch.py RDK X3でロボットモーションコントロールノードを開始する #Configure TogetherROS Environment source /opt/tros/setup.bash # Run the Robot Motion Control Node ros2 run diablo_sdk ros_bridge_example

D-Robotics 2024 - Confidential Information Under NDA

D-Robotics 2024 - Confidential Information Under NDA 原理分析 Query the nodes and topics on RDK X3 board using ROS2 command-line tool： root@ubuntu:~# source /opt/tros/setup.bash root@ubuntu:~# ros2 node list /gesture_control /gesture_control_parameter_node /hand_gesture_det /hand_lmk_det /hobot_codec1656779158649265431 /mipi_cam /mono2d_body_det /ros_bridge_example /transform_listener_impl_558896ba50 /websocket root@ubuntu:~# ros2 topic list /cmd_vel /hbmem_img080a1309022201080401012021072312 /hobot_hand_gesture_detection /hobot_hand_lmk_detection /hobot_mono2d_body_detection /image_jpeg /image_raw /imu/data_raw /odom /parameter_events /quat_odom /raw_odom /rosout /tf /tf_static ROS2 Node Communication: Publisher-Subscriber Mechanism and Visualization with rqt nodes don't communicate directly with each other; instead, they publish and subscribe to topics. This mechanism allows for loose coupling between nodes, where a publisher can send data without needing to know who the subscriber is, and vice versa Node Graph Visualization in rqt (ROS Tool) Key Features of Node Graph in rqt: Nodes: The graphical representation of all active nodes on the system, shown as individual entities. Topics: Each node can publish and subscribe to one or more topics, which are depicted as connections between the nodes. Connections: Arrows or lines show the publisher-subscriber relationships between nodes and their associated topics.

D-Robotics 2024 - Confidential Information Under NDA 06.FAQ Q: アプリの機能を拡張するためにPythonノードを開発できますか？ A: はい、ROS2はクロスデバイス、クロスプラットフォーム、クロス言 語通信をサポートしており、TogetherROSはROS2のハンブルバージョ ンと完全に互換性があるため、これらの機能もサポートしています。 import rclpy from rclpy.node import Node from ai_msgs.msg import PerceptionTargets class MinimalSubscriber(Node): def __init__(self): super().__init__('minimal_subscriber') self.subscription = self.create_subscription( PerceptionTargets, `hobot_gesture_detection', self.listener_callback, 10) self.subscription def listener_callback(self, msg): self.get_logger().info('I heard: "%s"\n' % msg) def main(args=None): rclpy.init(args=args) minimal_subscriber = MinimalSubscriber() rclpy.spin(minimal_subscriber) minimal_subscriber.destroy_node() rclpy.shutdown() if __name__ == '__main__': main()

D-Robotics 2024 - Confidential Information Under NDA 06.FAQ Q: アプリを自分のロボットに適応させる方法は？ A: この記事では、Oringinbotロボットを例に挙げて、ジェスチャー 制御アプリの機能を説明します。アプリ自体は特定のロボット形態 に依存しておらず、アプリが公開するモーションコントロールメッ セージは、ROS2で定義された標準のロボット制御メッセージです（ トピックは "/cmd_vel"、メッセージタイプは "geometry_msgs/msg/Twist" です）。

D-Robotics 2024 - Confidential Information Under NDA Thanks