MarineGym 水中シミュレータ

Transcript

1. 0 潜水艇用シミュレータマリンジムで遊んでみた 強化学習に特化した海中シミュレータ 柴田たけお
2. 興味のある仕事 ▪ 先端技術と情報技術の融合と応用 ▪ データサイエンス ▪ AI（生成AI,分析AI,識別AI), 統計や機械学習 ▪ ロボット、AI支援型CADや部品設計製造 ▪ 愛知県名古屋市生まれ豊田市育ち ▪ 大学,大学院では地球物理専攻 ▪ 本業ロサンゼルス商社のデータサイエンティスト 個人でAI関連含むプロジェクト多数やったつもり ▪ 愛知県豊田市の空家に年数回滞在(日米2拠点生活) 趣味 ▪ キャンプやハイキング ▪ 自転車旅行 ▪ 青春１８切符でのんびり列車旅行 ▪ 食べること @takeofuture https://zenn.dev/takeofuture
3. ▪ なぜ水中シミュレータ？ ▪ 水中シミュレータ比較 ▪ MarineGymとは？ ▪ MarineGymのアーキテクチャ ▪ MarineGymで考慮される物理と限界 ▪ 環境構築とサンプルタスク実行 ▪ 独自タスクの設定 ▪ チェックポイントでの動作確認 ▪ まとめと今後の課題 目次
4. なぜ水中シミュレータ？ 水中ロボットは「気軽に実機で試す」が難しい 地上ロボットやドローンに比べて、実験のハードルが高い 故障・浸水・機体ロストのリスクが大きい 水中では、浮力・水の抵抗・海流・推進器応答が複雑に影響する 電子回路、センサー、配線、防水、耐圧、浮力調整まで考える必要がある 地上・空中と違い、GPSや電波が届きにくく、 ソナーなど音波ベースのセンサーが重要になる 強化学習では大量の試行錯誤が必要だが、実機で繰り返すのは現実的ではない だからまずシミュレータで試す 安全に失敗できる 何度も高速に試せる 実機前に制御を検証できる 水中ロボットでは「試すこと」自体が高コスト。 だから、シミュレータ上で高速に試行錯誤できる環境が重要。
5. 水中シミュレータ比較 水中ロボットのシミュレーションでは、 地上ロボットのような剛体運動だけでなく、 水中特有の物理も重要になります。 例えば 浮力 水の抵抗・減衰 付加質量 海流 推進器・舵の応答 センサー・視覚表現 一方で、強化学習では大量の 試行錯誤が必要になるため、 物理の細かさだけでなく、 高速に何度も回せるかも重要になる。 比較のポイント - DAVE / Stonefish：実機検証やセンサ・環境表現に強い - HoloOcean / UNav-Sim：水中の視覚表現やナビゲーション系タスクに向く - UUV Simulator：ROS/Gazebo系の標準的な水中ロボット実験環境 - MarineGym：物理を完全再現するより、強化学習を高速に回すことに強い
6. MarineGymとは？ 水中ロボット向けの 強化学習プラットフォーム 01 物理シミュレーション環境 • Isaac Sim / PhysX をベースにした先進的なシミュレーション環境 • GPUで高速に動作する hydrodynamics plugin を独自に追加 • 水中ロボットの制御に不可欠な代表的流体力を高度にモデル化 02 豊富なモデルと標準タスク • 実用的な複数のUUVモデル、推進器モデル、および標準タスクをプリセット • Station Keeping / Trajectory Tracking / Docking など多様なミッションに対応 03 大規模並列による高速化 • 大規模な並列実行をサポートし、強化学習における膨大な試行錯誤を劇的に高速化 MarineGymは、単に「水中をリアルに描画するだけ」のビジュアル重視シミュレ ータではない。 水中ロボットに強化学習を実用レベルで適用するための、極めて高速な実験 ・評価基盤。 MarineGymは、大規模並列RLを前提にGPUで高速化 引用: MarineGym: A High-Performance Reinforcement Learning Platform for Underwater Robotics IROS 2025: Best Paper Award , ICRA 2025 AQ²UASIM Workshop https://arxiv.org/abs/2503.09203 Fig. 1 , Table 1.
7. MarineGymのアーキテクチャー MarineGymは、水中ロボットRLの ために以下を統合した構成 RL Library PPO / SAC / TD3 など Gym API 強化学習アルゴリズムと 環境を接続 大規模水中シミュレータ Isaac Sim / PhysX ＋ GPU対応の 水中流体力学プラグイン UUVモデルライブラリ ROV型、魚雷型、ハイブリッド型 など複数の水中ロボットモデル ベンチマークタスク 位置保持、軌道追従、ドッキング DR toolbox 物理特性・アクチュエータ・ シミュレーション設定・ 外乱をランダム化 引用: MarineGym: A High-Performance Reinforcement Learning Platform for Underwater Robotics IROS 2025: Best Paper Award , ICRA 2025 AQ²UASIM Workshop https://arxiv.org/abs/2503.09203 Fig. 2
8. MarineGymで考慮される物理と限界 MarineGymは、CFDのように流体そのものを詳細に解くのではなく、Newton-Euler式と FossenのUUV運動方程式をベースに水中ロボットに作用する代表的な流体力をモデル化 強化学習を高速化 考慮されている主な物理 考慮されていない 簡略化されているもの
9. 環境構築とサンプルタスク実行(1/2) MarineGymは Docker 環境で動かすと 始めやすい GitHubから取得 ↓ Dockerコンテナ起動 ↓ conda環境を有効化 ↓ 用意済みタスクを実行(学習） ↓ 学習結果を動画で確認(推論と録画) 用意されている代表的なタスク Hover / Station Keeping Track / Trajectory Tracking 基本イメージ docker run ... raiots/marinegym:env cd /Programing/MarineGym/scripts conda activate sim python train.py task=Hover algo=ppo ... python train.py task=Track algo=ppo ... MarineGym GitHub https://github.com/Marine-RL/MarineGym 発表者実装手順ブログ https://zenn.dev/takeofuture/articles/acad47ba7d537f
10. 環境構築とサンプルタスク実行(2/2) MarineGym hover flow result Marine Gym track flow result サンプル実行手順ブログ https://zenn.dev/takeofuture/articles/a00a7c9169d3e7 https://youtu.be/VI1TZoXU75c https://youtu.be/ACp2g-5IAkg
11. 独自タスクの設定 独自タスク：ShuttleObstacle 想定シナリオ 潜水艇が A地点とB地点を往復しながら偵察する。 ただし、途中には 機雷のような危険領域があり、これを避けて移動する必要がある。 A地点 ←―――――― 機雷――――――→ B地点 今回は環境や移動体（この場合潜水艇）は１からからつくらずサンプルタスクを流用 • 元の Track タスクをコピーして ShuttleObstacle として作成 • 固定軌道を追従するのではなく、A/Bの2地点を交互に目標化 • 中央に仮想障害物を配置 • 障害物に近づくとペナルティ • 衝突範囲に入るとエピソード終了(この場合機雷作動による爆発撃沈) • 機体の向きが目標方向を向くように、軽いheading報酬も追加 表示や強化学習の報酬でそれなりの工夫はいるが学習から推論までの 全体の流れはサンプルタスクとほぼ同様 手順詳細ブログ https://zenn.dev/takeofuture/articles/af9ee9b6a4cae0
12. チェックポイントでの動作確認（開始直後） shuttle obstacle 835584 A https://youtu.be/DZEZ0iK9rVk
13. チェックポイントでの動作確認（開始からしばらくして） shuttle obstacle 2473984 B https://youtu.be/5KcharlReyI
14. チェックポイントでの動作確認（学習中盤） shuttle obstacle 5750784 C https://youtu.be/Dn-djhLOI6M
15. チェックポイントでの動作確認（学習終了後） shuttle obstacle final https://youtu.be/8tVNnSc82C8
16. まとめと今後の課題 今回わかったこと 2地点往復＋障害物回避のようなタスクでは、報酬設計が比較的しやすい MarineGymを使うと、水中ロボット向けの強化学習を高速に試せる 浮力・水中抵抗・付加質量・海流外乱など、水中ロボットに必要な代表的な物理を扱える Trackタスクをベースに、独自のShuttleObstacleタスクへ拡張できた 一方で、実機投入にはまだ課題がある（多分MarineGymは採用が難しい） Sim2Real：シミュレータで学習した方策が実機でも動くか センサ：ソナー、カメラ、IMU、DVLなどのノイズや欠損 環境：乱流、渦、濁り、障害物まわりの流れ 安全性：機雷・障害物・通信断へのフェイルセーフ 長時間自律運用：バッテリー、自己位置推定、ミッション計画 MarineGymは「実機の代わり」でも直接Sim2Realに持っていくためでもなく 強化学習を高速に試行錯誤するための強力な実験環境。
17. Sim2Realを視野に水中ロボットで本格的に自律航行・障害物回避・測位をするなら、 音響系センサーなしではかなり厳しい。 現時点でMarineGymはSim2Realで使うというより海中での強化学習検証用
18. 余談: 高校生のオタクグループが水中ドローンの製作を頑張っていた 水中は次のフロンティアかもしれない！
19. 参考文献 Chu, S., Huang, Z., Li, Y., Lin, M., Li, D., Carlucho, I., Petillot, Y. R., & Yang, C. (2025). MarineGym: A high-performance reinforcement learning platform for underwater robotics. arXiv. https://doi.org/10.48550/arXiv.2503.09203 Cieślak, P. (2019). Stonefish: An advanced open-source simulation tool designed for marine robotics, with a ROS interface. In OCEANS 2019 - Marseille. IEEE. https://doi.org/10.1109/OCEANSE.2019.8867434 Zhang, M. M., Choi, W.-S., Herman, J., Davis, D., Vogt, C., McCarrin, M., Vijay, Y., Dutia, D., Lew, W., Peters, S., & Bingham, B. (2022). DAVE Aquatic Virtual Environment: Toward a general underwater robotics simulator. In 2022 IEEE/OES Autonomous Underwater Vehicles Symposium (AUV). IEEE. https://doi.org/10.1109/AUV53081.2022.9965808