箱庭(Hakoniwa) Overview 合同会社箱庭ラボ 森崇

はじめに • この資料では、「箱庭︖」という⼈向けに以下の情報を整理しています。 • 箱庭とは何か • 箱庭の構想 • 箱庭の適⽤事例 2

箱庭(Hakoniwa)とは ΦʔϓϯιʔεɾίϛϡχςΟ 5011&34ശఉϫʔΩϯάάϧʔϓ͕૑Δ ະདྷࣾձͷԾ૝؀ڥͰ͢ 3 ٕज़ͷശఉ https://ja.wikipedia.org/wiki/箱庭 ೔ ຊ ͷ จ Խ ҩ ྍ ͷ ശ ఉ ͔ Β ͕ ੜ · Ε · ͠ ͨ TOPPERS箱庭WG︓ https://toppers.github.io/hakoniwa/docs

箱庭とは何か • 箱庭の背景 • 箱庭の狙いとコンセプト • 箱庭の適⽤事例 • オンライン・ロボット教育 • VR体験 • ロボット強化学習 • STAMP/STPA分析活⽤ • ドローン・シミュレーション • リアルとバーチャルの融合 • 箱庭とは何か︖ 4

箱庭の背景 5 • IoT開発には様々な分野の技術領域 ＝技術者の結集が不可⽋ • 結合テストや検証が困難である • 問題発⽣時にはその原因と 経路の調査が複雑となる • 実証実験コストも⼤きくなる クラウド CAN ECU ⾞載PC 管制サーバ スマホ Web系 ⾃動運転 制御系 ECU制御系 バックエンド サーバ系 メカ系 エレキ系 ネットワーク系 IT系エンジニア 交通サービス系 ET系エンジニア 制御系エンジニア ICTエンジニア センサ

『箱庭』の狙いとコンセプト • 箱の中に，様々なモノをみんなの好みで配置して，いろいろ試せる︕ ・仮想環境上(箱庭)でIoT/ロボット・システムを開発する • ⇒ 各分野のソフトウェアを持ち寄って，机上で全体結合＆実証実験︕ 6 Web系 エンジニア ネットワーク系 エンジニア 組込み系 エンジニア ロボット制御系 エンジニア クラウド系 エンジニア

箱庭の構想 7 箱庭オープンソースコミュニティと箱庭ビジネスコミュニティで作るでっかいエコシステムです︕ 箱庭シミュレーションハブ（箱庭コア） ドメイン毎のシミュレーション環境 ドメイン毎の箱庭アセット評価環境 システム開発者 サービス提供者 箱庭アセット開発者 箱庭アセット提供者 箱庭ビジネス コミュニティ 箱庭オープンソース コミュニティ

説明 • 箱庭シミュレーションハブ（箱庭コア） • 様々なプログラムやシミュレータを連携する箱庭の核（コア）となる機能です • この機能を利⽤して、ドメイン毎のシミュレータおよび箱庭アセット評価環境を作成します • ドメイン毎のシミュレーション環境 • システム開発者およびサービス提供者の視点・精度で構築されたシミュレーション環境です • シミュレータは、ドメイン毎（例えば、ロボットやドローン等）に気にするポイントや作成するものが変わると思います • ですので、ドメイン毎にシミュレーション環境を構築します（例︓箱庭ドローンシミュレータ） • ドメイン毎の箱庭アセット評価環境 • ドメイン毎のシミュレーション環境で利⽤する箱庭アセットの評価環境です • 例えば、ドローンの場合は、センサの特性や機体そのもの評価⽤に利⽤します • ハードメーカーの営業ツールとしても利⽤できると考えています • 箱庭オープンソースコミュニティ • TOPPERS/箱庭WGのようなオープンソースコミュニティが箱庭コア機能開発します • 箱庭ビジネスコミュニティ • 合同会社箱庭ラボのような企業がシミュレータを制作する想定です • 今後、様々な企業が参画してビジネスコミュニティが育っていくことを期待しています 8

箱庭アセット（ロボット） 箱庭の適⽤事例 9 箱庭アセット（シミュレータ） PyBullet Athrill 箱庭アセット（制御プログラム） 箱 庭 の 適 ⽤ 例 VR体験 STAMP/STPA 分析活⽤ ロボット強化学習 オンライン・ロボット教育 ドローン・シミュレーション リアルとバーチャルの融合

オンライン・ロボット教育の狙い ■狙い Unity上のロボット(1個)と仮想マイコンを連携させたシミュレーションの実現 ■構成要素 ー ロボット本体 ・モータ/センサ等 ー ロボットを制御するマイコン ・RTOSおよびロボット制御が動きます ー 外部環境 ・⾛⾏コース/障害物等 ■広報活動 ー ETロボコンユーザ層に箱庭を広める ー オンライン・ロボット教育演習での活⽤ 10 超⾳波センサ カラーセンサ センサ⽤ライト モーター マイコン・シミュレータ 制御処理(C/C++) EV3RT ASP3/ASP athrill

オンラインロボット教育（デモ） 11 11 • TOPPERS/箱庭WGが作成した最初のシミュレータです。 • コロナ禍で、オンラインでロボット教育の需要の⾼まりを受けて、多くの⽅にご利⽤いただきました。 動画：https://www.youtube.com/watch?v=OAg_YApjfns

VR体験の狙い 12 ︖︖

Oculus Quest2で箱庭VR空間にダイブする︕ 13 • 箱庭のビジュアル部分はUnityを利⽤しているので、VR体験も簡単に実現できます。 • 動画︓https://www.youtube.com/watch?v=89nhwYkzMTU

箱庭で強化学習の狙い • UnityとPython使って、誰でも⼿軽にロボットの強化学習を試せるようにする︕ 14 ശ ఉ

箱庭で強化学習をトライ︕ 15 • 箱庭で強化学習のトライをした事例です。 • 動画︓https://www.youtube.com/watch?v=3FqNZArthLo • 詳細解説記事︓https://qiita.com/kanetugu2018/items/ee9b2bf0596a35e42b03

安全分析⽀援ツールとシミュレーションを 融合した新しい分析スタイル STAMP/STPA分析活⽤の狙い(1/2) • 安全分析⽀援ツールとシミュレーションを融合した新しい分析スタイル 16 安全分析⼿法︓STAMP/STPA AI/IoTのような複雑なシステム 因果関係ベース⼿法の限界 ⼈間との相互作⽤の考慮 教育と導⼊のハードル 実際の動作をすぐに イメージできない

STAMP/STPA分析活⽤の狙い(2/2) 17 分析モデル ／ ガイドワード ハザード 要因 分析モデル・ガイドワードだけで、 ハザード要因をリアルにイメージできますか︖ 分析して悩んだら シミュレーションで試して理解を深める シミュレーション 安全分析⽀援ツール

18 STAMP/STPA分析活⽤ 安全分析シナリオの例︓遮断桿が下りる前に列⾞が踏切を通過してしまった 資料︓https://speakerdeck.com/tmori/stpadenohuo-yong 動画︓https://www.youtube.com/watch?v=AQkuziLJPtc 安全分析して悩んだらシミュレーションで試して理解を深める︕

箱庭アセット（ロボット） 箱庭の適⽤事例 19 箱庭アセット（シミュレータ） PyBullet Athrill 箱庭アセット（制御プログラム） 箱 庭 の 適 ⽤ 例 VR体験 STAMP/STPA 分析活⽤ ロボット強化学習 オンライン・ロボット教育 ドローン・シミュレーション リアルとバーチャルの融合 ⼤阪万博に向けて 全集中してます︕

20 ドローンを活⽤した箱庭適⽤先の全体像 航空系 物流系 デジタルライフライン （位置情報、気象情報、サービス運⾏情報） TOPPERS/箱庭 （シミュレーションハブ） バーチャル空間 リアル空間 箱庭は分野横断するような複雑なシステムで求められるリアルとバーチャルの融合環境を提供します︕ リアルとバーチャルの融合︕ リアルで試す前に バーチャルで試す︕ バーチャルでうまくいった らリアルで確認︕ リアル同⼠をバーチャル 接続して確認 未完の機体をバーチャルに置い て、既にあるリアルと結合確認

箱庭ドローンシミュレータの全体像 21 ハードメーカー 箱庭シミュレーション環境（HUB） 箱庭ドローン・システム評価環境 箱庭ドローン・評価環境 Astah System Safety MATLAB/Simulink JASAドローンWG 制御モデル 作成 センサモデル 作成 機体評価 アーキテクチャ検討 フィーチャーモデル 分析 安全/セキュリティ 分析⽀援 サービス評価 システムアーキテクチャ 制御モデル 制御モデル 制御モデル STAMP／ STPA分析 実証実験 要件 機体要件 センサ性能 センサ モデル 箱庭、Astah System SafetyおよびMATLAB／Simulinkを利⽤して、 機体評価およびサービス評価ができる環境を⽬指しています

箱庭ドローンシミュレータ(1/2) 22 動画：https://www.youtube.com/watch?v=IEYTQkZcwB0 TOPPERS/箱庭ドローンシミュレータ・オンラインチラシ

箱庭ドローンシミュレータ(2/2) 23 動画：https://www.youtube.com/watch?v=T9SfAt3SFjg ドローンが荷物を運んで、ロボットに配置して、ロボットがそれを検出して⽬標の場所へ移動します

機体評価向けのアーキテクチャ • 機体のセンサモデルの差し替えが可能な構造 24 HIL_SENSOR HIL_ACTUATO R_CONTROLS PX4 ドローンの プラントモデル ローター 回転数 ローターの ダイナミクス ⾓速度 (機体座標系) 姿勢⾓ 速度 (機体座標系) 位置 ジャイロセンサ HIL_GPS 加速度センサ ジャイロ データ 加速度 データ 磁気 データ 緯度・経度・⾼度 機体の速度 機⾸の⽅向 気圧 データ GPS センサ 磁気センサ 気圧センサ PWM 推⼒の ダイナミクス 推⼒/ トルク 速度 (地上座標系)

機体評価向けシミュレーションでやりたいこと Sensor Model 機体の動き 障害物と衝突する、不安定、 機体が落ちる、⽬的地に到 着しない 計測⽅法 環境要因 Physics Model Pixhawk (PX4) Visualize （Unity） Actuator Model Battery Model 天候、照明、電磁⼲渉、湿度、振動、 マルチパス、温度ドリフト、ノイズなど 感度、範囲、感知できる物質 や物理現象 バッテリー 消費 バッテリー消費量が激しい ⾼度な制御 コンパニオン コンピュータ (RaspberryPi) センサーフュージョン、SLAM、 AI画像解析 ⾮機能評価 信頼性、安全性、性能、耐 久性、スケーラビリティ バッテリー劣化 ・リチウムイオン電池 ・⽔素電池

例︓温度ドリフト • ジャイロセンサの温度ドリフトによる性能差を可視化する 26 温度 温度ドリフト 許容範囲 デモ https://www.youtube.com/watch?v=fLSsfV38KXM A社 B社

例︓温度ドリフト 27

リアルとバーチャルの融合 • 背景・課題感 • 新しいコンセプト • mROS 2とは • リアルとバーチャルの融合による新しい未来社会の構想 • 適⽤事例 28

背景・課題感 29 実証実験場2 実証実験場1 Simulator2 Simulator1 リアル空間 ・⾮統合状態 - 各システムが孤⽴している・・ ・コミュニケーションの壁 - システム間のデータ共有が困難 ・相互運⽤性の壁 - リアル世界での実証実験 - バーチャル世界のシミュレーション - リアルとバーチャル間の相互運⽤ システム全体の統合テストが難しい 未来社会の新しいサービス 構築の妨げになっている

新しいコンセプト 30 バーチャル空間 リアルとバーチャルの融合︕ ・統合状態 - 各システムが相互につながる状態 ・コミュニケーション - システム間のデータ共有が容易 ・相互運⽤性 - リアル世界での実証実験 - バーチャル世界のシミュレーション - リアルとバーチャル間の相互運⽤ 実証実験場2 実証実験場1 Simulator2 Simulator1 リアル空間 未来社会の新しいサービス の可能性が広がる

What is mROS 2? 31 autonomous communication in accordance with RTPS specification real-time kernels for EMB contributes perf. and mem. usage pub/sub messaging for Topic partially compliant with rclcpp Embedded devices HAL library Kernel (ASP3, Mbed, POSIX) mROS 2 application mROS 2 comm. lib. mROS 2 API UDP stack (lwIP) RTPS (embeddedRTPS) CMSIS wrapper lightweight and efficient process by C/C++ for <~200MHz / <~1MB mROS 2 on EMB board better perf. & mem. usage partially compatible with rclcpp only for Topic comm., and many unsupported features such as QoS, Service,,, https://vimeo.com/showcase/9954564/video/767140724

Currently Supported 32 NEW!!

リアルとバーチャルの融合による 新しい未来社会の構想 33 7JSUVBM3FBM 3FBM 7JSUVBM "TTFU 'VTJPO バーチャル空間で安全な検証 バーチャルとリアルを融合したサービスの実現 ■バーチャル信号 バーチャル空間にのみ存在する信号機。 リアルの⼈は、ARデバイスを通して確認できる。 リアルロボットは、信号データを受信し、横断歩道 の交通ルールに合わせた制御が可能になる。 ■バーチャル・ドローン バーチャル空間にのみ存在するドローン。 リアルの⼈は、ARデバイスを通して確認できる。 リアルロボットは、荷物搬送状況を受信できる。 ■リアルロボット リアル空間にのみ存在し、バーチャル世界のデータを受信して駆動可能。 バーチャル・ドローンは、ロボットの位置データを受信し、仮想の荷物をロボットに 配置したことを伝えることで、ロボットとドローンの相互運⽤テストを可能にする バーチャル空間のデータ ҆શͳശͷதͰɺ༷ʑͳΞηοτͱόʔνϟϧɾσʔλΛ ੵۃ׆༻ͯ͠ɺΠϊϕʔςΟϒͳαʔϏεΛ૑ग़͢Δʂ

34 仮想リアル側 バーチャル側 仮想リアルロボット制御 箱庭ドローンシミュレータ デモ 参照：https://www.youtube.com/watch?v=Z2SCe5kIvSI

箱庭とは何か︖ • 箱庭とは「シミュレーション・ハブ」です︕ 35 Unity Unreal Engine Python プログラム 組 込 み 機 器 Athrill ロボット制御 プログラム ロボット 箱庭アセット 箱庭シミュレーション

ご清聴 ありがとうございました︕ 36