20250309 XROBOCON Insight Exchange カンファレンス技術資料

20250309 XROBOCON Insight Exchange カンファレンス技術資料 2025-03-09

ベース技術のお話

運営のほうで会話にあがっている技術を紹介してみますざっくりの要素なので、みなさんのチームの得意分野を素敵にとがらせていただければみなさんと一緒に技術の共通言語をもってスタートしたい気持ちです

デジタルツインとは？

デジタルツインとは？ https://prtimes.jp/main/html/rd/p/000000278.000016287.html https://toio.io/blog/detail/202409_t4u_v1.6_release.html →リアルとデジタルが双方向で一致、シミュレーション・機械学習可能に →ロボットのDX、API化が必須

ロボットの現状

ロボットの現状 https://developer.nvidia.com/isaac/sim https://images.app.goo.gl/K42ZS2iGtJPLjNrB9 AI・機会学習にしっかり対応したロボットが増えたため急に賢くなった

ベース技術としてどんなものがあるか

リアル側 AIで学習しやすいロボットをどう作るか

リアル側 AIで学習しやすいロボットをどう作るか Direct Drive (DD) Motor →機械学習や力制御・インピーダンス制御と相性がいいギアがないブラシレスモーター直結駆動（または～1/10程度の減速によるQuasi Direct
Drive） https://shop.directdrive.com/ja-jp/collections/diablo-robot

リアル側 AIで学習しやすいロボットをどう作るか約10万円で最低限デジタルツイン対応できるロボットを作ってみた例・モーター：WaveShare DDSM115 ・マイコン：M5 Tough or RasPI5
・IMU：BNO055 ・基板：WaveShare DDSM Driver Hat(A) ・バッテリー：マキタ18V ・タイヤ：メカナム+自作3Dパーツ

リアル側 AIで学習しやすいロボットをどう作るかポイント・コマンドサーボ or DDモーター・ヘタレない信頼性の高いバッテリー・3Dデータをしっかり作る・できるだけAPIの揃ったデバイスを選定

リアル側 AIで学習しやすいロボットをどう作るかデジタルとリアルの整合性を高く保つ・3Dデータ化（CAD）→現物合わせも反映・アクチュエーター：素直な特性＆通信対応・内界センサー：位置姿勢(IMU+α)と全関節先人の力を借りる・フレームワーク：　Unity, ROS,
GENESIS, Isaac, choreonoid... 機械学習フレンドリーな機構・凝ったカラクリは避ける/絞り込む

リアル側リモート／分散開発のコツ 1. できるだけ高頻度に集まる 2. しっかり分業する 3. デジタルツインを高精度に作る 4. 複数拠点でロボットを持つ
a. 本番機を安く複数作る b. 本番機と似た安いミニチュアを作るただし、最初はできるだけ集まって一緒に作る！

リアル側まず安全第一！自律移動ロボットの安全設計は慎重に！そして、みんなのロボットがちゃんと動いて楽しくやりがいを感じられるように（戦略は公開しなくてもいいですが）要素技術はできるかぎりオープンに共有しいい試合にしましょう！

バーチャル側 Unity・AI Unity ロボット位置・ゲーム状況の可視化ボタン UI の入力 AI とのやりとりロボットへの指示入力
ロボットの指示の前のシミュレーションロボットの状態把握 ... などなど AI ゴールやコイン位置に応じた経路探索相手チームの位置に応じたルート判断ゲーム状況を加味したルート判断ゲーム状況に応じたチームアドバイス提示操作者が安心するナビ（アバターとか） ... などなど

試合内の情報も取得できる API も提供予定運営のほうでチーム側にローカルネットワーク経由で残り時間・自分と相手チーム点数などシェアできるようにしたいと考えています ※2025/3/9 時点の仮のデータ内容です。以後変更される可能性があります。

俯瞰視点カメラの話運営のほうで土俵上部に俯瞰カメラを吊るしてチーム側にローカルネットワーク経由で画像のみ、あるいは位置情報認識済みデータがシェアできるようにしたいと考えています ※2025/3/9 時点の仮のデータ内容です。以後変更される可能性があります。

俯瞰視点カメラの話余裕があれば参考画像をお見せする予定です

リアルとバーチャルとつなぐ API まわり現実のデータを取り込んだバーチャルでシミュレートした内容をロボットにリアルタイムに伝えてミッションを達成していくことになるので色々ありそうリアルロボットバーチャル Unity・AI キーワード
MQTT・UDP・WebSocket・リアルタイムに動作する動力・床の摩擦や実際の移動量をシミュレートする・ロボットの性能に合わせて動かすシミュレートをする

バーチャル側リアルタイムデモ田中正吾が一旦プロトタイプでやってみている粗い内容ですが！ Unity ゲーム情報 API の取得（仮）俯瞰カメラからのロボット位置表示（仮）ボタン入力による経路探索 AI Unity
内蔵の NavMesh 経路探索

バーチャル側リアルタイムデモ https://x.com/1ft_seabass/status/1898359561997918391 Unity 内蔵経路探索AI ボタン入力ゲーム情報 API 俯瞰カメラ位置情報 API

バーチャル側で、もしコメントあれば Unity・AI で企画協力されている簗瀬さん・大井さんもいらっしゃるので聞いてみます～

エクストラアバター最近やってみまして知見まとめましたので共有します（めっちゃスタートのやつです） https://speakerdeck.com/1ftseabass/xr-meeting-20250219

とはいいつつざっくりの要素なので、みなさんのチームの得意分野を素敵にとがらせていただければみなさんと一緒に技術の共通言語をもってスタートしたい気持ちです

一緒に考えていきたいです運営もみなさんもはじめての試みなので、作る途中から定期的に情報共有や勉強するタイミングをつくっていきたいです

よろしくお願いします！このあと質疑応答できたらと～。

20250309 XROBOCON Insight Exchange カンファレンス技術資料

20250309 XROBOCON Insight Exchange カンファレンス技術資料

1ft-seabass
PRO

More Decks by 1ft-seabass

Featured

Transcript