2026/04/21 【松尾研究所 x ABEJA共催】実演あり合同ロボット勉強会 OpenArmにおけるVRテレオペレーションについて

2026/04/21 【松尾研究所 x ABEJA共催】実演あり合同ロボット勉強会 OpenArmにおけるVRテレオペレーションについて

Transcript

1. OpenArmにおける VRテレオペレーションについて 2026/04/21 【松尾研究所 x ABEJA共催】実演あり合同ロボット勉強会 宇留嶋 勇人
2. 自己紹介 ABEJA Platformを開発したり、最 近ではロボティクス領域で 研究開発しています！ 所属 プラットフォーム開発部 共通基盤グループ 研究開発チーム 経歴 医療系大学卒 →大学病院勤務 → web系スタートアップでエンジニア兼 CTO→ ABEJA JOIN！(2025年 2月) うるしま ゆうと 宇留嶋 勇人 2 2
3. アジェンダ 1. 会社紹介 2. 実データの重要性 3. テレオペレーションの種類 4. ハードウェア紹介 5. テレオペレーションシステム構成図 6. 座標変換、IK 7. 実演パート 3
4. 企業理念、ミッション、ビジョン 企業理念 会社名 株式会社ABEJA 本社所在 地 〒108-0073 東京都港区三⽥⼀丁⽬1番14号 Bizflex⿇布⼗番2階 設⽴ 2012年9⽉10⽇ 代表者 代表取締役CEO 代表取締役COO ゆたかな世界を、実装する 我々が⽬指す世界を表現しています。ABEJAの最先端のテクノロジーをベー スに、イノベーションの創出を促進し、社会全体にその恩恵を⾏き渡らせる ことにより、よりゆたかで住みやすい⾼度な社会作りに主体的に貢献してい きたいという思いが込められています 岡⽥ 陽介 ⼩間 基裕 ビジョン イノベーションで世界を変える 取締役CFO 英 ⼀樹 取締役CSO 外⽊ 直樹 社外取締役 ⽥中 邦裕（さくらインターネット株式会社 代表取締役社⻑） 社外取締役 ⿇野 耕司（株式会社ナレッジワーク 代表取締役社⻑） 社外取締役 的野 仁（SOMPOホールディングス株式会社 デジタル戦略部⻑兼データ統括室⻑） 常勤監査役 桃原 隼⼀（公認会計⼠） 社外監査役 清⽔ 琢麿（弁護⼠、法律事務所イオタパートナー） 社外監査役 ⻘⼭ 正明（株式会社ビザスク社外取締役） 取締役 監査役 これまでもイノベーションによって⼤きく世界が変化してきました。蒸気機 関の発明による第1次産業⾰命、電⼒‧エネルギーによる第2次産業⾰命、コ ンピュータ‧情報技術による第3次産業⾰命です。そして、AIをはじめとし た新たな⾰新的技術により、第4次産業⾰命が起きつつあります。ABEJAは これまでの社会の仕組みを⼤きく変⾰するようなイノベーションを先導し、 グローバルな視野のもと、⽇本にとどまらず世界のありようを変⾰していき ます。 ミッション テクノロジーの⼒で産業構造を変⾰する 松原 仁（東京⼤学⼤学院情報理⼯学系研究科教授） 松尾 豊（東京⼤学⼤学院⼯学系研究科教授、⼀般社団法⼈⽇本ディープラーニング協会理事⻑） 顧問 安⽥ 孝美（名古屋⼤学⼤学院情報学研究科教授） 占部 利充（元三菱商事株式会社常務執⾏役員ビジネスサービス部⾨CEO） 社会の構造を⼤きく変えるほどのイノベーションは、新たなテクノロジーの 発明や技術的なブレークスルーが原動⼒になっています。そしてテクノロ ジーは常に進化し、これまでの常識を覆すような、⾰新的なものが⽣まれ続 けています。 板東 浩⼆（船井電機株式会社代表取締役会⻑兼社⻑） Confidential 4
5. ABEJAの事業 トランスフォーメーション領域 Confidential 5
6. Physical AI取り組み全体像 ABEJAにおける、ロボティクス基盤モデルを搭載したロボットの社会実装について VLAをはじめとしたロボティクス基盤モデルそのものの研究開発だけでなく、産業領域における実現場で利用可能な技術の確立を目指し、 大手企業との連携や一般社団法人 AIロボット協会（略称 AIRoA）を通じたエコシステムの設計を行っている。 事業を通じた社会実装に繋がる技術やノウハウの確⽴ 戦略立案 研究開発 インテグ レーション 基盤モデル開発 学習パイプライン 提供 開発プラット フォーム提供 今後の取り組み ① 大手企業との社会実装 今後の取り組み ② 国内で利用可能な基盤モデルの構築 先進的な研究開発を推進する企業とともに、従来のロボティクスの 拡張および昨今のロボティクス基盤モデルのフィージビリティを探 り、事業化を検討。 NEDOおよびAIRoAの取り組みを通して、⽇本として世界最⼤の基盤 モデル開発およびそのエコシステムの開発に参画。産業領域で利⽤ 可能な基盤モデルそのものの開発に取り組む。 電⼦部品メーカー様 新規事業領域におけるデモ機の開発や、技術的可能性調 査のための研究開発 通信‧データセンター事業者様 Physical AI プラットフォームの構築 物流企業‧⼩売EC企業様 物流業や倉庫業における、商品の双腕操作や移動‧運搬 などを⾏う 6 基盤モデルに関する技術の開発およびエコシステムの構築 © ABEJA, Inc. 汎⽤的な 学習データ ロボット状態、 動画データ 業界特化の 学習データ 業務に関する データ 基盤モデル 事前学習済み ⼤規模モデル 汎⽤タスク 個別モ デル 業界や業務に特 化した タスク
7. アジェンダ 1. 会社紹介 2. 実データの重要性 3. テレオペレーションの種類 4. ハードウェア紹介 5. テレオペレーションシステム構成図 6. 座標変換、IK 7. 実演パート 7
8. 実データの重要性 Data Pyramid 実収集データは希少で高価値、不足している。 効率良く質の高い実データ収集基盤が求められてい る。 Unfolding Robotics Project 6000件近いepisodeを収集。 その中から質の良い1000件をpi05に学習させ、 洗濯物タスクを成功させた事例 8
9. テレオペレーションの種類 SO-101 Leader / Follower OpenArm Mini VR Controller OpenArm Leader / Follower OpenArm KER 9
10. VRテレオペレーションのモチベーション コスト ◦ リーダー・フォロワーの双腕フセットが $10,800、約160万円 ◦ VRテレオペならfollower + Quest 3S で $5,900、約90万円。ほぼ半 額。 ◦ OpenArm片腕5.5kg。(重力補修 必須) 操作性 ◦ 手の動きがそのまま 3D 空間でロボットに反映 される直感的な操作 感 ◦ 腕を伸ばしきらず楽な姿勢のまま広い範囲を操縦できる ◦ leader arm の自重を支えないので疲れにくく、長時間のデータ収集に 向いている 10
11. ハードウェア紹介 OpenArm DAMIAOシリーズ 11
12. Quest2ROS2 双腕ロボットの直感的なテレオペレーションを 実現する、 OSSのROS 2フレームワーク 論文から得た設計指針 ◦ 相対運動制御 コントローラーの動いた差分だけをロボットに反 映。 ◦ Pause-and-Reset 握り直すたびに原点を取り直してジャンプを 防ぐ。 ◦ Mirror / Side-by-Side 操作者の立ち位置に応じて座標を切り 替える。 12
13. テレオペレーションシステム全体像 13
14. 座標変換 コントローラーの持ち⽅で「前」が変わる コントローラーの向きは無視して、「位置」だけ⾒る ローカル座標 ワールド座標 コントローラーを 下向きに握った状態で「 前に押し出した 」 VRの部屋に固定されたワールド座標を使って、 ら、コントローラーから見ると「 前」ではなく「 上」に動いたこ コントローラーの向きは無視して、「位置」だけ見る とになる。 移動ベクトル（距離と方向）だけを見れば、握り方は関係な ロボットはその通りに「 上」に動いてしまう。 くなる。 ユーザーが部屋に対して斜めに⽴っている グリップを握った瞬間にユーザーの向きを記録する ユーザーが「 右に腕を広げた」つもりでも、部屋の基準で グリップを握った瞬間、その手の向きから「今、正面はこっ は「斜め前 」と解釈される。ロボットは斜め前に動いてしま ちだな」と決めてしまう。 う。部屋のどこで、どっち向いて立つかで、同じ動作の結果 以降、「前に押し出す」動作は、部屋の基準ではなくユー がコロコロ変わる。 ザー自身から見た前として扱う。 14
15. 座標変換 Step 1 Step 2 Step 3 グリップを握った瞬間記録 握っている間、毎フレーム ロボットへ ‧コントローラーが今どこに‧あ るか（位置） ‧記録した位置と今の位置の差を計 算 ‧ユーザーの正⾯はどっちか （向き＝ヨー⾓） ‧その差を、ユーザーから⾒た 「前‧右‧上」の 3 つに分解 ‧「前に 30 cm」「右に 10 cm」「上に 5 cm」という⼈間にわかる形の指令ができる ‧これを、ロボットの「前‧右‧上」にそ のまま渡す ‧ ロボットが同じ⽅向に動く メリット① メリット② グリップを離して再度握るだけ で、ロボットは前へ前へと動ける ロボットの後ろに回り込んでも OK
16. IK (逆運動学 ) 逆運動学 = 「⼿先を⽬標位置に動かすには、各関節を何度回せばよいか？」 正解が無限にあるため以下パラメータの重み付けをしている ⽬標関数を最⼩化する関節⾓度を探す パラメータ weight 意味 limit_weight 100 関節の限界を超えない pose_pos_weight 50 位置‧向きになるべく近いこと self_collision_weight 10 ⾃分の体にぶつからない https://jp.mathworks.com/discovery/inverse-kinematics.html rest_weight 5 急な動きをしない manipulability_weight 0.01 動きやすい姿勢を保つ
17. 安全設計 デッドマンスイッチ グリップを握っている間だけ動作。離すと即停止 + 位置保持。 ワークスペース半径制限 Quest の移動量を原点からの半径内にクランプ。部屋の外へ飛び出さない。 Pause-and-Reset（アンカーリセット） 握り直すたびに、 Quest の位置とロボットの今の手の位置を両方とも「新しい原点」として記録し 直す。 関節速度制限 + スムージング 1 ステップの最大関節変化をクランプ + 手の震えを抑制。モーターとロボットを急激な動きから 守る。 17
18. テレオペ 18
19. 展望 ◦ LeRobot 形式でのデータ記録 ▪ 集めたデモを π0.5・SmolVLA など VLA モデルに直接流せるようにする ◦ Teaching by Demonstration ▪ ◦ 安全機構の強化 ▪ ◦ 人間のお手本から IK 重みを自動最適化する仕組み E-stop ボタン、トラッキングロスト時の自動停止 操作感の向上 ▪ より精密な作業ができるようにする 19
20. 実演 いまから実演します！！！ 20