Upgrade to Pro — share decks privately, control downloads, hide ads and more …

初めての模倣学習とVLA

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →

 初めての模倣学習とVLA

AIロボット持ち込み勉強会in大阪のLT資料

Minoru Natsutani

August 20, 2026

Transcript

8 slides
  1. 最初に用意する物 1. Ubuntuが動く専用PC ・GPU NVIDIA GeForce RTX 4060 Ti 8G

    ・シミュレータ、ROS2、学習環境を全部入れる。学習環境のみuvを使う。 全てデフォルトでインストールするとAI friendlyな環境になる。 ・Docker等で分離するのは動いてから 2.動かしたいロボットのURDFファイル ・ロボット、グリッパーの両方 4
  2. シミュレータ上でロボットを動かす ここが最大の壁。 動かしたいロボットがシミュレータが標準でサポートしていないとき、URDFを読み込んで まずはシミュレータで自由に動くことを確認する。 ・グリッパーを上手く接続できるか ・グリッパーが上手く制御できるか 駆動部分が一カ所で残 りが連動して動く時 mimic属性が使われる AIに聞きながら試行錯誤が必要。

    過去に経験した課題 ・ロボとグリッパーを接続するAPIが上手 く動かない。 ・グリッパーのmimic指定が上手く動かな い ・グリッパの座標系が期待と違う 解決策 ロボットとグリッパーが一体となったURDF を作る。mimic指定は全部外し、個別に制 御する。mimicとしての制約はプログラム 上で行う。 5
  3. 模倣学習を動かす AIにピッキングの模倣学習をやりたい ・ロボの制御はROS2を使う ・模倣学習のモデルはATCを使う ・箱の位置はランダムだが、箱のxy座標は既知とする ・シミュレーション環境のリセットや終了等は標準的なAPIを作る。 etc AIが10分くらいでPythonのソースを作る。 実行してAIにフィードバックするだけ。 ROS2のインターフェイスを決める

    (ロボの制御、環境のリセットなど) 保存したデータを、LeRobot形式に変換 する。 箱をランダムに配置し学習データを自動 生成できるようにする。 模倣学習の学習を行う ロボットの軌道をファイルに保存する 学習後のモデルの評価を行う 6
  4. VLAを動かす 追加の指示 ・カメラを追加する。 ・smolVLAを使う ・箱はRGBの三色を配置する。 etc データセット生成、学習、結果の確認まで3日程度で完了 Pick up a

    blue box. Pick up a blue box. 動画とテキスト の組み合わせを 200エピソード 程度集める 学習後のVLA動作 VLAのLが効いてい ない。 最初の一歩としては 十分 7
  5. まとめ AIで模倣学習、VLA始めてみましょう! ROS2 Jazzy Ubuntu 20.04 ChatGPT GPT5.6 sol 月額

    $20のChatGPT Plusコース GPU NVIDIA GeForce RTX 4060 Ti 8G https://category.yahboom.net/collections/robotics/products/dofbot-pi?variant=52949890597180 実機で動かしている様子 (ACT) 8

More Decks by Minoru Natsutani

Other Decks in Programming