初めての模倣学習とVLA

AIロボット持ち込み勉強会in大阪のLT資料

Transcript

1. 初めての模倣学習とVLA 2026/8/21 @natsutan 1
2. 自己紹介 所属：株式会社パソナ 名前：夏谷実 natsutanでXやはてなに出没中。 画像処理からDeep Learningに入り、現在はピ ッキングロボットのAI開発をしています。 https://natsutan.hatenablog.com/ 2
3. 今日話すこと 内容：模倣学習やVLAの最初の一歩を乗り越える方法 結論：最近のAIを使うと簡単に学習して評価まで持っていける 使用したAIは、ChatGPT GPT5.6 sol 月額$20のChatGPT Plusコース API未使用で追加費用は無し（2026年8月4日の情報） Isaac-simで初めてのVLAが動くまで3～4日程度 一年前にDiffusion Policyに挑戦したときは、当時 のAIを使って3ヶ月程度かかって微妙な結果に。 一度失敗した人も最新AIでもう一度やってみよう 3
4. 最初に用意する物 1. Ubuntuが動く専用PC ・GPU NVIDIA GeForce RTX 4060 Ti 8G ・シミュレータ、ROS2、学習環境を全部入れる。学習環境のみuvを使う。 全てデフォルトでインストールするとAI friendlyな環境になる。 ・Docker等で分離するのは動いてから 2．動かしたいロボットのURDFファイル ・ロボット、グリッパーの両方 4
5. シミュレータ上でロボットを動かす ここが最大の壁。 動かしたいロボットがシミュレータが標準でサポートしていないとき、URDFを読み込んで まずはシミュレータで自由に動くことを確認する。 ・グリッパーを上手く接続できるか ・グリッパーが上手く制御できるか 駆動部分が一カ所で残 りが連動して動く時 mimic属性が使われる AIに聞きながら試行錯誤が必要。 過去に経験した課題 ・ロボとグリッパーを接続するAPIが上手 く動かない。 ・グリッパーのmimic指定が上手く動かな い ・グリッパの座標系が期待と違う 解決策 ロボットとグリッパーが一体となったURDF を作る。mimic指定は全部外し、個別に制 御する。mimicとしての制約はプログラム 上で行う。 5
6. 模倣学習を動かす AIにピッキングの模倣学習をやりたい ・ロボの制御はROS2を使う ・模倣学習のモデルはATCを使う ・箱の位置はランダムだが、箱のxy座標は既知とする ・シミュレーション環境のリセットや終了等は標準的なAPIを作る。 etc AIが10分くらいでPythonのソースを作る。 実行してAIにフィードバックするだけ。 ROS2のインターフェイスを決める （ロボの制御、環境のリセットなど） 保存したデータを、LeRobot形式に変換 する。 箱をランダムに配置し学習データを自動 生成できるようにする。 模倣学習の学習を行う ロボットの軌道をファイルに保存する 学習後のモデルの評価を行う 6
7. VLAを動かす 追加の指示 ・カメラを追加する。 ・smolVLAを使う ・箱はRGBの三色を配置する。 etc データセット生成、学習、結果の確認まで3日程度で完了 Pick up a blue box. Pick up a blue box. 動画とテキスト の組み合わせを 200エピソード 程度集める 学習後のVLA動作 VLAのLが効いてい ない。 最初の一歩としては 十分 7
8. まとめ AIで模倣学習、VLA始めてみましょう！ ROS2 Jazzy Ubuntu 20.04 ChatGPT GPT5.6 sol 月額 $20のChatGPT Plusコース GPU NVIDIA GeForce RTX 4060 Ti 8G https://category.yahboom.net/collections/robotics/products/dofbot-pi?variant=52949890597180 実機で動かしている様子 （ACT） 8