Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
初めての模倣学習とVLA
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
Minoru Natsutani
August 20, 2026
Programming
890
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
初めての模倣学習とVLA
AIロボット持ち込み勉強会in大阪のLT資料
Minoru Natsutani
August 20, 2026
Transcript
8 slides
初めての模倣学習とVLA 2026/8/21 @natsutan 1
自己紹介 所属:株式会社パソナ 名前:夏谷実 natsutanでXやはてなに出没中。 画像処理からDeep Learningに入り、現在はピ ッキングロボットのAI開発をしています。 https://natsutan.hatenablog.com/ 2
今日話すこと 内容:模倣学習やVLAの最初の一歩を乗り越える方法 結論:最近のAIを使うと簡単に学習して評価まで持っていける 使用したAIは、ChatGPT GPT5.6 sol 月額$20のChatGPT Plusコース API未使用で追加費用は無し(2026年8月4日の情報) Isaac-simで初めてのVLAが動くまで3~4日程度
一年前にDiffusion Policyに挑戦したときは、当時 のAIを使って3ヶ月程度かかって微妙な結果に。 一度失敗した人も最新AIでもう一度やってみよう 3
最初に用意する物 1. Ubuntuが動く専用PC ・GPU NVIDIA GeForce RTX 4060 Ti 8G
・シミュレータ、ROS2、学習環境を全部入れる。学習環境のみuvを使う。 全てデフォルトでインストールするとAI friendlyな環境になる。 ・Docker等で分離するのは動いてから 2.動かしたいロボットのURDFファイル ・ロボット、グリッパーの両方 4
シミュレータ上でロボットを動かす ここが最大の壁。 動かしたいロボットがシミュレータが標準でサポートしていないとき、URDFを読み込んで まずはシミュレータで自由に動くことを確認する。 ・グリッパーを上手く接続できるか ・グリッパーが上手く制御できるか 駆動部分が一カ所で残 りが連動して動く時 mimic属性が使われる AIに聞きながら試行錯誤が必要。
過去に経験した課題 ・ロボとグリッパーを接続するAPIが上手 く動かない。 ・グリッパーのmimic指定が上手く動かな い ・グリッパの座標系が期待と違う 解決策 ロボットとグリッパーが一体となったURDF を作る。mimic指定は全部外し、個別に制 御する。mimicとしての制約はプログラム 上で行う。 5
模倣学習を動かす AIにピッキングの模倣学習をやりたい ・ロボの制御はROS2を使う ・模倣学習のモデルはATCを使う ・箱の位置はランダムだが、箱のxy座標は既知とする ・シミュレーション環境のリセットや終了等は標準的なAPIを作る。 etc AIが10分くらいでPythonのソースを作る。 実行してAIにフィードバックするだけ。 ROS2のインターフェイスを決める
(ロボの制御、環境のリセットなど) 保存したデータを、LeRobot形式に変換 する。 箱をランダムに配置し学習データを自動 生成できるようにする。 模倣学習の学習を行う ロボットの軌道をファイルに保存する 学習後のモデルの評価を行う 6
VLAを動かす 追加の指示 ・カメラを追加する。 ・smolVLAを使う ・箱はRGBの三色を配置する。 etc データセット生成、学習、結果の確認まで3日程度で完了 Pick up a
blue box. Pick up a blue box. 動画とテキスト の組み合わせを 200エピソード 程度集める 学習後のVLA動作 VLAのLが効いてい ない。 最初の一歩としては 十分 7
まとめ AIで模倣学習、VLA始めてみましょう! ROS2 Jazzy Ubuntu 20.04 ChatGPT GPT5.6 sol 月額
$20のChatGPT Plusコース GPU NVIDIA GeForce RTX 4060 Ti 8G https://category.yahboom.net/collections/robotics/products/dofbot-pi?variant=52949890597180 実機で動かしている様子 (ACT) 8
More Decks by Minoru Natsutani
See All by Minoru Natsutani
3D Gaussian Splatting勉強会
natsutan
0
65
放熱勉強会資料
natsutan
0
54
グラフの書き方勉強会
natsutan
0
120
Googleのロボット技術紹介。RT-1からGemini Robotics-ER 1.5 まで
natsutan
0
130
動き検出勉強会資料
natsutan
0
72
WindowsでGenesisに挑戦した話
natsutan
0
650
辛い仕事をプリキュアで乗り切りHack
natsutan
0
110
論文読み勉強会 RoboGen
natsutan
0
440
プログラミング写経のすすめ
natsutan
0
1.7k
Other Decks in Programming
See All in Programming
AI Augmentation Techniques with Liberty
ivargrimstad
1
510
動画プレイヤーはなぜカクつくのか 〜Flutterのレンダリングとネイティブの境界を解剖する〜
naruogram
0
340
なぜ私たちは「現時点では」KMPの導入を見送ったのか
chigichan24
1
290
Secure Your Coding Agent Like It’s Malware (v1.5) 🇬🇧 @Code.talks 2026
richargh
0
160
そのデザイントークン、Flutterでも同じ見た目になりますか?
nakamizu
0
390
あなたの await、OS まで届いてる? strace で覗く JavaScript の非同期
hasutosasaki
1
2.4k
Vapor Mode でアクセシビリティは 壊れないか検証した話
fuqda
1
350
高橋メソッドでCVE解説シリーズ 〜CVE-2026-112816〜
hakkadaikon
0
270
Materialが消えた日 〜真っ白なFlutterキャンバスにRenderObjectで絵を描く〜
umigishiaoi
0
170
느린 네트워크와 저사양 디바이스 사용자를 위한 웹뷰 로딩 시간 개선기
kmkim
1
240
AIコーディング時代のKotest ユニットテストから APIレベルの仕様固定化テストへ
ooga04
0
180
[Kotlin Fest 2026] eBPF Tracing for Kotlin
takehaya
1
290
Featured
See All Featured
Bridging the Design Gap: How Collaborative Modelling removes blockers to flow between stakeholders and teams @FastFlow conf
baasie
0
770
What does AI have to do with Human Rights?
axbom
PRO
1
2.5k
Why Our Code Smells
bkeepers
PRO
340
58k
Abbi's Birthday
coloredviolet
5
11k
Navigating the moral maze — ethical principles for Al-driven product design
skipperchong
2
690
What's in a price? How to price your products and services
michaelherold
247
13k
Writing Fast Ruby
sferik
630
63k
Jess Joyce - The Pitfalls of Following Frameworks
techseoconnect
PRO
1
480
Color Theory Basics | Prateek | Gurzu
gurzu
1
530
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
38
3.1k
AI in Enterprises - Java and Open Source to the Rescue
ivargrimstad
0
1.6k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
47
8.4k