Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適AIロボット開発
Search
Masaya Kataoka
December 27, 2024
Technology
3.2k
2
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適AIロボット開発
Masaya Kataoka
December 27, 2024
Transcript
10 slides
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適 AIロボット開発 Team re-boot Masaya Kataoka
人生是即RoboCup • 学生時代は阪大のJoitech-SPLというチームのリーダーをしていました • ラズパイ以下のCPUでヒューマノイドでサッカーをやるとかいう魔境 • フルスクラッチで自作、予選敗退したけど圧倒的満足 • いい加減ハード作らせろ...これでは2050年までに人間に勝てないぞ!! ▶というわけで会社に世界大会優勝者がいたのでRobocupチームを立ち上げました
最近機械学習大変隆盛 • MPC x 油圧で頑張っていたBoston Dynamicsも強化学習 x 電動に • 爆速ロボットCassieは以前からlearning
base
我欲賢ROS Robot • ロボカップにおいて難しいのは行動計画 • マルチモーダルな情報処理とマルチタスクなプランニングが必要 • 複雑なモーションを手作業で作るのは無理、特に仕事してると無理 ▶ 面倒なことはAIにやらせよう
面倒なこと はAIに やらせよう Motion CLIPの特徴量とかで 条件付すればなんか それっぽい方策得られるんじゃ ね?知らんけど 右手はもうちょい下げたほうが特 徴量的にそれっぽい
完全E2E本当最強? • 実機データを収集する間に機体のパラメータが変化、学習が失敗 • 試合会場にDGX Super POD持ち込まないと学習できないようなものは駄目 • そもそも💰💰💰💰💰
我欲混合構成 • learning baseな要素とそうでなくていい要素がある • ハードウェア駆動や前処理、同期、座標変換などを学習でやる意味がない • こういった決定的な要素に対してROSはとても強い • でも、学習時にはROSは通信遅延やネットワークの設定などで邪魔
▶ 適切に役割分担を行い最適なロボットシステムを実現 VLMで画像処理するにしても、 歪み補正までディープでやる意 味ないよ
令和最新版仮想世界、Genesis • カーネギーメロン大学などが開発(論文よりOSSのほうが早い?!) • ソフトロボット、流体などにも対応 • 今後生成AIとのインテグも公開予定
genesis_ros • URDF変換、読み込み • リンクの位置情報を/tfトピックとしてmcapで出力 • amber連携によるpytorchへのmcapデータ入力 • セットアップはgit cloneしてpoetry
installするだけ!
mcap至高情報表現形式 • スキーマ情報と一体化しておりROSに依存せずデータを記録、再生可能 • amberと組み合わせれば、PyTorchのデータセットとして扱える • 実機で取れたrosbagをそのままデータセットとして入力可能
論よりRUN
More Decks by Masaya Kataoka
See All by Masaya Kataoka
CLIPでrosbagの データを検索してみる話
hakuturu583
0
240
AMBER、rosbag と pytorchで はじめるお手軽マルチ モーダルロボット開発
hakuturu583
0
360
Other Decks in Technology
See All in Technology
市販IoT機器や自作IoT機器とHomeAssistantを駆使して家の電気代をできる限り見える化する方法の考案
harutiro
0
390
kubellの最新データ分析環境
kubell_hr
1
180
農家は秘伝のタレを知らない - NOBODY KNOWS THE HIDDEN SOURCE - Kaggriculture 3rd Place Solution
masspeaks
3
600
Del vibe coding a un Desarrollo (agéntico) fiable
jcabot
0
190
文書画像からの情報抽出を行うエージェントを、軌跡の正解データ無しで作れるか
sansantech
PRO
2
220
AIネイティブ組織の作り方。1人のPOとAIから始める、自社での実験
ama_ch
2
1.2k
こんなに変わった! AWSネットワークの常識
shotashiratori
16
11k
Linuxネットワークスタック進化の軌跡: 過去10年の歩みと最新トレンド
orimanabu
4
770
_マネジメントする人される人ナイト_2026__良いチームを作っていきたい_お気持ち_.pdf
xkxaxkx
0
830
目を覚ませ!僕らの認証情報が何者かに侵略されてるぞ
tkito
2
470
専門家に使ってもらうAIプロダクトをつくる - 病院の医事課向けDPCコーディング支援システムの設計と評価
hagino3000
4
940
cdkdがどんだけ早いか、実際に動かして見てみよう
smt7174
1
130
Featured
See All Featured
Product Roadmaps are Hard
iamctodd
55
13k
GitHub's CSS Performance
jonrohan
1033
470k
The Curious Case for Waylosing
cassininazir
1
620
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
2.2k
Visualization
eitanlees
153
17k
The agentic SEO stack - context over prompts
schlessera
0
1k
Efficient Content Optimization with Google Search Console & Apps Script
katarinadahlin
PRO
1
1k
Test your architecture with Archunit
thirion
2
2.5k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
32
3.1k
エンジニアに許された特別な時間の終わり
watany
109
250k
Bootstrapping a Software Product
garrettdimon
PRO
306
120k
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
livdayseo
1
250