SO-101でフィジカルAIやってみた

Transcript

1. SO-101で フィジカルAIやってみた 西村 5 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
2. 自己紹介 • 大阪工業大学 情報科学部 • 現在 学部4年生 ネットワークデザイン学科所属 • AIのモデルに電子透かしを埋め込む研究に取り組んでいる • 黒猫が好き 2 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
3. フィジカルAI • 最近話題のフィジカルAI →ロボットなどの制御を行い、現実世界でタスクを実行するAI https://fabscene.com/new /news/figure-03humanoid-200-hour-run/ • Figure AIのヒューマノイドロボットが200時間で25万個を故障なく 荷物の仕分けをしたニュース 3 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
4. やってみた • 今回 →LeRobotのフレームワークを利用してAIがアームを動かすまでの話 4 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
5. 使ったロボット • ロボットアーム(SO-101) →Hugging Faceのオープンソースのロボットアーム 他のロボットに比べてかなり安いハードウェア(約4～6万) 5 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
6. 動かすまでの流れ • モータのID設定 ＋ 組み立て • キャリブレーション • 実行環境の準備 • データセットの作成 • モデルの学習 • AIによるタスクの実行 6 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
7. データセットの作成 • 作成の方法 →リーダーアームでフォロワーアームを操作して行う 7 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
8. データセットの作成 • 設定したタスク →赤いブロックをつかんで右の白い箱に入れる • 100回 自分で操作 →入れて出してを繰り返し続ける →多ければ多いほどいいと感じた • つらい かなーり時間がかかる 同じことを延々とする 作成する時のコツ？は付録に 8 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
9. モデルの学習 • 使用するAI →SmolVLAを使ってタスクを実行する ( VLAモデル: Vision Language Action モデル) • 学習 →Google Colabでもモデルの学習は可能らしい →VRAM 10GBのGPUでやると学習時間が20時間オーバー →32GB でも7時間弱かかる 9 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
10. AIによるタスクの実行 少しぎこちないけど、掴んで入れることができていそう けど... 青いブロックに変えて、指示も変えると動こうとしない 10 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
11. やってみて • データセットを作るのがかなり面倒だが重要 • モデルの学習には強いGPUが必要 • 未知の状況に対応してほしい →けど...汎用性を持たせるのがむずかしい 11 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
12. 最後に • やってみたい方 →アームキットはAmazonや秋月電子などに販売している →3Dモデルも公開されているので印刷してもOK(モータが別途必要) • 実機は面倒という方 →LeRobotはシミュレーション環境などでも動かせるよ 12 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
13. おわり • ありがとうございました 13 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
14. 付録:モータIDの設定 + 組み立て • モータのID設定 →モータを識別するために1～6のIDを割り当てる必要あり • 組み立て(公式のページ見ながら) リーダーアーム フォロワーアーム 組み立て済みのものを買えばここはパスできる 個人的には自分で組み立てた方が今後のメンテとかしやすいかも... 14 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
15. 付録:キャリブレーション キャリブレーション →各モーターを可動域の限界まで回す →各モータの基準や位置ずれを無くしたり、可動域を覚えさせる →リーダー・フォロワーの両方やる 15 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
16. 付録:実行環境の準備 実行環境 • webカメラの設置(3台) 斜め前・上から・手元 2台以上はあった方がいいかも • ライトの設置 映像の見やすさなどを上げるため • ＋α テーブルの色が暗いのでテープを貼る 16 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology
17. 付録:データセット作成のコツ？ ①ロボットのグリッパ(つかむ部分)を開けるor閉じるの2パターン化 →微妙な開き方など中途半端な状態をなくす ②カメラに対象の物体を出来るだけ入れる →AIが状況を失わないようにするために... ③ゆっくり動かす →急激に動かし続けたデータでは、暴走？のような動作が見られた →AIが学習しやすくノイズがないデータを作る 17 All Rights Reserved ©2024 ©2026 Osaka Institute of Technology