現場に降りてきたAI フィジカルAIの技術スタックと実案件デモ #devio2026

DevelopersIO 2026 Tokyo で「現場に降りてきたAI フィジカルAIの技術スタックと実案件デモ」というタイトルで話した内容のブログになります。

Transcript

1. 現場に降りてきたAI フィジカルAIの技術スタックと実案件デモ こーめい クラスメソッド株式会社 製造ビジネステクノロジー部 2026年10⽉23⽇ DevelopersIO 2026 Tokyo
2. 現場に降りてきたAI フィジカルAIの技術スタックと実案件デモ こーめい クラスメソッド株式会社 製造ビジネステクノロジー部 2026年10⽉23⽇ DevelopersIO 2026 Tokyo
3. 田中 孝明 ( akaaki ANAKA) こーめい • 製造ビジネステクノロジー部 ◦ スマートファクトリーチーム・チームサブマネージャー • 2026 Japan AW ALL Certifications Engineer • Google Cloud Partner All Certification Holders 2025 • Google Cloud Partner op Engineer 2023 AW 資格: Google Cloud 資格: Microsoft 資格: https://classmethod.jp/news/260824-physicalai/ 13 個 14 個 22 個
4. 今⽇話したい内容 章 時間 内容 第1章 なぜ今フィジカルAIか 5 min 他の AI との違いと、ここ 1 年で解決できた 3 つの壁 第2章 技術スタック 15 min Omniverse / Kimodo / GEAR SONIC の仕組みについて 第3章 やってみてわかったこと 5 min シミュレーションと実機のあいだをつなぐ次の⼀⼿ 製造業のお客様と⼀緒に、ロボットとAIを⼯場や現場で動かす仕事をしています。 社内に⽝型ロボット（Unitree Go2）と⼈型ロボット（Unitree G1）があります。 4
5. 第1章：なぜ今フィジカル AI か 他の AI との違いと、ここ 1 年で解決できた 3 つの壁
6. ⾔葉を扱う AI と機体を動かすフィジカル AI ⾔語 AI（ChatGPT 以降） フィジカル AI ⼊⼒ テキスト‧画像 カメラ、LiDAR、関節⾓、⼒覚 出⼒ ⽂章‧コード モーター指令（毎秒数⼗〜数百回） 学習データ インターネット上に⼤量にある 基本は⾃分で集める、作るのが⼤事 失敗したとき もう⼀度⽣成すればよい（お⾦次第） 転ぶ、壊れる、⼈に当たる フィジカル AI は 「現実で試す前に、仮想空間で失敗する」 ことが⼤事になります。 6
7. この 1 年で、3つのハードルが同時に低くなった ハードル 1 ハードル 2 ハードル 3 Omniverse / Isaac Sim で現場を物理 ごと再現できる。 光学式モーションキャプチャで集め た⼈の動き。 GEAR SONIC。 Omniverse はソフトウェア⾃体が無 償提供（2026年5⽉以降）に。 Kimodo の学習データ量。 試す場所 ── シミュレーショ ン 動きのデータ ── ⼈の動きの 学習済みモデル 体の制御 ── 全⾝制御の基盤 モデル 1つのモデルで歩く‧⾛る‧しゃが む‧持つを扱う。 7
8. ⼈が⼊れない場所に、ロボットが先に⼊る ヤマトプロテック株式会社様との共同研究。 2026年7⽉28⽇、茨城県の 元⼩学校校舎（実建物）で実証実験を⾏いました。 ※詳しくは後述のデモ動画で。 四⾜ロボット（Go2） ⼈型ロボット（G1） 建物内を探索し、サーマルカメラで熱源を⾒つける。 四⾜ロボットに誘導されて現場へ。 階段‧不整地を進む。 消⽕器を持ち消⽕作業を⾏う。 隊員の危険回避と、⼈⼝減少による担い⼿不⾜。 消防庁の「消防の技術戦略ビジョン」（2026年3⽉）でも AI ロボティクスは重点分野。 8
9. 第2章：技術スタック Omniverse / Kimodo / GEAR SONIC の仕組みについて
10. ⾃然⾔語からモーション⽣成までの5つの層 層 名前 役割 L5 · 指⽰ ⾃然⾔語の指⽰ 「消⽕器を持ち上げて運ぶ」 L4 · 動きを作る Kimodo テキスト＋制約から全⾝の動きを⽣成 L3 · 体で再現する GEAR SONIC 動きを追従し、バランスを保つ全⾝制御 L2 · 先に試す Omniverse / Isaac Sim 現場のデジタルツインで検証 L1 · 現実 G1 / Go2 + Jetson エッジで推論し、モーターを動かす 今後は世界モデル（Cosmos）がトレンドですが今回は未使⽤。 12
11. Omniverse は⼟台。ロボットで使うのは、その上の2つ 層 名前 役割 ロボット · 学習 Isaac Lab 強化学習‧模倣学習 ロボット · 実⾏ Isaac Sim ロボットのシミュレーション ⼟台 · 記述 OpenUSD シーン（現場‧ロボット‧物）の記述 ⼟台 · 描画 RTX 描画と、センサー（カメラなど）の模擬 ⼟台 · 物理 PhysX 重⼒‧接触‧摩擦などの物理 13
12. 仮想空間で何度も失敗しておく • 現場（校舎‧廊下‧階段）を物理込みで再現 • ロボットの動きを、実機に流す前に同じ指令で確認 • 転倒‧⼲渉する動きを事前に落とす • カメラ映像を合成して、認識モデルのデータにも使える 制約 やり⽅ 実証会場の校舎は使える⽇程がかぎられており、実機で 試せる⽇程は限られていた。 シミュレーションで動きを固め、実機では確認だけにす る。 失敗は仮想空間で済ませる。 14
13. Kimodo : ⽂章と制約から動きを作る 位置づけ ⼊⼒と出⼒ NVIDIA Research が2026年3⽉に公開。 ⼊⼒はテキストと、全⾝キーフレーム‧関節の位置と回 転‧2D の通過点と経路。 コードは Apache-2.0、モデルは Hugging Face で配布。 ライセンスはモデルの種類ごとに異なる。 出⼒は独⾃ NPZ（既定）、G1 向け MuJoCo CSV、 SMPL-X 向け AMASS NPZ。 動かす環境 今回の実証 Web のデモ画⾯で、タイムラインを⾒ながら制約を編集 できる。 G1 の⾻格で全⾝モーションを出⼒する役（本編の流れの 2段⽬）。 GPU メモリは約17GB。 テキストエンコーダを CPU に回すと3GB未満。 出典：Kimodo GitHub（nv-tlabs/kimodo）、NVIDIA Research プロジェクトページ 16
14. SONIC : 1つの⽅策で全⾝を動かす 位置づけ ⼊⼒と出⼒ コードは Apache 2.0、モデルの重みは NVIDIA Open Model License。 ⼊⼒は SMPL の姿勢、G1 の参照モーション、テレオペの ⼊⼒。 Unitree G1 向けに3種のチェックポイントを Hugging Face で配布。 64 次元の潜在トークンにそろえ、50 Hz で全⾝を制御す る。 学習 実機への載せ⽅ 動きの追従を学習タスクにして、PPO で学習する。 推論は C++ と TensorRT。 学習⽤のコードと設定も公開されている。 モデルは encoder / decoder の ONNX。 Jetson AGX Orin に対応。今回の実証では、⽣成した動き を追従する役。 出典：GR00T-WholeBodyControl GitHub、SONIC 論⽂（arXiv:2511.07820） 17
15. Isaac Sim : ロボットを仮想空間で試す場 位置づけ 取り込み Omniverse 上に作られたロボットのシミュレータ。 Apache 2.0 で GitHub に公開され、pip でも⼊れられる。 URDF、MJCF、CAD、USD からロボットとシーンを取り 込む。物理は PhysX か Newton を選べる。 センサーと連携 Isaac Lab との関係 カメラ、深度、RTX LiDAR、レーダーなどを模擬する。 ROS 2 とつなぎ、合成データは Replicator で作る。 強化学習‧模倣学習は Isaac Lab が担う。Isaac Sim でロ ボットを整え、Isaac Lab で学習する。今回の実証では、 現場のデジタルツインでの動作確認に使った。 出典：NVIDIA Isaac Sim ドキュメント、Isaac Sim GitHub 18
16. Omniverse : 開発基盤 位置づけ Kit と拡張機能 物理AIのためのシミュレーション基盤。 Omniverse Kit は、アプリを作るための枠組み。 オープンソースのライブラリと、商⽤のサービスを組み 合わせて提供される。 Python と C++ の拡張機能を⾜して、⽤途ごとのツールに する。 内部はプラグイン基盤の Carbonite、UI の omni.ui な ど。 ライブラリ 今回の実証 物理の ovphysx、描画とセンサー模擬の ovrtx、保存先を つなぐ ovstorage、共有シーンの ovstage。 Isaac Sim を通して、現場のデジタルツインで動きを確認 した（本編の流れの3段⽬）。 出典：NVIDIA Omniverse 開発者サイト、Omniverse Kit マニュアル 19
17. ノイズから少しずつ動きを取り出す 1 テキスト 動きを⽂章で書く 2 エンコード ⽂章を、モデルが扱える数値に変える 3 拡散モデル ノイズから動きの系列を、少しずつ復元する 4 制約を反映 キーフレーム‧経路を、⽣成の途中で当てはめる 5 ⾻格で出⼒ SOMA / SMPL-X / Unitree G1 中⾝は2段構成。 まず体全体の動作を決め、次に関節の動きをみてみる。 20
18. 理想の動きを倒れずに体で再現する ⽣成した動きをそのまま送ると、ロボットの動作は安定しない。 SONIC は⽬標の動きを追いかけながら、重⼼と接地を保つように全⾝の関節を制御する。 動きごとにコントローラーを作る必要がない。 モデル規模 42M パラメータ 学習データ 1億+ フレーム（約700時間） ⼊⼒ ⽣成モーション、または VR ヘッドセット（PICO）によるテレオペ 公開版の重みは約288時間のデータ（Bones-SEED）で学習 21
19. ルールで計算するか映像から学ぶか 物理エンジン（Omniverse / Isaac Sim） 世界モデル（Cosmos） 考え⽅ ルールを書いて、計算する。 ⼤量の映像から「次に何が起きるか」を学び、予測 ‧⽣成する。 得意 ロボットに働く⼒や接触を計算できる。 現実に近い映像と環境で試せる。 今回の実証 ✅ 使⽤。 ❌ 未使⽤。検証中。 Cosmos の構成 使いどころ 最新は Cosmos 3（推論と⽣成を1つのモデルで扱う）。 以前は Predict（未来の映像を予測）‧Transfer（シミュ レーション映像を実写に近づける）‧Reason（物理を理 解して判断）に分かれていた。 合成データの⽣成。シミュレーションと実機の差を縮め る。 クラスメソッドは 2026年7⽉から NVIDIA Cosmos Coalition に参加しています。 23
20. 「消⽕器活動動作」が実機に届くまで 1 ⾔葉で指⽰ やりたい動作を⽂章で書く 2 Kimodo：動きを⽣成 G1 の⾻格で全⾝モーションを出⼒ 3 Omniverse：仮想空間で試す デジタルツイン上で転倒‧⼲渉を確認 4 SONIC：全⾝制御 バランスを取りながら動きを追従 5 G1：実機で動く Jetson で推論しモーターへ ダメなら 3 に戻る。実機を壊す前に、仮想空間で直す ループです。 24
21. 第3章：やってみてわかったこと シミュレーションと実機のあいだをつなぐ次の⼀⼿
22. 現場で感じたのは（まだ） AI で解決しづらい状況が多いこと シミュレーションと実機の差 汎⽤動作はまだ難しい 床の滑り、物の重さ、関節が熱を持つ。 歩く‧しゃがむは基盤モデルで⼤体いける。 シミュレーションで成功した動きでも、実機では詰める 作業が残る。 重い物を確実に掴むのは、まだ個別の調整が要る。 電源と通信を先に決める 失敗しても⽌まらない設計 廃校舎に電気もネットもない。 1か所失敗しても次へ進む。通信が途切れたら⽌まる。ロ ボットも⼈も壊さないことを最優先にする。 災害現場も当然ないことが可能性⾼い。 PHEV＋ポータブル電源、Starlink で現場を作った。 27
23. 実証から現場で使い続けるところへ 時期 内容 2026-07 元⼩学校校舎での実証（四⾜＋⼈型） 2026-08 消⽕活動の実証実験 2026-08 消防設備と連動した放射試験‧共同プレスリリース 次の⼀⼿ 評価⽅法‧データ‧運⽤ノウハウを揃え、継続運⽤へ。世界モデルによる合成データ‧評 価も試す クラスメソッドはロボット学習基盤の構築から現場での⾃律動作の実装と運⽤をがんばります。 28
24. AI は画⾯の中から現場に降りてきた 1 フィジカル AI は「仮想空間で先に失敗する」ことが前提 2 Omniverse で試し、Kimodo で動きを作り、SONIC で体に落とす。 次は世界モデルで現場データ不⾜を補う 3 今後の重要課題は電源‧通信‧安全設計という現場利⽤までのハードル 29
25. クラスメソッドはフィジカル AI の⽀援やってます NVIDIA Partners 2026年9⽉より NVIDIA Partner Network (NPN) の Solution Advisor に認定。 https://marketplace.nvidia.com/ja-jp/enterprise/partners/classmethod-inc/ 30
26. クラスメソッドはフィジカル AI の⽀援やってます https://classmethod.jp/news/260716-nvidia/ 31
27. 11月6日、製造ビジネステクノロジー部単体のオンライン会社説明会を実施します 日比谷Cafeから 生配信形式 🎬 19:00~ スタート