Beyond_LLM_世界モデルが切り拓くフィジカルAIの時代.pdf

Canva Version

https://www.canva.com/design/DAG2A0uhyno/5_SsKGTdYzWCr0e35gL4BQ/edit?utm_content=DAG2A0uhyno&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton

Transcript

1. B e y o n d L L M ： 世 界 モ デ ル が 切 り 拓 く フ ィ ジ カ ル A I の 時 代
2. フ ィ ジ カ ル A I と は 一般的にフィジカルＡＩとは、現実の物理環境と直接関わりながら、 人間のように柔軟に対応し、状況に応じて行動を変えられるＡＩ技術 のことだ。 具体的には、ロボットや車などに搭載し、現実の世界で活 動しながら学習を重ね、自律的に動作できるようにする。
3. 現在のAIは次の単語やピクセルを予測することには長けているが、物理世界を理解し、行 動の結果を予測する能力が欠けている チェスのような複雑なゲームはできても、物を掴んだり、状況に応じて適切に行動したり といった、人間の幼児でも自然にできることが逆に苦手 。 ヤ ン ・ ル カ ン 氏 に よ る 現 在 の 課 題 「人間や動物の学習の大部分は教師なし学習によって行われています。 知能をケーキに例えると教師なし学習はケーキそのもの、教師あり学習はケーキの上に塗る クリーム、強化学習はその上に乗せる飾りのさくらんぼにあたります。 私たちはクリームやさくらんぼの作り方は知っていますが、ケーキ本体の作り方はまだよく 分かっていません。本当のAIを目指すには、まずケーキ＝教師なし学習の問題を解く必要が あります。 」 —ヤン・ルカン
4. インターネット上の情報を全て 読むには40万年から50万年かかる膨大な量 30兆トークン 10 14乗バイト 1.1×10の15乗バイト 満4歳になるまでに起きている時間（1.6万時間）と、視覚から得 るデータ量を基にしています。視神経の数（200万本、1本＝1バ イト）と、その伝送頻度（毎秒10回）から算出された数字 ５０倍 イ ン タ ー ネ ッ ト 上 の 全 て の デ ー タ は ４ 歳 児 以 下 ？ 4歳児
5. Use a video model Traditional programming 身体を通じた世界の理解（Embodied Understanding） 視覚、聴覚、触覚などの感覚を通じて世界を学び、経験から直感的 な知識を獲得できる 身体を通じた世界の理解（Embodied Understanding）が必要
6. 3次元空間の理解 物体の位置や大きさを正確に把握 視点が変わっても一貫した空間を維持 オブジェクト同士の位置関係を理解 物理法則の理解 重力や慣性などの基本的な物理法則に従った動きを表現 物体の衝突や相互作用を自然に表現 光や影、反射などの視覚効果を正確に表現 因果関係の理解 行動とその結果の関係を予測 物体の性質に応じた適切な相互作用（例：硬いものは跳ね返り、柔らかいものは変形する） 時間経過に伴う状態の変化を予測 世 界 モ デ ル の 必 要 性
7. 世 界 モ デ ル の ア プ ロ ー チ > G e n i e
8. Midjourney Midjourneyのデイヴィッド・ホルツCEOが「2024年末までにホロデッキ に到達できる」と話した ホルツ氏は「Midjourneyはすごく速く描けるアーティストではなく、むし ろ、とても遅いゲームエンジンのようなもの。将来は1分間に1枚の（生成） 画像ではなく、60fpsのフルボリューメトリック3Dになるでしょう」とも 述べたそうです。 Nick St. Pierreさんによれば、ホルツ氏は過去のオフィスアワーで、3Dガ ウシアン・スプラフティングやNeRFを独自技術化し、3Dシーンを生成す ることを目指していると明らかにしているそうです。これはどちらも2D画 像や動画から3D空間を作り出す「ボリューメトリック」と呼ばれる技術で す。 世 界 モ デ ル の ア プ ロ ー チ > M i d j o u r n e y
9. 世 界 モ デ ル の ア プ ロ ー チ > S o r a Video generation models as world simulators ～Sora
10. Use a video model Traditional programming 従 来 の プ ロ グ ラ ミ ン グ と 動 画 プ ロ グ ラ ミ ン グ の 制 作 工 程 決 め ら れ た ロ ジ ッ ク の 動 き し か で き な い 柔 軟 な ア ウ ト プ ッ ト 動 画 を 通 じ て 学 び 続 け る こ と が で き る
11. Use a video model Traditional programming 従 来 の プ ロ グ ラ ミ ン グ と 動 画 プ ロ グ ラ ミ ン グ の 制 作 工 程 Modeling Programming Rendering
12. Use a video model Traditional programming 従 来 の プ ロ グ ラ ミ ン グ と 動 画 プ ロ グ ラ ミ ン グ の 制 作 工 程 Modeling Programming Rendering
13. Use a video model Traditional programming 従 来 の プ ロ グ ラ ミ ン グ と 動 画 プ ロ グ ラ ミ ン グ の 制 作 工 程 Modeling Programming Rendering
14. Use a video model Traditional programming 従 来 の プ ロ グ ラ ミ ン グ と 動 画 プ ロ グ ラ ミ ン グ の 制 作 工 程 Modeling Programming Rendering
15. Use a video model Traditional programming 従 来 の プ ロ グ ラ ミ ン グ と 動 画 プ ロ グ ラ ミ ン グ の 制 作 工 程 Modeling Programming Rendering
16. Use a video model Traditional programming 従 来 の プ ロ グ ラ ミ ン グ と 動 画 プ ロ グ ラ ミ ン グ の 制 作 工 程 Modeling Programming Rendering
17. V - J E P A ２
18. V - J E P A ２
19. ====================================================================== ステップ5：V-JEPA 2の学習内容 ====================================================================== 📊 予測精度: 1.0000 🎉 優秀！ V-JEPA 2は以下を理解しています： ✅ ミニカーが右下方向に移動し続ける ✅ 動きが加速している ✅ 坂道の傾斜に沿って移動する つまり： 物理法則をプログラムしていないのに、 動画を見るだけで「物が坂を転がる」という 物理現象を理解しました！ ---------------------------------------------------------------------- 💡 重要なポイント： 従来の方法: プログラマーが書く: 「位置 = 初速度 × 時間 + 0.5 × 加速度 × 時間²」 V-JEPA 2: 動画を見て学習: 「このパターンだと、次はこうなる」 → どちらも結果は同じだが、アプローチが全く違う！ → V-JEPA 2は「データから学ぶ」新しいパラダイム V - J E P A ２
20. M E S A > 移 動 デ ー タ を リ ア ル タ イ ム で 動 画 へ 書 き 出 し
21. M E S A > 移 動 デ ー タ を リ ア ル タ イ ム で 動 画 へ 書 き 出 し
22. M E S A > 移 動 デ ー タ を リ ア ル タ イ ム で 動 画 へ 書 き 出 し
23. M E S A > 移 動 デ ー タ を リ ア ル タ イ ム で 動 画 へ 書 き 出 し