第105回 Machine Learning 15minutes! Broadcast「生成AIの最近の動向と2025上期の個人的関心」

Transcript

1. 第105 回 Machine Learning 15minutes! Broadcast 生成AI の最近の動向と2025 上期の個人的関心 2025-09-27 三井情報株式会社 青木健一 @aokikenichi 生成AI の最近の動向と2025 上期の個人的関心 1
2. 今日のお話し 1. 生成AI の最近の動向 2. 大規模言語モデル≒ （テキスト系の）生成AI ？ 3. 2025 上期注目研究 4. 個人的関心：AXIOM 5. まとめ （時間があれば） 個人的関心：Cosmos Appendix. 補足資料 生成AI の最近の動向と2025 上期の個人的関心 2
3. 仕　事　：三井情報株式会社所属（本資料・発表は個人の見解です） バイオインフォマティシャン データサイエンティスト を経て R&D 部門にて、技術動向調査（因果推論、LLM 、世界モデル）や情報発信（LT 会 運営、社内SNS 発信） 自己研鑽：@aokikenichi Qiita : 12,165 Contributions （総合 137 位） Teratail : 2,292 Scores （総合ランキング 213 位） 、ほか 趣味 無限大喜利 : いつもと違う脳の部位を使う感じがいいですよ 自己紹介 3
4. 1. 生成AI の最近の動向 生成AI の最近の動向 4
5. 初期はGoogle とOpenAI の対決 Google OpenAI 2013 単語もベクトルにしちゃえ word2vec 2016 ニューラルネットに基づく機械翻訳 2017 "Attention Is All You Need" Transformer 2018 Decoder だけでいいんじゃね？ GPT-1 2019 自然な長文 GPT-2 2020 大量学習すればいいんじゃね？ Scaling low 『GPT-3 が潜在的にもつ有害作用』GPT-3 2021 テキストから画像生成 DALL·E 2022 対話型UI ChatGPT(GPT-3.5) 2023 対話型UI Bard ゲームチェンジャー GPT-4 2024 Bard->Gemini 推論型モデル GPT o1 1. 生成AI の最近の動向 5
6. 2025 は生成AI 戦国時代　 （独断と偏見でのイメージ） OpenAI(ChatGPT) : 王者は揺るがんのだよ（汗；） Google(Gemini) : そろそろ検索の本気出していいっすか？ Microsoft(Copilot) : そろそろOS/Office の本気を見せてやるか！ Anthropic(Claude) : 「言語」ってものをもう一度考え直そうか？ X(Grok) : 何みんな本気出しちゃってんの？ DeepSeek : 初号機とは違うのだよ、初号機とは！ 1. 生成AI の最近の動向 6
7. 2. 大規模言語モデル≒ （テキスト系の）生成AI ？ 2. 大規模言語モデル≒ （テキスト系の）生成AI ？ 7
8. LLM の系統樹 単語ベクトル Encoder 型 Encoder-Decoder 型 Decoder 型 https://github.com/Mooler0410/LL MsPracticalGuide 2. 大規模言語モデル≒ （テキスト系の）生成AI ？ 8
9. 大規模言語モデルは元々はテキスト生成のみを目的としたもので はない ただテキスト生成を目的としたDecoder 型が大きな成長を見せ、 大規模言語モデル≒ （テキスト系の）生成AI っぽく見えている 以下はすこしぼやかして、 「大規模言語モデル≒ 生成AI 」とあえて言ってしまいます 2. 大規模言語モデル≒ （テキスト系の）生成AI ？ 9
10. 3. 2025 上期注目研究 3. 2025 上期注目研究 10
11. 最近の研究の流れ 生成AI(≒LLM) AI エージェントと進む？ そこには2 つの大きな壁とそれを克服することを目指した研究 計算コストが高すぎる 計算コスト削減の研究 自律行動ができない 自律行動の研究 他にも、 安全性・制御性（幻覚抑制や倫理的リスクの低減） モデルの解釈性 マルチモーダル統合　など 生成AI の最近の動向と2025 上期の個人的関心 11
12. 2025 年上期注目研究 被引用数・話題性・インパクトの観点でDeep Research 詳細はAppendix. 太字：Top10 、赤字：個人的関心 計算コスト 削減 事前学習 正規化を省いたシンプル設計 Transformers without Normalization Lightning Attention, MoE MiniMax-01 事後学習 強化学習による再訓練効率化 Kimi k1.5 蒸留 蒸留による⼩型化 DeepSeek-R1 別⼿法 能動的推論による効率化 AXIOM 3. 2025 上期注目研究 12
13. ⾃律⾏動 事前学習 進化的アルゴリズムによる ⾃⼰進化 AlphaEvolve 事後学習 外部データ不要 Absolute Zero 応⽤特化 科学研究に特化した エージェント‧ オーケストレーション The AI Scientist-v2 別⼿法 エージェント研究コミュニティ AgentRxiv 世界モデル Cosmos 3. 2025 上期注目研究 13
14. その他 LLMの精度 向上の試み 推論型LLMの整理 Reasoning Language Models LLMの弱点の整理 LLMs Get Lost In Multi-Turn Conversation 強化学習による 記号着地問題 Acquiring Grounded Representations of Words 3. 2025 上期注目研究 14
15. 4. 個人的関心：AXIOM HEINS, Conor, et al. AXIOM: Learning to Play Games in Minutes with Expanding Object-Centric Models. arXiv preprint arXiv:2505.24784, 2025. 4. 個人的関心：AXIOM 15
16. AXIOM AI よりも子供の方がゲームを早くクリアできるのはなぜ？ AI タスクを習得するには膨大なデータと何百万ものインタラクションが必要 人間 根底にあるルールを理解し、ほんの数例から素早く一般化 人間のように学ぶには？ 柱1: 自由エネルギー原理に基づく能動的推論 柱2: Core Priors 4. 個人的関心：AXIOM 16
17. 能動的推論 脳神経科学の第一人者のK. Friston が提唱 王道: 生物が世界でいかに適応的 に行動するかの観点 常道: 脳を感覚入力の原因に関す る確率的な表現を最適化しよう とする推論エンジンとする観点 （ベイズ脳） 自由エネルギー原理 感覚的観察のサプライズを最小 化する 4. 個人的関心：AXIOM 17
18. Core Priors 世界に関する生得的な基本的前提。物体は存在し、連続的な軌道で動き、物理法則に 基づき相互作用する ピクセルではなく、物体を見る 物体を見る 視覚シーンを個別の物体に分解し、その特性（形、色、位置）を理解 物理を学ぶ 落下、滑走、跳ね返りなど、基本的な動きのパターンを発見 未来を予測 物体の相互作用をモデル化し、次に起こることを予測して計画を立てる 4. 個人的関心：AXIOM 18
19. 結果 小さなモデルで圧倒的なスコア AXIOM BBF DreamerV3 モデルサイズ（パラメータ数）[M] 0.3-1.6 6.47 420 Gameworld10k/hunt 206±20 4±12 6±09 Gameworld10k という独自ベンチマークなので、ちょっと微妙な点はある？ 4. 個人的関心：AXIOM 19
20. 5. まとめ LLM≒ 生成AI の大競争 計算コストの削減と自律行動が課題 （個人的には） AXIOM などの脳科学を持ち込む、Cosmos などの世界モデルに期待 まとめ 20
21. Enjoy! LT https://qiita.com/aokikenichi 生成AI だけではなく機械学習記事をたくさん書いております https://x.com/aokikenichi LT 登壇依頼、意見交換などよろしくお願いいたします！ Love Markdown/Marp このスライドもMarp で書いております！ Enjoy! 21
22. （時間があれば）個人的関心：Cosmos AGARWAL, Niket, et al. Cosmos world foundation model platform for physical ai. arXiv preprint arXiv:2501.03575, 2025. （時間があれば）個人的関心：Cosmos 22
23. Cosmos AI （ロボット）はこの動作をどう学ぶの か？ AI に現実世界をどう教えるか？ （時間があれば）個人的関心：Cosmos 23
24. 失敗してもいい、シミュレーション環境のPlatform が 世界基盤モデルCosmos （時間があれば）個人的関心：Cosmos 24
25. 世界モデルのイメージ 世界（環境）の理解と予測を担う。エージェントの計画・制御と連携する （時間があれば）個人的関心：Cosmos 25
26. Cosmos の内部イメージ （時間があれば）個人的関心：Cosmos 26
27. 自動運転向けの例 左前 前 右前 左後 後 右後 6 つのカメラの映像を生成する 単なる生成ではなく物理法則に 則っている （時間があれば）個人的関心：Cosmos 27
28. Appendix. Appendix. 28
29. Qiita: 2025 上半期AI 関連注目論文Top10+α 論文 組織 特徴 1 AlphaEvolve DeepMind 自己進化するAI 2 Absolute Zero 清華大学( 中国) 自己進化するAI 3 The AI Scientist-v2 Sakana AI AI 生成論文が査読通過 4 Transformers without Normalization Meta Transformer の構造改革 5 Kimi k1.5 Kimi( 中国) 新スケーリング！ 6 DeepSeek-R1 DeepSeek( 中国) （推定）8.6 億円？の衝撃 7 Reasoning Language Models チューリッヒ工科大 推論型LLM の設計図 8 LLMs Get Lost In Multi-Turn Conversation Microsoft/SalesForce LLM も迷子になる！ 9 AgentRxiv ジョンズ・ホプキンズ 大 AI エージェント研究コミュニティ 10 Acquiring Grounded Representations of Words ミシガン大 記号着地問題への一つのアプロ ーチ Appendix. 29
30. Top10 以外で注目 論文 組織 特徴 ランク外 MiniMax-01 MiniMax( 中国) Lightning Attention, MoE で条件付き計算 ランク外 Cosmos NVIDIA 物理AI 用の汎用世界モデル 個人的関心 論文 組織 特徴 ランク外 AXIOM VERSES AI 脳科学の第一人者Friston の能動的推論の実装 Appendix. 30
31. LLM の系統樹補足 単語ベクトル Word2Vec などの単語ベクトルでは長期記憶がなく限界 Transformer のAttention 機構が長期記憶や自己回帰学習で長文対応 Encoder 型 テキストを抽象概念に圧縮する テキスト分類や要約などに強み Encoder-Decoder 型 テキストを抽象概念に圧縮し元のテキストに戻す 翻訳や質問応答などに強み Decoder 型 現在ここが圧倒的に進化 本来は抽象概念を元にテキストに戻すデコーダーをテキスト生成用に改良。 テキストから次の単語を予測するように学習 Appendix. 31
32. あらためて「生成AI 」とは？ 生成モデル (Generative Models) 深層生成モデル (Deep Generative Models) 生成学習 (Generative Learning) 具体例： オートエンコーダ (AutoEncoder) 変分オートエンコーダ (VAE) GAN (Generative Adversarial Network) 正規化フロー (Normalizing Flow) 拡散モデル (Diffusion Model) Transformer 系の自己回帰モデル (GPT など) Appendix. 32
33. AXIOM 関連 参考図書 『能動的推論 心、脳、行動の自由エネルギー原理』トーマス・パー、ジョバン ニ・ペッツーロ、カール・フリストン 著. 乾敏郎 訳. ミネルヴァ書房. 人の脳の認識に関しての最有力理論である「自由エネルギー原理」を元に、 不確実性を解消するために「能動的推論」をしているのでは？という提案 脳科学の第一人者と言われるK. Friston 著 Appendix. 33
34. AXIOM は解釈性もある 左：時刻 t における Impact からの例 中：時刻 t の観測に基づき、さらに32 タイムステップ先まで未来を条件付けして 想像された潜在空間内の軌跡 右：期待される報酬で色分けしたもの（緑＝正の報酬、赤＝負の報酬＝罰） Appendix. 34
35. Cosmos ・世界モデル関連 参考図書 『基盤モデルとロボットの融合 マルチモーダルAI でロボットはどう変わるのか』 河原塚健人、松嶋達也著. 講談社. 前述の「世界モデル」に近い意味で「基盤モデル」という語を用いており、 「世界モデル」は全く出てこないが、内容がかなり近い Appendix. 35
36. 世界モデルの研究の流れ 動画ロールアウト 動画で未来をロールアウト 潜在空間ロールアウト 動画を潜在空間に圧縮して 未来をロールアウト ロールアウト 予測＋シミュレーション Appendix. 36
37. Cosmos のドメイン対応 世界認識と予測の基盤モデルなので、ドメインに特化したファインチューニン グが可能 Appendix. 37
38. 用語の定義はまだ固まっていない 基盤モデル（Foundation Model ） 　　“ なんでも屋の土台” 大規模・広範データを主に自己教師で学習し、多様な下流タスクへ適応できる“ 土 台” となるモデル群。特定の世界や環境に限定されない概念 例：BERT ・GPT ・画像や動画の基盤モデル など 世界モデル（World Model ） 　　　　 " 環境の理解と予測器" ある環境の観測と行動から将来の観測を予測する動的モデル。圧縮された時空間 表現を学び、 ロールアウト（想像） で方策学習・計画に使えるのが典型 世界基盤モデル（WFM ） 　　　　　　“WM ＝FM の思想で作るWM” 世界モデル × 基盤モデル的性質。広範・大規模データ（Cosmos では動画）で汎 用の世界モデルを事前学習し、用途ごとに事後学習で特化できる“ 基盤” として位置 づけられた世界モデル。 例：Cosmos はその具体例（＋周辺基盤） Appendix. 38
39. 宣伝：三井情報株式会社のAI 基盤関連 出所：https://www.mki.co.jp/company/docs/nikkeibiz_tokyo-1_3mtg.pdf 宣伝：三井情報株式会社の生成AI 関連 39