Share
Embed
Transcript
39 slides
-
第105 回 Machine Learning 15minutes! Broadcast 生成AI の最近の動向と2025 上期の個人的関心 2025-09-27
三井情報株式会社 青木健一 @aokikenichi 生成AI の最近の動向と2025 上期の個人的関心 1 -
今日のお話し 1. 生成AI の最近の動向 2. 大規模言語モデル≒ (テキスト系の)生成AI ? 3. 2025
上期注目研究 4. 個人的関心:AXIOM 5. まとめ (時間があれば) 個人的関心:Cosmos Appendix. 補足資料 生成AI の最近の動向と2025 上期の個人的関心 2 -
仕 事 :三井情報株式会社所属(本資料・発表は個人の見解です) バイオインフォマティシャン データサイエンティスト を経て R&D 部門にて、技術動向調査(因果推論、LLM 、世界モデル)や情報発信(LT 会 運営、社内SNS 発信)
自己研鑽:@aokikenichi Qiita : 12,165 Contributions (総合 137 位) Teratail : 2,292 Scores (総合ランキング 213 位) 、ほか 趣味 無限大喜利 : いつもと違う脳の部位を使う感じがいいですよ 自己紹介 3 -
初期はGoogle とOpenAI の対決 Google OpenAI 2013 単語もベクトルにしちゃえ word2vec 2016 ニューラルネットに基づく機械翻訳
2017 "Attention Is All You Need" Transformer 2018 Decoder だけでいいんじゃね? GPT-1 2019 自然な長文 GPT-2 2020 大量学習すればいいんじゃね? Scaling low 『GPT-3 が潜在的にもつ有害作用』GPT-3 2021 テキストから画像生成 DALL·E 2022 対話型UI ChatGPT(GPT-3.5) 2023 対話型UI Bard ゲームチェンジャー GPT-4 2024 Bard->Gemini 推論型モデル GPT o1 1. 生成AI の最近の動向 5 -
2025 は生成AI 戦国時代 (独断と偏見でのイメージ) OpenAI(ChatGPT) : 王者は揺るがんのだよ(汗;) Google(Gemini) : そろそろ検索の本気出していいっすか?
Microsoft(Copilot) : そろそろOS/Office の本気を見せてやるか! Anthropic(Claude) : 「言語」ってものをもう一度考え直そうか? X(Grok) : 何みんな本気出しちゃってんの? DeepSeek : 初号機とは違うのだよ、初号機とは! 1. 生成AI の最近の動向 6 -
LLM の系統樹 単語ベクトル Encoder 型 Encoder-Decoder 型 Decoder 型 https://github.com/Mooler0410/LL
MsPracticalGuide 2. 大規模言語モデル≒ (テキスト系の)生成AI ? 8 -
大規模言語モデルは元々はテキスト生成のみを目的としたもので はない ただテキスト生成を目的としたDecoder 型が大きな成長を見せ、 大規模言語モデル≒ (テキスト系の)生成AI っぽく見えている 以下はすこしぼやかして、 「大規模言語モデル≒ 生成AI
」とあえて言ってしまいます 2. 大規模言語モデル≒ (テキスト系の)生成AI ? 9 -
最近の研究の流れ 生成AI(≒LLM) AI エージェントと進む? そこには2 つの大きな壁とそれを克服することを目指した研究 計算コストが高すぎる 計算コスト削減の研究 自律行動ができない 自律行動の研究
他にも、 安全性・制御性(幻覚抑制や倫理的リスクの低減) モデルの解釈性 マルチモーダル統合 など 生成AI の最近の動向と2025 上期の個人的関心 11 -
2025 年上期注目研究 被引用数・話題性・インパクトの観点でDeep Research 詳細はAppendix. 太字:Top10 、赤字:個人的関心 計算コスト 削減 事前学習
正規化を省いたシンプル設計 Transformers without Normalization Lightning Attention, MoE MiniMax-01 事後学習 強化学習による再訓練効率化 Kimi k1.5 蒸留 蒸留による⼩型化 DeepSeek-R1 別⼿法 能動的推論による効率化 AXIOM 3. 2025 上期注目研究 12 -
⾃律⾏動 事前学習 進化的アルゴリズムによる ⾃⼰進化 AlphaEvolve 事後学習 外部データ不要 Absolute Zero 応⽤特化
科学研究に特化した エージェント‧ オーケストレーション The AI Scientist-v2 別⼿法 エージェント研究コミュニティ AgentRxiv 世界モデル Cosmos 3. 2025 上期注目研究 13 -
その他 LLMの精度 向上の試み 推論型LLMの整理 Reasoning Language Models LLMの弱点の整理 LLMs Get
Lost In Multi-Turn Conversation 強化学習による 記号着地問題 Acquiring Grounded Representations of Words 3. 2025 上期注目研究 14 -
4. 個人的関心:AXIOM HEINS, Conor, et al. AXIOM: Learning to Play
Games in Minutes with Expanding Object-Centric Models. arXiv preprint arXiv:2505.24784, 2025. 4. 個人的関心:AXIOM 15 -
AXIOM AI よりも子供の方がゲームを早くクリアできるのはなぜ? AI タスクを習得するには膨大なデータと何百万ものインタラクションが必要 人間 根底にあるルールを理解し、ほんの数例から素早く一般化 人間のように学ぶには? 柱1: 自由エネルギー原理に基づく能動的推論
柱2: Core Priors 4. 個人的関心:AXIOM 16 -
能動的推論 脳神経科学の第一人者のK. Friston が提唱 王道: 生物が世界でいかに適応的 に行動するかの観点 常道: 脳を感覚入力の原因に関す る確率的な表現を最適化しよう
とする推論エンジンとする観点 (ベイズ脳) 自由エネルギー原理 感覚的観察のサプライズを最小 化する 4. 個人的関心:AXIOM 17 -
Core Priors 世界に関する生得的な基本的前提。物体は存在し、連続的な軌道で動き、物理法則に 基づき相互作用する ピクセルではなく、物体を見る 物体を見る 視覚シーンを個別の物体に分解し、その特性(形、色、位置)を理解 物理を学ぶ 落下、滑走、跳ね返りなど、基本的な動きのパターンを発見 未来を予測
物体の相互作用をモデル化し、次に起こることを予測して計画を立てる 4. 個人的関心:AXIOM 18 -
結果 小さなモデルで圧倒的なスコア AXIOM BBF DreamerV3 モデルサイズ(パラメータ数)[M] 0.3-1.6 6.47 420 Gameworld10k/hunt
206±20 4±12 6±09 Gameworld10k という独自ベンチマークなので、ちょっと微妙な点はある? 4. 個人的関心:AXIOM 19 -
(時間があれば)個人的関心:Cosmos AGARWAL, Niket, et al. Cosmos world foundation model platform
for physical ai. arXiv preprint arXiv:2501.03575, 2025. (時間があれば)個人的関心:Cosmos 22 -
自動運転向けの例 左前 前 右前 左後 後 右後 6 つのカメラの映像を生成する 単なる生成ではなく物理法則に
則っている (時間があれば)個人的関心:Cosmos 27 -
Qiita: 2025 上半期AI 関連注目論文Top10+α 論文 組織 特徴 1 AlphaEvolve DeepMind
自己進化するAI 2 Absolute Zero 清華大学( 中国) 自己進化するAI 3 The AI Scientist-v2 Sakana AI AI 生成論文が査読通過 4 Transformers without Normalization Meta Transformer の構造改革 5 Kimi k1.5 Kimi( 中国) 新スケーリング! 6 DeepSeek-R1 DeepSeek( 中国) (推定)8.6 億円?の衝撃 7 Reasoning Language Models チューリッヒ工科大 推論型LLM の設計図 8 LLMs Get Lost In Multi-Turn Conversation Microsoft/SalesForce LLM も迷子になる! 9 AgentRxiv ジョンズ・ホプキンズ 大 AI エージェント研究コミュニティ 10 Acquiring Grounded Representations of Words ミシガン大 記号着地問題への一つのアプロ ーチ Appendix. 29 -
Top10 以外で注目 論文 組織 特徴 ランク外 MiniMax-01 MiniMax( 中国) Lightning
Attention, MoE で条件付き計算 ランク外 Cosmos NVIDIA 物理AI 用の汎用世界モデル 個人的関心 論文 組織 特徴 ランク外 AXIOM VERSES AI 脳科学の第一人者Friston の能動的推論の実装 Appendix. 30 -
LLM の系統樹補足 単語ベクトル Word2Vec などの単語ベクトルでは長期記憶がなく限界 Transformer のAttention 機構が長期記憶や自己回帰学習で長文対応 Encoder 型
テキストを抽象概念に圧縮する テキスト分類や要約などに強み Encoder-Decoder 型 テキストを抽象概念に圧縮し元のテキストに戻す 翻訳や質問応答などに強み Decoder 型 現在ここが圧倒的に進化 本来は抽象概念を元にテキストに戻すデコーダーをテキスト生成用に改良。 テキストから次の単語を予測するように学習 Appendix. 31 -
あらためて「生成AI 」とは? 生成モデル (Generative Models) 深層生成モデル (Deep Generative Models) 生成学習
(Generative Learning) 具体例: オートエンコーダ (AutoEncoder) 変分オートエンコーダ (VAE) GAN (Generative Adversarial Network) 正規化フロー (Normalizing Flow) 拡散モデル (Diffusion Model) Transformer 系の自己回帰モデル (GPT など) Appendix. 32 -
AXIOM 関連 参考図書 『能動的推論 心、脳、行動の自由エネルギー原理』トーマス・パー、ジョバン ニ・ペッツーロ、カール・フリストン 著. 乾敏郎 訳. ミネルヴァ書房.
人の脳の認識に関しての最有力理論である「自由エネルギー原理」を元に、 不確実性を解消するために「能動的推論」をしているのでは?という提案 脳科学の第一人者と言われるK. Friston 著 Appendix. 33 -
AXIOM は解釈性もある 左:時刻 t における Impact からの例 中:時刻 t の観測に基づき、さらに32
タイムステップ先まで未来を条件付けして 想像された潜在空間内の軌跡 右:期待される報酬で色分けしたもの(緑=正の報酬、赤=負の報酬=罰) Appendix. 34 -
用語の定義はまだ固まっていない 基盤モデル(Foundation Model ) “ なんでも屋の土台” 大規模・広範データを主に自己教師で学習し、多様な下流タスクへ適応できる“ 土 台” となるモデル群。特定の世界や環境に限定されない概念
例:BERT ・GPT ・画像や動画の基盤モデル など 世界モデル(World Model ) " 環境の理解と予測器" ある環境の観測と行動から将来の観測を予測する動的モデル。圧縮された時空間 表現を学び、 ロールアウト(想像) で方策学習・計画に使えるのが典型 世界基盤モデル(WFM ) “WM =FM の思想で作るWM” 世界モデル × 基盤モデル的性質。広範・大規模データ(Cosmos では動画)で汎 用の世界モデルを事前学習し、用途ごとに事後学習で特化できる“ 基盤” として位置 づけられた世界モデル。 例:Cosmos はその具体例(+周辺基盤) Appendix. 38