AI研修(Day2)【MIXI 26新卒技術研修】

by MIXI ENGINEERS

Embed

Start on current slide

Slide 1

Slide 1 text

2026 新卒 AI 研修資料(2日目) LLM・生成AIの技術編 ©MIXI

Slide 2

Slide 2 text

講師紹介：牧野舜牧野舜 / まきのしゅん職種：MLエンジニア開発本部たんぽぽ室 AIモデリンググループ学生時代 - 大学・大学院では理論物理の研究室に所属超伝導体における量子渦の微視的理論に関する研究経歴 ©MIXI 企業で数理最適化、MLに関する研究開発に従事 2025年4月 MIXI 入社事業の横断的な支援やスポーツ分析に関する研究開発に従事 2

Slide 3

Slide 3 text

講師紹介：⽊内貴浩木内貴浩 / きのうちたかひろ / kittchy 職種：MLエンジニアみてね事業本部みてねプロダクト開発部 Data Engineeringグループ学生時代 - 大学院で音声認識の研究でML技術に触れるインターンシップなどで音声処理のML技術の研究開発経歴 ©MIXI 2024年4月 MIXI 新卒入社 MLOps に関する業務を経験したくて、「家族アルバムみてね」の事業部にジョインメディアの自然言語検索基盤やMLレコメンド検索基盤の構築・運用を行う 3

Slide 4

Slide 4 text

講師紹介：⽥中亮太朗田中亮太朗 / たなかりょうたろう職種：MLエンジニア開発本部たんぽぽ室 AIモデリンググループ学生時代 - 大学・大学院でAIを使った読心術の研究インターンシップなどで自然言語や画像のマルチモーダルモデルの開発経歴 - ©MIXI 2025年4月 MIXI 新卒入社モンストにてAIを用いた効率化ツールの開発を行う 4

Slide 5

Slide 5 text

アイスブレイク皆さんのAI活⽤について教えてください！！ ©MIXI 5

Slide 6

Slide 6 text

Introduction ©MIXI

Slide 7

Slide 7 text

AI/ML/DeepLearningの分類⼈⼯知能 (Artificial Intelligence; AI) ⼈間のように「考える‧判断する」コンピュータの技術全般例：チェスAI、⾳声アシスタント、⾃動運転など機械学習 (Machine Learning; ML) データから⾃動で学習して予測‧判断する仕組み AIを実現する中核技術深層学習 (Deep Learning) ⼤量のデータから複雑なパターンを学習できるML⼿法画像認識、⾳声認識、⾃然⾔語処理で⾼精度を実現 ©MIXI 7

Slide 8

Slide 8 text

2⽇⽬に学ぶこと：LLM‧⽣成AIの技術的な基礎と応⽤ 1. ⽣成AIの技術的な背景について学ぶ LLM、画像⽣成、マルチモーダルなどの⽣成AIの基盤技術について学ぶことで普段使⽤している⽣成AIの仕組みが想像できるようになる 2. LLM APIの性質実際に⼿を動かして「こう動くんだ」を体感する 1. LLMを応⽤したアプリケーション AgentなどのLLMの応⽤について学ぶ ※ 特定のプロダクトを使いこなすためのTIPSは扱いません ©MIXI 8

Slide 9

Slide 9 text

この研修の前提必要な前提知識 ● Pythonの基本⽂法が分かればOK（数学の知識は不要） ● 数式が出てきますが、直感的に理解できるレベルで説明します ● ⼤学で習うような理論ではなく、実践‧エンジニアリング寄りで進めます気軽に質問してください ● 分からないことはその場で聞いてOK ● 「そもそもこれ何？」レベルの質問も⼤歓迎 AI Coding Agentはバンバン使ってください ● ハンズオンは AIに編集させやすい状態にしています ○ marimo notebook を使って逐次実⾏していくのでもOK ○ README.mdを読みながらClaude Codeに実⾏させるのでもOK ©MIXI 9

Slide 10

Slide 10 text

1⽇⽬‧2⽇⽬のゴール 1⽇⽬：ML基礎から運⽤まで ● MLの基本構造（教師あり）を理解する ● 推論‧学習‧⾼速化‧API化まで⼀度つなげて体験する ● 評価‧運⽤の共通⾔語を⾝につける（metric、閾値、監視など） 2⽇⽬：LLM/Agent/⽣成AI ● ⽣成AIの基礎を理解する（Transformer、Attention、LLMの構造など） ● ⽣成AIを⽤いたLLM/Agentの実践を学ぶ ©MIXI 10

Slide 11

Slide 11 text

1日目のおさらい ©MIXI

Slide 12

Slide 12 text

1日目で学んだこと 1. MLの基本構造 ● 推論: 学習済みモデルを使って予測を行う ● 学習: データからモデルのパラメータを最適化（loss最小化） ● 評価: metric（Accuracy、F1、mAPなど）で性能を測定 2. MLモデルの運用 ● モデルのAPI化とデプロイ ● 監視と継続的な改善今日はこれをLLMに拡張します ● LLMも基本的には同じ「機械学習」の枠組み ● ではあるが、応用する際には異なる点も多くある ©MIXI 12

Slide 13

Slide 13 text

１日目の復習: 機械学習とは「過去のデータから知⾒を得て、それを次の決定に利⽤すること」 ● 過去のデータ：過去の状態‧情報 ○ 数値、画像、⾳声、テキスト... ● 知⾒：ブラックボックスな関数 f(x) ○ 過去のデータには統計的なルールがあり、それを表すf(x)を学習によりモデル化する ● 決定：現在の状態 (x) から未来 (y) を予測する ○ 学習した知⾒を元に、未来の結果を予測する ©MIXI 13

Slide 14

Slide 14 text

1日目の復習: プログラミングとの違いは？プログラミングルールを自分で決めて表現する盤面のスコアリングをルールベースで決定し、次のアクションの結果を評価して駒を動かす「角が取れるなら取る」「王手を優先する」などのルールを人間が記述する ©MIXI 機械学習過去のデータの中からルールを得る大量の棋譜からパターンを見つけて、次の手を決定するプロ棋士の対局データを学習し盤面から最善手を予測する 14

Slide 15

Slide 15 text

LLMについて ©MIXI

Slide 16

Slide 16 text

LLMとは Large Language Model (LLM、大規模言語モデル) 膨大なテキストデータと計算資源を用いて構築された巨大な言語モデルどれくらい「大きい」か? ● パラメータ数: GPT-3で175B（1,750億個）のパラメータ ○ GPT-4以降はさらに多くなっているとされる ● 開発コスト: GPT-3クラスで数億円と呼ばれる計算費 ○ 最新モデルはさらに桁違いの投資といわれている ● 学習データ: テラバイト以上のオーダー ©MIXI 16

Slide 17

Slide 17 text

LLMとはなぜ大きくする必要があるのか ● 計算量、データ、パラメタを増やすと性能が向上するスケーリング則 ● これらを大きくすることで複雑な言語理解・生成が可能になる ● 後ほど解説しますまずは大きくする前に、Language Model (言語モデル)について学びましょう ©MIXI 17

Slide 18

Slide 18 text

Language Model (言語モデル) とは文脈を受けて「次に来る単語（トークン）」を予測する確率モデル : 次に来る単語 : これまでの単語列、文脈は確率分布からサンプリングすることを表す記号 ©MIXI 18

Slide 19

Slide 19 text

Language Model (言語モデル) とは例：簡単な文章の続きを予測入力: 「心も繋がる場と機会の」予測確率: ● 「創造」: 0.8 ● 「提供」: 0.1 ● 「作成」: 0.1 → 文脈に合った単語ほど高い確率を持つ ©MIXI 19

Slide 20

Slide 20 text

言語モデルの変遷統計的な古典モデルの例 ● N-gram: 直前のN個の単語から次を予測 ○ シンプルだが、(N+1以上の)長い文脈を考慮できないニューラルネットワークを用いたモデル ● RNN/LSTM (2010年代): 系列を順番に処理 ○ 長距離依存が難しい、並列化できない (シーケンシャルな処理) ■ 長距離依存：離れた単語同士の相関くらいのイメージでOK! ● Transformer (2017年〜): Attentionのみで構成 ○ 並列化可能、長距離依存に強い ○ 現在のLLMの基盤技術 ©MIXI 20

Slide 21

Slide 21 text

Large Language Modelとは再掲: 文脈 (context)を受けて「次に来る単語（トークン）」を予測する LLM・生成AIでも文脈(context)に対して出力を予測する点は同じ異なる点 ● モデルの規模が物凄く大きく、性能も飛躍的に向上 ● 入力や出力に画像や音声を含むことができる ○ マルチモーダル: 後ほど解説します ©MIXI 21

Slide 22

Slide 22 text

自然言語の特徴量 ©MIXI

Slide 23

Slide 23 text

特徴量についてコンピュータビジョン (CV) の場合 ● RGB値: 数値そのものが意味を持っており、特徴量として採用できる ○ R=255, G=0, B=0 → 赤色 ○ 数値の大小が色の近さと連動して変化する ■ 定量的に望ましい性質がある ○ 適切にスケーリングすることで連続になる ■ 例えば[0, 1]の範囲に収まるように正規化する ©MIXI 23

Slide 24

Slide 24 text

特徴量について RGBを使用した特徴量. ChatGPTの画像生成機能で作成 ©MIXI 24

Slide 25

Slide 25 text

特徴量について自然言語の場合 ● Unicodeなどの文字コード: 数値の大小が意味の近さと連動していない ○ 「犬」(U+72AC) と「猫」(U+732B) のコード値は近いが、意味的な類似性とは無関係 ○ 文字コードをそのまま特徴量として使うのは不適切単語を「意味を持つベクトル」に変換する必要がある ©MIXI 25

Slide 26

Slide 26 text

分布仮説分布仮説 (Distributional Hypothesis) 単語の意味は、その周辺に現れる単語によって決まる ● 分散表現の前提となる支柱 ● 人間も知らない単語が出てきたときに文脈から意味を推定する例 ● 「犬」の周辺に現れる単語: 「散歩」「飼う」「吠える」「ペット」 ● 「猫」の周辺に現れる単語: 「飼う」「なでる」「鳴く」「ペット」 ● → 「犬」と「猫」は似た文脈で使われる = 似た意味を持つ周辺単語のパターンから単語の意味をベクトルで表現して学習できそう ©MIXI 26

Slide 27

Slide 27 text

分散表現・埋め込み表現特徴量としての分散表現単語を高次元のベクトルで表現する埋め込み空間 (Embedding Space) ● 意味が近い言葉は、空間上の距離（類似度）が近くなる例 (簡単のため２次元): ● 「犬」: ● 「猫」: ← 犬に近い ● 「車」: ← 犬から遠い特徴量として望ましい性質を持っている ©MIXI 27

Slide 28

Slide 28 text

分散表現の学習例えば、分散表現をランダムに初期化してTokenの穴埋め問題や連続するtokenを予測する問題を使って学習するニューラルネットワークを使用した場合、学習後の中間表現では対応する単語の意味が反映される ※ Transformerだと文脈に応じた分散表現が動的に獲得されるが、word2vecなどでは静的な分散表現が得られる ©MIXI 28

Slide 29

Slide 29 text

Tokenについて Tokenとは: モデルが扱う文章の最小単位例: 「今日は良い天気です」→ ["今日", "は", "良い", "天気", "です"] Subword分割 ● 単語単位でも文字単位でもない、効率的な分割 ○ この研修ではモデルが入出力で扱う最小単位という理解で大丈夫 ○ 最小単位は必ずしも単語と一致しない ● BPE (Byte Pair Encoding) ○ 代表的なtoken化のアルゴリズムの一つ ○ 多言語や未知語にも対応ができるメリット ○ 興味のある方は調べてみてください ©MIXI 29

Slide 30

Slide 30 text

Tokenについて具体的なtokenizer ● tiktoken: OpenAIが採用するtokenizer ● SentencePiece: Googleが開発、多言語対応 Tokenの重要性 ● LLM APIの料金は「トークン数」で計算される ● Context Windowの制限もトークン数 ● 後ほど説明するように生成AIではimageやaudioもtokenとして扱われる ©MIXI 30

Slide 31

Slide 31 text

ハンズオン: Tokenizerを試してみよう下記のサイトにアクセスしてみよう https://platform.openai.com/tokenizer 適当なテキストを入力してtoken数を見てみる ● 適当な文章 ● 普段使用しているskillやagent.mdなど ©MIXI 31

Slide 32

Slide 32 text

温度 (Temperature) 確率分布の裾を調整するパラメータ ● T : 温度パラメータ ● zi: モデルの出力（logit）温度の効果 ● 低温 (T < 1): 確率分布が尖る → 決定的に近い出力 ○ T=0.1: 「今日の天気は晴れです。」 ● 高温 (T > 1): 確率分布が平坦 → 多様な出力 ○ T=2.0: 「今日の天気は春の陽気が感じられるような晴天です！」 ©MIXI 32

Slide 33

Slide 33 text

温度 (Temperature) 温度による確率分布の変化の様子 ©MIXI 33

Slide 34

Slide 34 text

温度 (Temperature) ©MIXI 34

Slide 35

Slide 35 text

発展: decoding戦略確率分布が与えられたときに次の単語をどう選ぶか: 様々な方法が考えられる Greedy Decoding ● 常に確率最大の単語を選択 ● 決定論的 ©MIXI 35

Slide 36

Slide 36 text

発展: decoding戦略 Beam Search ● 複数の有望なパス（候補）をビーム幅 b本だけ同時に保持して探索 (下図では３本) ● 翻訳などで使用されるが、計算コスト高 ©MIXI 36

Slide 37

Slide 37 text

発展: decoding戦略 Top-k Sampling ● 確率上位k個からランダムにサンプリング ● k=50 → 上位50個の候補から選ぶ ©MIXI 37

Slide 38

Slide 38 text

発展: decoding戦略 Top-p (Nucleus) Sampling ● 累積確率がpに達するまでの候補からサンプリング ● p=0.9 → 累積確率90%の候補から選ぶ ©MIXI 38

Slide 39

Slide 39 text

Attention ©MIXI

Slide 40

Slide 40 text

RNNによる系列処理翻訳を例にした逐次処理入力（英語）: "I love cats" 出力（日本語）: "私は猫が好きです" RNNの処理 1. "I" を処理 → 隠れ状態 h1 2. "love" を処理 → 隠れ状態 h2 (前の h1 を考慮) 3. "cats" を処理 → 隠れ状態 h3 (前の h2 を考慮) 4. h3から「私は猫が好きです」を自己回帰で生成 1番目と３番目の単語の相関を計算するには２回の処理が必要 ©MIXI 40

Slide 41

Slide 41 text

RNNによる系列処理自己回帰 (Auto-regressive) ● 過去の出力を次の入力として使う ● 1単語ずつ順番に生成 (y0, y1, y2) ©MIXI RNNによる自己回帰の様子. ChatGPTの画像生成機能で作成 41

Slide 42

Slide 42 text

RNNの課題 1. 長距離依存性の問題 ● 文頭の情報が文末まで伝わりにくい ● 長い文章になると忘却する例: "The cat, which we adopted from the shelter last year, is very cute." ● 主語 "cat" から離れた位置の動詞 "is" の単数形を正しく選ぶのが難しい 2. 動的に特定の情報へ注目するのが難しい ● 翻訳時に「どの単語に注目すべきか」を動的に変えられない ○ どんなdecoderの状態でも h を使用しなければならない 3. 並列化できない ● 1単語ずつ順番に処理する必要がある ● GPUの並列計算能力を活かせない ©MIXI 42

Slide 43

Slide 43 text

seq2seq with attention Cross Attention: 翻訳時にEncoderの特定の表現に「重み付け」して注目入力（英語）: "I love cats" 出力（日本語）: "私は猫が好きです" 1. Encoderが全単語を処理 → h1, h2, h3 2. Decoderが「猫」を生成する時、h1, h2, h3 のどれに注目すべきか？ 3. Attention: "cats" の h3 に高い重みを付けて注目 4. 重み付き平均を計算して”猫”を重視した状態 c3 を生成して利用する alphaは h3が多く考慮されるように重み付けされる ©MIXI 43

Slide 44

Slide 44 text

seq2seq with attention score計算には例えば内積などを利用して相関が測れるようにする ©MIXI Bahdanau et al. ,“NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE”, 2014 44

Slide 45

Slide 45 text

seq2seq with attention メリット ● 長距離依存を解消 ● 翻訳時にどの単語に注目しているか可視化可能課題 ● 依然としてRNNベースなので、並列化できないこの研修では、単語同士の相関を動的に考慮する仕組みを導入したくらいの理解でOK!! ©MIXI 45

Slide 46

Slide 46 text

seq2seq with attentionの課題 RNNの構造上の限界 ● シーケンシャルな処理: 前の時刻の計算が終わらないと次に進めない ● 学習の並列化ができない: GPUを活かせない ● 学習時間が長い: 大規模データでの学習が困難 Attentionはgoodだが、RNNの構造的制約がボトルネック → TransformerがAttentionのみでアプローチ、上手くいく ©MIXI 46

Slide 47

Slide 47 text

Transformer ©MIXI

Slide 48

Slide 48 text

Transformerの提案 "Attention Is All You Need" (2017) Attentionの概念を中心に構成したアーキテクチャメリット 1. 大規模な並列化が可能: 全トークンを同時に処理 2. 長距離依存に強い: 全トークン間の関係を直接計算 3. 学習が高速: GPUを最大限活用 ©MIXI Vaswani et al., “Attention Is All You Need”, 2017 48

Slide 49

Slide 49 text

位置エンコーディング Transformerはそのままでは入力系列の位置を考慮することができない例: “I” “love” “cats” と “love” “I” “cats” ※ Graphを扱う場合はむしろ都合がよかったりする (牧野が昔やっていた) 位置エンコーディングを加えることで系列内での位置を考慮 Vaswani et al., “Attention Is All You Need”, 2017 ©MIXI 49

Slide 50

Slide 50 text

Scaled Dot-Product Attention Scaled Dot-Product Attention ● Q: Query行列 ● K: Key行列 ● V: Value行列 ● dk: スケーリング係数 ©MIXI Q, K, V の具体的な表式はモデルの中での使用のされ方に依ります。余裕がある方はQ, K, V に適当な行列を仮定してみて実際に計算をしてみましょう (行列に対するsoftmaxは各行に関して適用) 50

Slide 51

Slide 51 text

Attentionの計算式直感的説明 1. QとKの類似度を計算: どのKeyに注目すべきかの重みの計算 2. Softmaxで確率分布に変換: 重要度を0〜1の範囲に正規化 3. Valueを重み付け合計: 計算した重みに応じて重要な情報を取り出す ©MIXI Scaled Dot-Product Attentionの計算の様子. ChatGPTの画像生成機能で作成 51

Slide 52

Slide 52 text

Cross -Attention と Self-Attention Cross-Attentionの処理翻訳の場合のように、decoder側からencoder側の状態を参照する入力と出力の相関に注目 Qはdecoderから作られ、K, Vはencoderから作られる Self-Attentionの処理入力系列内の単語同士の関係を学習 1. 各単語をQuery、Key、Valueに変換 2. 各単語が他の全単語との相関を計算 3. 重要な単語に注目して新しい表現を生成文脈を考慮した動的な表現が得られる ©MIXI 52

Slide 53

Slide 53 text

Self-attention 単語と単語の相関や文の構造を反映する : 例: 代名詞とそれが示すもの Vaswani et al. “Attention Is All You Need”, 2017 ©MIXI 53

Slide 54

Slide 54 text

Multi-Head Attention 複数のAttentionを並列実行 ● 異なる視点（head）で同時に情報を抽出 ● 例：8 heads → 8種類の注目パターンを学習 ● 多様な関係性を捉えられる ○ Head1: 主語と述語の関係 ○ Head2: 修飾語と被修飾語の関係 ○ Head3: 文脈的な依存関係 ● 性能向上につながるとされる Vaswani et al. “Attention Is All You Need”, 2017 ©MIXI 54

Slide 55

Slide 55 text

Transformerの詳細 Transformer Block の構成 1. Multi-Head Self-Attention: 入力同士の関係を学習 2. Residual Connection (残差接続): 3. Layer Normalization: 学習を安定化 4. Feed Forward Network: 各トークンを独立に変換 5. 再びResidual Connection と Layer Normalization Vaswani et al. “Attention Is All You Need”, 2017 ©MIXI 55

Slide 56

Slide 56 text

Transformerの詳細 Decoderでの Masking ● 学習時に本来は見えないはずの情報を見ないようにする工夫 ● これまでのcontextから次の単語を予測するため、未来の単語は隠すどのように実現するか attentionの計算時にt+1以降のtokenへのscoreを -∞ にする ©MIXI 56

Slide 57

Slide 57 text

Transformerの自己回帰の仕組み基本的にRNN時代と同じ 1. 開始トークンから生成開始 2. 1トークン目を予測 3. 予測した1トークン目をdecoderの入力に追加 4. 2トークン目を予測 5. 繰り返し... ● 生成は逐次的に自己回帰していく ● 学習はmaskを利用することで並列化可能！ ©MIXI 57

Slide 58

Slide 58 text

GPT TransformerのDecoderベース ● GPT-1 (2018): Transformer Decoder + 事前学習 ● GPT-2 (2019): スケールアップ（15億パラメータ） ● GPT-3 (2020): さらにスケールアップ（175億パラメータ） ○ In-context Learning (Zero/Few-shot) ○ 重みを更新することなくtaskに適応させることができる ○ 数億円と呼ばれる学習費、175Bパラメータ ● GPT-4 (2023): マルチモーダル、高精度 ○ パラメータや費用はさらに大きくなっていると考えられる ○ 強化学習 (RLHF)の活用 ©MIXI 58

Slide 59

Slide 59 text

BERT TransformerのEncoderベース、文章理解・分類に強み ● Bidirectional Encoder: 前後両方向から文脈を理解用途 ● 文章分類（スパム判定、感情分析） ● 固有表現抽出（人名、地名） ● 質問応答 GPTとの比較 ● BERT: 理解に特化（Encoder） ● GPT: 生成に特化（Decoder） ©MIXI 59

Slide 60

Slide 60 text

ハンズオン：Attentionの可視化 https://github.com/mixigroup/2026BeginnerTrainingAI/tree/main/day2/01-attention タスク：Attemtionの可視化やること ● Attentionの計算式を実装して重みを⾒てみる ● Transformer encoder (BERT) によるself-attentionのattention mapを可視化する確認ポイント ● クエリに対して重みがどのように分布するか ● Attention mapで相関が強そうなグリッドと何を表しているかの考察 ©MIXI 60

Slide 61

Slide 61 text

発展: Attentionの計算量と最適化計算量の問題 Attentionの計算量: 1層あたり、トークン長 n に対して ● メモリも必要 (attention mapの保持) Sparse Transformer ● 注意先を”上手く”間引いて計算量を削減 ● 全トークンではなく、近傍や特定パターンのみに注目 Flash Attention ● GPUメモリへのアクセスを最適化して活用 ● Attention自体は同じ ● 興味のある方は調べてみてください ©MIXI 61

Slide 62

Slide 62 text

発展: 推論向きGPUの性質演算速度より「帯域」が重要 ● LLMの推論はメモリバウンド ● パラメータをメモリから読み出す速度がボトルネック具体例 ● H100 GPU: メモリ帯域 3TB/s ● A100 GPU: メモリ帯域 2TB/s ● → H100の方が推論が速い（FLOPSだけで決まらない）量子化の重要性 ● FP16 → INT8 に変換すると、メモリ転送量が半分 ● 推論速度が理論上は2倍に ©MIXI 62

Slide 63

Slide 63 text

発展: KVキャッシュ過去の計算結果を再利用して高速化問題: 毎回全トークンのAttentionを計算するのは無駄解決: Key と Value を保存（キャッシュ）して再利用仕組み 1. 1トークン目生成: K、V を計算してキャッシュ 2. 2トークン目生成: 過去のK、Vを再利用、新しいトークンのK、Vだけ計算 3. 3トークン目以降も同様効果 ● 2文字目以降が速くなる ● 興味がある方は調べてみてください！ ©MIXI 63

Slide 64

Slide 64 text

お昼休憩 ©MIXI

Slide 65

Slide 65 text

LLMの周辺技術 ©MIXI

Slide 66

Slide 66 text

事前学習事前学習 (Pre-training) 大規模な「穴埋め問題」による学習 (Pretext task) ● 次単語予測（GPT）やMasked LM（BERT） ● ラベルなしデータで学習可能 ● 数兆トークン規模のデータ（Web、書籍、論文、コードなど） ● 基盤モデルとしての能力を学習する ©MIXI 66

Slide 67

Slide 67 text

Perplexity Perplexity (PPL): モデルが次の単語をどれだけ正確に予測できているか評価用のデータ[y0, y1, …, yN]が与えられたとき ● 低い: 候補の単語を絞れている ● 高い: 候補の単語を絞れてない直感的な理解 ● PPL = 2 → 次の単語の候補が幾何平均2個、絞れている ● PPL = 100 → 次の単語の候補が幾何平均100個、絞れていない ©MIXI 67

Slide 68

Slide 68 text

スケーリング則スケーリング則 (Scaling Laws) 計算量、データ、パラメタを増やすとロスがべき乗で下がる ● L: Loss ● C: 計算量 ● alpha: べき指数大きくすればするほど賢くなることが示唆される ©MIXI 68

Slide 69

Slide 69 text

スケーリング則 Kaplan et al., “Scaling Laws for Neural Language Models”, 2020 ©MIXI 69

Slide 70

Slide 70 text

事後学習アライメントと呼ばれる分野 1. SFT (Supervised Fine-tuning) ● 「問い」と「模範解答」のペアで学習 ● QA形式でのタスクが行えるようにする 2. Preference Optimization 人間の好みを反映させる (A/Bどちらがよいかの選好) ● PPO (Proximal Policy Optimization): Actor Critic型のRLアルゴリズム ● DPO (Direct Preference Optimization): 選好データから直接、最適化する ● GRPO (Group Relative Policy Optimization): グループ内の相対評価を使用したRL ○ PPOと比べて安定しやすく、計算コストも低い (Critic networkが不要) ©MIXI 70

Slide 71

Slide 71 text

発展: 選好データから報酬モデルを作成する人間の選好データ: prompt x を固定したときに、出力Aと出力Bのどちらが良いか？好まれる回答をyw, そうでない回答をylとする報酬モデル: 入力x に対する出力yの報酬値 (好ましさ)を返す lossを最小化して報酬モデルを学習 (Bradley-Terryモデル) ywがylよりも好まれる事象に関する対数尤度この報酬モデルを利用して強化学習 ©MIXI 71

Slide 72

Slide 72 text

MoE (Mixture of Experts) 複数の専門家ネットーワークを持ち、入力に応じて一部のexpertを使用 1. 複数の専門家ネットワーク（Expert）を用意 2. ゲートネットワークが入力を見て、どのExpertを使うか選択 3. 選ばれたExpertだけが計算を行うパラメータ数は大きいままだが、計算量を少なくすることができる ©MIXI DeepSeek-AI et al., “DeepSeek-V3 Technical Report”, 2024 72

Slide 73

Slide 73 text

CoT (Chain of Thought) 「思考過程」を出力させることで、論理的推論を可能にする Wei et al. “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models”, 2022 の例を日本語にしたもの. ChatGPTの画像生成で作成 ©MIXI 73

Slide 74

Slide 74 text

CoT (Chain of Thought) Few-shot CoT 実際にお手本の思考過程をいくつか提示する前slideの例 Zero-shot CoT promptにstep by stepで考えてくださいとだけ書いておく Step by stepで考えてください。 Q: 学食にはリンゴが２３個ありました。もし彼らが昼食を作るのに２０個使い、さらに６個買ったとしたらリンゴは全部で何個になりますか？？ ©MIXI 74

Slide 75

Slide 75 text

CoT (Chain of Thought) CoTのメリット ● 数学的な問題などで効果を発揮 ● 思考過程が出力されることでdebugがしやすくなる ● In-context learningのため手軽 CoTのデメリット ● 消費するtokenが増える、応答に時間がかかる ● (当時は) promptの書き方への依存性が高い ● 簡単な問題に対しては冗長になることがある ©MIXI 75

Slide 76

Slide 76 text

推論モデル In-context learningによるCoTでは限界がある強化学習により推論プロセスを最適化したモデル: 推論モデル Process Reward Model (PRM) 結果だけでなく、推論プロセスの各stepに対して報酬を返す ※ PRMの作り方に興味がある人向け: Lightman et al. “Let’s Verify Step by Step” など DeepSeek-R1 DeepSeek-V3をベースにGRPOとルールベースの簡単な報酬を使って強化学習明示的なPRMがなくても推論プロセスが最適化される ※ 常に推論モデルが良いとは限らない: tokenの消費増やresponseが遅いなどのデメリットもある。(でも最近は早い推論モデルも出てきてる、、、) ©MIXI 76

Slide 77

Slide 77 text

発展: 推論時スケーリング推論時に計算量を増やすことでタスク性能が向上する ※ 興味のある方は調べてみてください 1つの推論を強化長いCoTを使う (思考stepを増やす) Self-Refine（自己フィードバックで反復改善）Madaan et al., 2023 複数試行する Self-Consistency（複数サンプル + 多数決）Wang et al., 2022 LLM Monkeys（大量サンプリング + 選択）Brown et al., 2024 探索する Tree of Thoughts（思考を木構造で探索）Yao et al., 2023 ©MIXI 77

Slide 78

Slide 78 text

発展: 推論時スケーリング ©MIXI DeepSeek AI et al., “DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning”, 2025 より引用。強化学習のstepが進むにつれて scoreとresponseの平均長(CoT由来)が上がっていく様子が観察できる 78

Slide 79

Slide 79 text

LLMの評価ベンチマークが利用される ● MMLU: 57科目の知識理解タスク ● HumanEval: コード生成精度 ● GSM8K: 数学的推論 ● その他多数 Chatbot Arena (人間が評価) ● 人間がブラインドで2つのモデルを比較 ● Elo レーティングでランキング ● 人間によるリアルな使用感を反映 ©MIXI 79

Slide 80

Slide 80 text

ハンズオン: Chatbot Arenaを見てみよう下記サイトにアクセス ● https://openlm.ai/chatbot-arena/ ● 機微な情報を入力しないようにお願いします ©MIXI 80

Slide 81

Slide 81 text

画像生成モデル ©MIXI

Slide 82

Slide 82 text

画像生成の基本データの分布からサンプリング ● P(x): 画像の確率分布 ○ ※ textやclass labelによる条件付き分布も考えられる ● x: 生成される画像基本的な流れ ● 分布 P(x) を近似するような分布を学習する ● 学習した分布から新しい画像をサンプリング ©MIXI 82

Slide 83

Slide 83 text

ハンズオン: 画像生成をしてみようやること ● Nano BananaやChatGPTを利用して画像生成を体験 ○ その他のモデルでも可 ○ ※ (念のため)野良モデルに機微なcontextを入れないように ©MIXI 83

Slide 84

Slide 84 text

ViT (Vision Transformer) 画像をパッチに分解してトークン化仕組み: 1. 画像を16×16ピクセルのパッチに分割 2. 各パッチを線形変換してembedding 3. 位置エンコーディング追加 4. Transformer Encoderで処理メリット Dosovitskiy et al. “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale”, 2020 ● 長距離依存を捉えやすい: 離れたパッチ間の関係も学習 ● スケーラビリティが高い: データとパラメータを増やすと性能向上 ©MIXI 84

Slide 85

Slide 85 text

具体的な画像生成モデル GAN (Generative Adversarial Network) ● Generator（生成器）とDiscriminator（識別器）の対立学習 ● かつては主流だったが、学習が不安定 (だけど理論的にはすごく面白い！) 拡散モデル (Diffusion Model) ● 現在の主流 ● 画像にノイズを加える過程と、ノイズを除去するdenoise過程を学習 ● 高品質で安定した生成拡散モデルは枠組み ● 具体的なdenoise器（U-NetやViT）を使用 ※ U-NetはCNNベース ● DiT (Diffusion Transformer): ViTをdenoiserに採用したもの ©MIXI 85

Slide 86

Slide 86 text

拡散モデルの学習 DDPM (Denoising Diffusion Probabilistic Models) がベース学習の流れ: 1. 訓練画像にノイズを段階的に加える（拡散過程） 2. 各段階で「どんなノイズが加わったか」を予測するモデルを学習 3. 学習したモデルで、ノイズから画像を復元（逆拡散過程）損失関数: ● ● ©MIXI : 実際に加えたノイズ : : モデルが予測したノイズ 86

Slide 87

Slide 87 text

拡散モデルの流れ時刻t-1から時刻tへのdenoiser 拡散過程: 元の画像に対してGaussian noiseを加えていく逆拡散過程: Noiseからdenoiseを繰り返して画像を生成する現在のモデルではpromptによって生成する画像を制御できる Ho et al. “Denoising Diffusion Probabilistic Models”, 2020 ©MIXI 87

Slide 88

Slide 88 text

発展: LDM (Latent Diffusion Model) 潜在空間での効率的な処理問題: 高解像度画像（512×512など）での拡散は計算コストが大きい解決: 画像を低次元の潜在表現に圧縮してから拡散仕組み: 1. VAE Encoder: 画像 → 潜在表現 (元よりもコンパクトな特徴表現) 2. 拡散過程: 潜在空間で実行 3. VAE Decoder: 潜在表現 → 画像代表例 ● Stable Diffusion: LDMの最も有名な実装の１つ ©MIXI 88

Slide 89

Slide 89 text

発展: LoRA (Low-Rank Adaptation) 小さな追加重みで特定のスタイルを学習問題: 特定のスタイル（例: アニメ風）やタスクに対応させたい LoRA: 小さな追加重み（低ランク行列）だけを学習 ● PEFT (Parameter Efficient Fine Tuningのアルゴリズムの１つ) ● W: 元の重み（固定） ● B, A: 低ランク行列（学習） ● 学習データ・時間・メモリが少なくて済む ● ※ 拡散モデル専用というわけではなく、汎用的なFT手法 ©MIXI 89

Slide 90

Slide 90 text

Slide 91

Slide 91 text

モーダルとはデータの形式・種類 ● テキスト: 文字列 ● 画像: ピクセル ● 音声: 波形 ● 動画: 画像+音声の時系列 📢りんご♪ マルチモーダルモデル異なるモーダルを同時に扱うモデル ● 各モーダルをトークン列に変換して処理 ● 異なるモダリティ間でもattentionを計算りんご ChatGPTの画像生成機能で作成テキスト・画像・音声を統合的に理解 (余談: 人間はりんごをどのように理解してるでしょうか？) ©MIXI 91

Slide 92

Slide 92 text

マルチモーダルモデルの構成基本的な構成 1. 各モーダルのEncoder: a. テキスト: Transformer b. 画像: ViT (Vision Transformer) c. 音声: Whisper 2. 共通の特徴空間に射影: Embedding 3. 統合モデル: Transformer Decoder 異なるmodality間でのattention ● テキストトークンが画像パッチに注目 ● 画像パッチがテキストトークンに注目「この画像の中の猫の部分を抜き出して」のようなタスクができるようになる ©MIXI 92

Slide 93

Slide 93 text

CLIP (Contrastive Language-Image Pre-training) 画像とテキストを同一の特徴空間に埋め込む学習方法: 1. 大量の（画像、テキスト）ペア 2. Contrastive Learning: ● 対応ペアは近く、非対応は遠くなるように学習構造: ● Image Encoder: ResNet, ViT ● Text Encoder: Transformer ● 共通埋め込み空間: 両方を同じ次元に射影応用 ● Zero-shot画像分類: 未知クラスも分類可能 ● 画像検索などにも応用可能 ©MIXI Vaswani et al. “Learning Transferable Visual Models From Natural Language Supervision”, 2021 93

Slide 94

Slide 94 text

ハンズオン: CLIPの特徴空間の可視化 https://github.com/mixigroup/2026BeginnerTrainingAI/tree/main/day2/02-multi-modal やること ● CLIPで画像とテキストを埋め込み ○ ※ チュートリアルではSigLIPという改良されたモデルを使います ● 2次元に次元削減して可視化確認ポイント ● 似た意味の画像・テキストが近くに配置されているか確認 ©MIXI 94

Slide 95

Slide 95 text

余談: 家族アルバムみてねでの活用事例億単位のメディアを検索できる CLIPで画像解析したメディアをS3 Vectors というVectorDBに保存して、低コストでユーザがメディアを自然言語で検索できるようにしています LINEヤフー株式会社が開発したclip-japanese-base を利用しており、日本語特化の検索が可能 ※ 関連ブログ等 ● 億超えの写真・動画データを支える自然言語検索基盤とS3 Vectors導入の道のり ● みてねの大規模なメディアを自然言語検索できるようにしました ● LINE ヤフー Tech Blog 高性能な日本語マルチモーダル基盤モデル「clip-japanese-base」を公開しました ©MIXI 95

Slide 96

Slide 96 text

Whisper: 音声をトークン化 OpenAIの音声認識モデル構造: 1. Audio Encoder: 音声波形 → 特徴量 2. Transformer Encoder: 特徴量 → 埋め込み 3. Transformer Decoder: テキスト生成多言語対応 ● 99言語の音声を認識 ● 音声翻訳も可能（英語以外 → 英語） → 音声もTransformerで扱える ©MIXI 96

Slide 97

Slide 97 text

発展: unCLIP (DALL-E 2) CLIPと拡散モデルを組み合わせた text-to-image (DALL-E 2 のアプローチ) 仕組み: 1. テキストをCLIPで埋め込み 2. CLIP埋め込みから画像埋め込みを生成（Prior） 3. 画像埋め込みを条件に、拡散モデルで画像生成（Decoder） ○ 拡散モデルでは条件付けができることを思い出そう unCLIPのアーキテクチャ ©MIXI Ramesh et al. “Hierarchical Text-Conditional Image Generation with CLIP Latents”, 2022 97

Slide 98

Slide 98 text

Slide 99

Slide 99 text

LLMのAPI 2026年4月現在の主要なLLM API 各社が学習したLLMをREST APIの形で提供しているプロプライエタリ ● OpenAI API ○ GPT-4o / GPT-5系 / o-series（推論特化）など ● Anthropic API ○ Claude 4系（Opus / Sonnet など) ● Google Gemini API ○ Gemini 2.5 / 3系（Pro / Flash など）オープンウェイトモデル (APIも提供している) ● DeepSeek ● Qwen ©MIXI 99

Slide 100

Slide 100 text

APIの性質料金体系「トークン」ベースでの従量課金 ● 入力トークン ● 出力トークン ● 思考トークン (推論モデルの場合に発生する。見えにくいので注意) トークンあたりの値段や消費量はモデルによって異なる Stateless API ● LLM APIは各リクエストを独立して処理 ● 履歴、コンテキスト管理はアプリ・ユーザー側の責務 ○ LLMを賢く使うにはcontextの管理のウエイトが大部分を占める ©MIXI ○ そのための方法論が色々と議論されている 100

Slide 101

Slide 101 text

ハンズオン: LLM APIに触れてみよう https://github.com/mixigroup/2026BeginnerTrainingAI/tree/main/day2/03-llm-api やること ● genai sdk を使用 ● 基本的なチャット機能を実装 ● APIの性質を確認する確認ポイント ● messagesに履歴を含めないと会話が続かない ● その他の属性などの観察 ○ Temperature, thinking effort, その他のパラメタについて観察 ○ 余裕があれば構造化出力も ©MIXI 101

Slide 102

Slide 102 text

推論エンジンセルフホスト型のLLM推論環境: 自分でAPIを立てたいときに利用可能 ● vLLM: ○ KVキャッシュなどで最適化された高速推論サーバー ○ OpenAI互換APIとして利用可能 ● その他に、ollama, LM Studioなど、、、 ○ ローカルで手軽にLLMを実行可能 (メモリが足りれば) ○ 興味のある方は調べてみてください！ ©MIXI 102

Slide 103

Slide 103 text

Context (Context Window) 扱える情報量には限界がある Context Window: モデルが一度に処理できるトークン数 ● だいたい ~1M tokens 程度までサポートされている印象 ○ ※ 最新の情報を調べて参照してください課題 ● 長い会話や文書を扱うと上限に達する ● 長くなるほど性能・応答速度・コストが悪化する対策 ● 古い情報を削除・要約する ● 外部記憶にしておいて必要な際に参照する ©MIXI 103

Slide 104

Slide 104 text

短期記憶と長期記憶短期記憶: 履歴 (messages) への追加 ● Context Windowの範囲内で保持 ● 直近の会話やtoolの実行履歴長期記憶: 外部知識からの注入 ● DBなどに知識を保存 ○ 最近はmdに書いておくとかも、、、 ● 必要な場面で必要な情報を参照してcontextに注入 ©MIXI 104

Slide 105

Slide 105 text

LLMの知識の壁 LLMが持っていない知識 1. 学習時点以降の最新情報 a. それ以降のニュースや出来事は知らない 2. 秘匿性の高い社内文書 a. 当然、学習データに含まれていないこれらをcontextに入れるにはアプリケーション側で情報や文書を取得したうえでcontextに注入する必要がある ©MIXI 105

Slide 106

Slide 106 text

Function calling LLMが「ツール実行の指示」を出し、結果を受け取る連携仕組み: 1. tool定義をLLMに渡す 2. LLMが必要に応じて適切なtoolとパラメータを選択 3. アプリ側でtoolを実行する 4. Toolの実行結果をLLMに返す 5. LLMがtool実行の結果を踏まえて回答を作成 Function Callingのシーケンス図引用元：OpenAI Document - Function calling ©MIXI 106

Slide 107

Slide 107 text

RAG (Retrieval-Augmented Generation) 外部知識を検索して補完 1. 文書を検索可能な形で保存 (Vector DB/ RDB / その他の検索基盤など) 2. 質問から検索クエリを生成 3. クエリから関連文書を検索 4. 検索結果を踏まえてプロンプト構築 5. LLMが回答生成 ※ 検索はVector検索に限らない ● Sparse検索などの古典的なアルゴリズムも利用可能 ● RDBにクエリを投げるなども考えられる重要なのは、contextとして有用な情報を補完すること ©MIXI 107

Slide 108

Slide 108 text

構造化出力 JSON Schemaなどによる出力形式の強制問題: LLMの出力は確率的なので、パースが失敗する可能性がある従来: ● プロンプトでJSON形式を指定 ● 出力から正規表現で抽出 ● 失敗時にリトライやfallback 代表的なAPIでは、スキーマを指定して出力形式を制御できる ● 確率的な挙動を制御 ● パース可能な出力を高い確率で得られる ©MIXI 108

Slide 109

Slide 109 text

ハンズオン: function calling, tool use https://github.com/mixigroup/2026BeginnerTrainingAI/tree/main/day2/04-llm-tool やること ● 天気取得、計算機などの関数を定義 ● LLMが適切な関数を選択して実行 ● 結果を元に回答生成確認ポイント ● tool実行の流れ ©MIXI 109

Slide 110

Slide 110 text

Slide 111

Slide 111 text

Slide 112

Slide 112 text

LLMを応用したAgent LLMを使用したagentの主要な要素 (LLM Powered Autonomous Agents より引用) ● Planning ○ Taskを小問題に分割して複雑なtaskを解く計画をたてる ○ 過去の行動と観測結果を元に計画の改善しながら目標達成へ ■ LLMの高度な推論能力を活用 ● Memory ○ 短期記憶と長期記憶 ● Tool use ○ model自体にはない知識や能力(学習後の情報、外部APIの実行など) ©MIXI 112

Slide 113

Slide 113 text

Slide 114

Slide 114 text

Workflow と Agent Workflow ● 事前に決められたステップを順番に実行 ○ 例: ユーザーが食べたいものを入力 -> LLMでレシピ生成 ● 予測可能で制御が効くが、自律的ではない Agent ● LLMが実行プロセスを自律的に判断する ● 自律的で柔軟だが、制御が難しい場合もある ※ そんなにきっちり定義として区別する必要もないと思いますが、 workflowのように制御して使う考え方は重要なので紹介。デバッグがしやすいなどのメリットもある。適材適所で使うのが良いと思っています ©MIXI 114

Slide 115

Slide 115 text

Slide 116

Slide 116 text

ReAct (Reasoning + Acting) Thought → Action → Observation の繰り返し 1. Thought: 「次に何をすべきか考える」 2. Action: ツールを実行 3. Observation: 結果を観察 4. 1に戻って終了まで繰り返し現代のAgentの基本的なideaの1つ ● 当時はThought, Action, Observationを全て出力に書かせていた ○ 当時は推論モデルがなかったのでCoTの側面もあると思う ○ デバッグがしやすいというメリットもある ● Ideaとして重要なので紹介 ©MIXI 116

Slide 117

Slide 117 text

ハンズオン: ReAct agent https://github.com/mixigroup/2026BeginnerTrainingAI/tree/main/day2/05-react-agent やること ● ReAct agentを実装する確認ポイント ● Thought, Action, Observationを可視化する ● Agentの処理の流れを理解 ©MIXI 117

Slide 118

Slide 118 text

Plan and solve タスクを分担し、制御性とモデルの使い分けを向上 1. Planning: タスクを細かいステップに分解 2. Solving: 各ステップを実行 3. Verification: 各ステップの結果を検証タスクを分担することで ● workflowのように制御がしやすくなる ● それぞれのtaskに特化した処理が行える ○ モデルの切り替えなど ● デバッグ、開発がしやすい ©MIXI 118

Slide 119

Slide 119 text

Human-in-the-loop 全自動にせず、重要な判断ポイントで人間の承認を挟む ● 信頼性の担保 ● 致命的なミスを防ぐ ● 人間の専門知識を活用例: Plan-Solve型のフローでPlan結果に関して人間の承認を得る ©MIXI 119

Slide 120

Slide 120 text

LLMアプリケーションの評価 LLMアプリケーションの評価には２つの方向性がある出力の評価 ● 想定回答と実際の回答を比較してscore化する ○ 例えば llm as a judgeやレーベンシュタイン距離、類似度で評価する ● 比較的、取り組みやすい出力までの過程の評価 ● 思考過程やtool呼び出しが上手くいっているか ● tool呼び出しの結果、有効なcontextを追加することができているか ○ 例えばRAGにおける検索精度の評価など ● こちらも実施したい場合は設計段階から念頭に置いておくと良い ©MIXI 120

Slide 121

Slide 121 text

オフライン評価とオンライン評価オフライン評価 ● テストデータセットで事前に評価 ○ ragasなどを使用すると良い ● デプロイ前に性能を確認オンライン評価 ● 本番環境でのユーザーフィードバック ○ フィードバックを蓄積する仕組みが必要になる ● 実際のユーザー評価の反映と改善 ©MIXI 121

Slide 122

Slide 122 text

LLMアプリのライフサイクル基本的なライフサイクル 1. オフライン評価でbaselineを確立 2. デプロイ 3. オンライン評価で継続的に監視 4. フィードバックを元に改善 ※ langsmith, langfuseなどのライフサイクルの管理ができるライブラリもある実際の開発ではまずはbaselineの作成までを済ませて改善していくのが大事従来のMLシステムと比べればbaselineの作成は手軽にできる印象 ©MIXI 122

Slide 123

Slide 123 text

ハンズオン: 自作Agent https://github.com/mixigroup/2026BeginnerTrainingAI/tree/main/day2/06-own_agent やること ● Baselineのagentを好きなように改善する ● 詳細はreadmeを参照 ● お楽しみコンテンツ ©MIXI 123

Slide 124

Slide 124 text

まとめ ©MIXI

Slide 125

Slide 125 text

今日学んだこと 1. LLMの内部構造 ● 言語モデル、分散表現、トークン化 ● Attention機構とTransformer ● GPT、BERT、最新トレンド（MoE、CoT、推論モデル） 2. 画像生成とマルチモーダル ● 拡散モデルの仕組み ● ViT、CLIP ● テキスト・画像・音声の統合 ©MIXI 125

Slide 126

Slide 126 text

今日学んだこと（続き） 3. LLMアプリケーション ● API、Context、RAG ● function calling、構造化出力 4. AI Agent ● workflow, agentic loop ● ReAct、Plan and solve ● LLM-as-a-judge、Human-in-the-loop ©MIXI 126