大規模言語モデル入門_第三章

- 発表者のTwitterアカウント: https://twitter.com/rindybell
- OpenDataLab: https://opendatalab.connpass.com/
- シンプルフォーム株式会社: https://www.simpleform.co.jp/

Transcript

1. 大規模言語モデル入門　輪読会 第3章 大規模言語モデルの基礎 Presenter 駒井雅之（@rindybell） 2024.1.22 @ https://opendatalab.connpass.com/
2. 自己紹介 • 駒井雅之 • 32歳（1991年 4月24日誕） • 2016年4月 NTTデータに入社 • 2021年7月 シンプルフォーム社に入社 • 趣味は筋トレ、脱出ゲーム、 カレー作り、ボードゲーム等 • Twitter: @rindybell アジャンタ石窟（インド）にて
3. シンプルフォーム社のご紹介 エンジニアも積極採用中です！ https://www.simpleform.co.jp/#about
4. 生成AIハッカソンもやります！ https://simpleform.connpass.com/event/292843/
5. 本発表のゴール 大規模言語モデルの 基礎的な知識を身に着ける • Transformer系の基本モデル ◦ 初代GPT、BERT、T5 • 多言語モデルへの展開 • トークナイゼーション
6. 第3章　大規模言語モデルの基礎
7. 3.1 単語の予測から学習できること 学習 できること トークンを予測する学習から 常識的・文法的な知識を獲得できる 図　テキストとトークン予測の例
8. 3.2 GPT（デコーダ） GPT Transformerを採用した 最初の大規模言語モデル • 2018年にOpenAIが提案 • Generative Pre-trained Transformerのそれぞれの頭文字 • GPTは7,000冊の書籍から作成したコーパスで事前学習 注意事項 GPT～GPT-3の比較は第4章で示される。 本章では初代のGPTにフォーカスして仕組みを説明している。
9. 3.2 GPT（デコーダ） 入力表現 トークン埋込+位置埋込によって 入力埋込を得る • トークン列の長さがKで与えられ、トークン埋込をe、位置埋 込をpとすると、位置iの入力埋込は以下の式より得る： ◦ GPTには、x_1, x_2, …, x_Kが入力される
10. 3.2 GPT（デコーダ） 事前学習 与えられたトークン列から、 次のトークンを予測（＝言語モデル） • 言語モデルの目的関数： • 学習時にはマスク処理を導入し 効率的にトークン予測
11. 3.2 GPT（デコーダ） ファイン チューニング 下流タスク用の層を追加し、下流タスク のデータでモデル全体を最適化 追加した層 ファインチューン時は 全体を最適化することが 多い（ヘッド部のみを学 習することもある）
12. 3.2 GPT（デコーダ） ファイン チューニング 下流タスク用の層を追加し、下流タスク のデータでモデル全体を最適化 • トークン列w1～wKと、ラベルyが与えられたときの、ファイン チューニング用の推論の式： 追加した層に相当する数式部分
13. 3.2 GPT（デコーダ） ファイン チューニング 下流タスク用の層を追加し、下流タスク のデータでモデル全体を最適化 • ファインチューニング部分の目的関数： • モデル全体に関する目的関数（Lptは言語モデル部分、λは二 つの誤差関数のつり合いを調整するハイパラ）：
14. 3.3 BERT・RoBERTa（エンコーダ） エンコーダ テキストを処理するときに トークン列中のi+1以降のトークンも用いる • 推論時、デコーダは位置i+1以降のトークンを活用できない （代わりに、デコーダはトークン生成に適用できる） • 双方向型のTransformerとしてBERTやRoBERTaがある ◦ BERT：Bidirectional Encoder Representations from Transfomers ▪ 7000冊の書籍で事前学習 + ファインチューニング ◦ RoBERTa：Robustly optimized BERT approach ▪ BERTの10倍規模のコーパスで事前学習
15. 3.3 BERT・RoBERTa（エンコーダ） 入力表現 テキストの先頭や接点に特殊トークンを追 記。BERTはさらにセグメント埋込を導入 • トークン埋込e_w、 位置埋込p_i、 セグメント埋込s_mとしたと き、BERTの入力埋込： • RoBERTaの入力埋込：
16. 3.3 BERT・RoBERTa（エンコーダ） BERTの 事前学習 「マスク言語モデル」「次文予測」の問題 設定でモデルを最適化
17. 3.3 BERT・RoBERTa（エンコーダ） BERTの 事前学習 トークン列の一部を隠蔽してトレーニング する「マスク言語モデル」 • マスク言語モデル：トークン穴埋め。トークン列中の一部を 隠蔽し、双方向から文脈を捉える訓練を行う。 • テキスト中のトークンの15%のトークンをランダムに選択し、
18. 3.3 BERT・RoBERTa（エンコーダ） BERTの 事前学習 トークン列の一部を隠蔽してトレーニング する「マスク言語モデル」 • BERTにトークン列w_1～w_Kを与え、出力埋込 h_iを得た後、 次のように計算してトークンw_iの予測確率を得る： ◦ layernorm：層正規化、gelu：ガウス誤差線形ユニット、 E：入力トークン埋込行列、b：バイアス、W：D×Dの行列
19. 3.3 BERT・RoBERTa（エンコーダ） 1つのベクトル単位に適用する正規化処理 参考 層正規化 • 隠れ層のベクトル a が与えられ、次の式で正規化する ◦ データのばらつきを抑え、学習を効率化する効果がある ◦ バッチ正規化と異なり、サンプル単位で正規化する ※　fは活性化関数
20. 3.3 BERT・RoBERTa（エンコーダ） 1つのベクトル単位に適用する正規化処理 参考 層正規化 • g=[1 1]、b=[0, 0]、f(x) = xの時の計算例 ※　fは活性化関数
21. 3.3 BERT・RoBERTa（エンコーダ） 参考 ガウス誤差線形ユニット ReLUと類似した形状の 連続的な非線形関数 参考：https://cvml-expertguide.net/terms/dl/layers/activation-function/relu-like-activation/gelu/
22. 3.3 BERT・RoBERTa（エンコーダ） BERTの 事前学習 二つのテキストが連続関係にあるかを 予測する「次文予測」 • サンプリングして、連続した2種テキストと、異なるランダム の2種テキストを得る。BERTに与えて2値分類する 図　次文予測の例（連続したテキストを与えた場合）
23. 3.3 BERT・RoBERTa（エンコーダ） BERTの 事前学習 二つのテキストが連続関係にあるかを 予測する「次文予測」 • BERTにおいて、CLSトークン部分の出力値のh_clsを用いて、 次の式で隣接文かどうかを予測する： ◦ W_poolはD×Dの行列、W_nspは2×Dの行列
24. 3.3 BERT・RoBERTa（エンコーダ） BERTの 事前学習 BERTの事前学習は「マスク言語モデル」と 「次文予測」の双方から構成 • BERTの損失関数は2種損失を組み合わせている • 先ほどのh_poolのように、複数の特徴を集約する処理を poolingと呼ぶ • RoBERTaはマスク言語モデルのみ最適化 ◦ 次文予測は精度に寄与しなかったとのこと
25. 3.3 BERT・RoBERTa（エンコーダ） ファイン チューニング 下流タスク用の層を追加して モデル全体を微調整する • テキスト全体で評価する場合、 CLSトークンの出力を 用いることが多い：
26. • 固有表現認識のように、トークン単位の問題設定を解く場合 は、各トークンの出力埋込に対して層を定義する： 3.3 BERT・RoBERTa（エンコーダ） ファイン チューニング 下流タスク用の層を追加して モデル全体を微調整する
27. 3.3 BERT・RoBERTa（エンコーダ） AutoModelに対して モデル名とコンフィグを指定 ファイン チューニング例 • モデルとトレイナを定義し、trainメソッドを実行する https://colab.research.google.com/github/ghmagazine/llm-book/blob/main/chapter5/5-2-sentiment-analysis-finetuning-wrime.ipynb#scrollTo=fd5e5f59
28. 3.4 T5（エンコーダ・デコーダ） T5 エンコーダ・デコーダ構成のTransformer text-to-text形式で下流タスクまで解く • T5：Text-to-Text Transfer Transformerの頭文字 • 系列変換の設定で、生成だけでなく分類や推論も解く。 ただし文書分類やトークン単位の分類では、精度でBERTが優れる
29. モデル名 入力埋込 関連性スコア BERT T5 • T5では位置埋込は用いず、相対位置埋込を利用する。注意機構に おいてクエリとキーの距離を、関連性スコア算出に導入する 3.4 T5（エンコーダ・デコーダ） 入力表現 注意機構において相対位置埋込を採用
30. モデル名 入力埋込 関連性スコア BERT T5 • T5では位置埋込は用いず、相対位置埋込を利用する。注意機構に おいてクエリとキーの距離を、関連性スコア算出に導入する 3.4 T5（エンコーダ・デコーダ） 入力表現 注意機構において相対位置埋込を採用
31. 3.4 T5（エンコーダ・デコーダ） 論文「Music Transformer」にて 音楽データに対して有効性が示される 相対位置 埋込 • 音楽における、ピッチ（音程）は相対的な位置情報が重要であり、 そのような動機から提案 • トレーニングデータに現れない長い系列データをデコード可能 https://arxiv.org/pdf/1809.04281.pdf https://qiita.com/masaki_kitayama/items/01a214c07b2efa8aed1b
32. 3.4 T5（エンコーダ・デコーダ） 事前学習 ランダムにマスクしたスパン （長さが1以上のトークン列）を予測 • スパンに含まれるトークン数の合計が15%、スパンが持つトーク ン数の平均長が3となるようにマスク、対数尤度を最適化する
33. 3.4 T5（エンコーダ・デコーダ） ファイン チューニング 複数タスクを同一モデルで学習 （マルチタスク学習） • 言語生成の枠組みで、分類、翻訳、推論等を解く • タスクを区別できるように、特殊トークンを接頭辞として追加
34. 3.5 多言語モデル 他言語へ の適用 「コーパスを差し替える」「複数言語のコー パス」を使うと、他言語にも適用可能 • BERTやT5は、提案時は英語コーパスで検証されたが、データを変 えることで英語以外にも適用できる • 複数の言語を含んだコーパスを用いると、1つのモデルで複数の 言語にも対応できる（e.g. 多言語BERT、mt5などの実績） ◦ 多言語モデルは言語に依存しない表現を内部的に獲得してい ることが示唆され、言語横断転移学習ができると知られる
35. 3.6 トークナイゼーション 大規模言語モデル のトークン 単語や文字ではなく サブワードを利用する • 単語：トークンの種類が増える（確率計算のコスト増、埋込行列 の容量が大きく）、トークンの頻度が偏る • 文字：トークンの種類が減るが系列長が長く • サブワード（単語と文字の中間的な表現）をトークンに：語彙の 大きさ・系列長などのバランスが良い
36. 3.6 トークナイゼーション バイト対符号化 既定の語彙の大きさとなるように、 文字からサブワードを構築する • バイト対符号化（byte-pair encoding）：テキストに含まれる全 ての文字をサブワードとし、収束するまで次の操作を行う ◦ 隣接するサブワードの組の中で最も頻度が高いものを探す ◦ サブワードの組を語彙に追加する ▪ 語彙の大きさ・操作の回数で収束しているかを判断する • ステップ数が0の時は文字分割、無限の時は単語分割と等価
37. 3.6 トークナイゼーション バイト対符号化 既定の語彙の大きさとなるように、 文字からサブワードを構築する • たのしい×6、たのしさ×2、うつくしい×4、うつくしさ×1の テキストが与えられたとし、BPEの処理の例を示す
38. 3.6 トークナイゼーション WordPiece BPEと類似したアルゴリズムだが 頻度ではなく独自のスコア関数で選定 • 以下のスコアが最高のサブワードを優先する： ◦ これは、朦朧↔朧のように、登場したら高い確率で上位のサ ブワードを構成するような事例が優先される • 得られた語彙を元に、最長一致法でテキストを分割する
39. 3.6 トークナイゼーション サブワード候補を算出し ユニグラムモデルを学習して分割 参考： sentence piece • ユニグラムモデルの学習後、尤度の高いパスをサブワード列に ◦ 事前の単語分割は不要 https://www.anlp.jp/proceedings/annual_meeting/2023/pdf_dir/P6-13.pdf
40. 3.6 トークナイゼーション 日本語の扱い 形態素解析とBPE（or WordPiece）を 組合せることが多い • 形態素解析なしだと、サブワードが単語の境界にまたがる場合が モデル名 トークナイザ 分割例 xlm-roberta-bas e BPE （＝文ベースBPE） ['▁', '自然', '言語', '処理', 'に', 'ディー', 'プラ', 'ー', 'ニング', 'を使う'] cl-tohoku/bert- base-japanese-v 3 MeCab+WordPiece ['自然', '言語', '処理', 'に', 'ディープ', 'ラー', '##ニング', 'を', '使う'] sonoisa/t5-base -japanese SentencePiece ['▁', '自然', '言語', '処理', 'に', 'ディープ', 'ラー', 'ニング', 'を使う']
41. 3章のまとめ まとめ 大規模言語モデルの基礎的な知識を説明 • Transformer系の基本モデルを紹介 ◦ 初代GPT、BERT、T5 ◦ 事前学習やファインチューニング • トークナイゼーション ◦ BPE、WordPiece、SentencePiece • 次回の発表者： ◦ 4章 2/5（月）シンプルフォーム社の杉さん ◦ 5章以降：募集中