計算能力を増やすとき、パラメータ数（𝑁𝑁）と訓練データ量（𝐷𝐷）は1:1の比率で増やすのがよい 𝑁𝑁 ≈ 20𝐷𝐷（1パラメータにつき20トークンの訓練データ量が必要） 大規模言語モデルの学習を計画するときのスタンダードとして広く採用されている パラメータ数、訓練データ量、計算量から学習後の 損失の値を予測できる Chinchilla則に基づく計算最適な言語モデルのパラメータ数、 計算量、訓練データ量 (Hoffmann+ 2022) J Hoffmann, S Borgeaud, A Mensch, E Buchatskaya, T Cai et al. 2022. Training Compute-Optimal Large Language Models. arXiv:2203.15556. Chinchilla則の推定に用いられた学習曲線 (Hoffmann+ 2022)
A Almahairi, et al. 2023. Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv:2307.09288. P Zhang, G Zeng, T Wang, W Lu. 2024. TinyLlama: An Open-Source Small Language Model. arXiv:2401.02385. M Abdin, S A Jacobs, A A Awan, J Aneja, A Awadallah, et al. Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone. arXiv:2404.14219. [1] https://x.com/karpathy/status/1781028605709234613 小さいモデルの方が使いやすい（推論が速い、GPUの枚数が少なくて済む） Llama 2 7/13/34/70BとLlama 3 8/70Bの訓練データ量はそれぞれ、2Tトークンと15Tトークン TinyLlamaは1.1Bのモデルを約3Tトークンで訓練 (Zhang+ 2024) Phi-3は7Bと14Bのモデルを約4.8Tトークンで訓練 (Microsoft 2024) Llama 2の学習では2Tトークンを学習しても損失が飽和し かったと報告している (Touvron+ 2023) Llama 3のリリースに対する Andrej Karpathy氏のXの投稿[1]
過学習が防止できるうえ、ドロップアウトなどの 正則化が不要になる A Komatsuzaki. 2019. One Epoch is All You Need. arXiv:1906.06669. N Muennighoff, A M Rush, B Barak, T L Scao, A Piktus, N Tazi, S Pyysalo, T Wolf, C Raffel. 2023. Scaling Data-Constrained Language Models. NeurIPS. 言語モデルの学習曲線（テストデータ上の損失） (Komatsuzaki (2019) を改変) １エポック学習 複数エポック学習 １エポック学習（ドロップアウト有） 複数エポック学習（ドロップアウト有） 言語データに限りがある状況においてChinchilla則を 複数エポック学習に拡張 (Muennighoff+ 2023) 計算資源はあるが学習データが不足している状況 では、モデルの規模とエポック数を増やすことに なるが、後者をより増やすべきである テストデータ上の損失 (Muennighoff+ 2023) ４エポックまでは １エポックの時の 性能とさほど変わ らない
Tang, X Wang, et al. 2023. A Survey of Large Language Models. arXiv:2303.18223. 大規模言語モデルの学習コーパスのソース (Zhao+ 2023) 事前学習で獲得していない能力を後から指示チューニングで補うのは困難なので、ウェブページや 本、論文、ソースコードの配合を慎重に決める必要がある
C Zhang, D Eck, C Callison-Burch, N Carlini. 2022. Deduplicating Training Data Makes Language Models Better. ACL. 各文書のn-gramの集合に対し、MinHash値を𝑏𝑏個連結したものを一単位（バケット）とし、全部で 𝑟𝑟個のバケットを作成する（全部でMinHash値を𝑏𝑏𝑟𝑟個計算する） ある文書の𝑟𝑟個のバケットに対して、過去に処理した文書のバケットと一致するものがある（イン デックスに登録されている）場合、その文書は重複と見なす 2文書間のジャッカード係数が𝑠𝑠であるとき、𝑟𝑟組のバケットのうち少なくとも1組のバケットが完全一致す る確率は1 − 1 − 𝑠𝑠𝑏𝑏 𝑟𝑟 であることを利用し、重複除去のジャッカード係数の閾値を𝑏𝑏と𝑟𝑟により設定する NearDupによる丸覚え防止の効果 (Lee+ 2022) 32トークンをLLMに入力し、出力され た文字列が実際の続きと類似（正規化 編集類似度が0.8以上）していた割合
各クラスタ内で文書間類似度を総当たりで計算し、閾値を超えた文書を除去（計算量は𝑂𝑂 min 𝑘𝑘 𝐷𝐷 , 𝐷𝐷 2 𝑘𝑘 ） A Abbas, K Tirumala, D Simig, S Ganguli, A S Morcos. 2022. SemDeDup: Data-efficient learning at web-scale through semantic deduplication. arXiv:2303.09540. SemDeDupのアイディア (a) とモデルの学習効率の改善 (b) (Abbas+ 2022)
文の長さ、ストップワードの有無、内容の重複の多さなどに基づいて、ルールを記述する 有害フィルタ: モデルの学習に有害と思われるページを除去する（品質が低い、有害、攻撃的など） 品質フィルタ: モデルの学習に有益と思われるページを抽出する（Wikipediaやニュース記事に近いなど） 事前学習で注意しておくべきこと (Longpre+ 2023) 大規模言語モデルは学習していない時期の事柄は回答できず、ファインチューニングでの対処も難しい 品質フィルタはタスクの性能を引き上げるが、有害な生成も増える 有害フィルタは有害な生成を削減するが、同時にタスクの性能も低下する 有益なのは高品質なテキスト（本など）と多様なウェブテキストで、これらを集めることが大切 S Longpre, G Yauney, E Reif, K Lee, A Roberts, B Zoph, D Zhou, J Wei, K Robinson, D Mimno, D Ippolito. 2023. A Pretrainer's Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity. arXiv:2305.13169.
A W Yu, B Lester, N Du, A M Dai, Q V Le. 2022. Finetuned Language Models are Zero-Shot Learners. ICLR. ファインチューニング 事前学習で獲得した言語や常識 的な知識を基に、所望のタスク を解く能力を養う マルチタスク学習 複数のタスクの学習データを与 え、一つのモデルで複数のタス クを解けるようにする タスクを自然言語で記述 タスクの説明や入出力を自然言 語で与えることで、タスク間転 移を促進する 自然言語で記述されたタスクの指示・入力・出力のデータで言語モデルをファインチューニング 指示チューニング＝多数のタスク上でファインチューニング (Wei+ 2022)
A W Yu, B Lester, N Du, A M Dai, Q V Le. 2022. Finetuned Language Models are Zero-Shot Learners. ICLR. 自然言語推論の正解データを指示チューニング用の学習データに変換する例 (Wei+ 2022) タスクやデータセット毎にテンプレートを用意し、既存のデータセットを「タスクの指示と入力 ＋出力」という形式の学習データに変換することで、指示チューニングのデータに変換 自然言語処理の研究で開発されてきた大量の言語データ（機械翻訳や要約など）を活用できる
A W Yu, B Lester, N Du, A M Dai, Q V Le. 2022. Finetuned Language Models are Zero-Shot Learners. ICLR. タスクをゼロショットで解く実験において、GPT-3よりも高い精度を達成 (Wei+ 2022) 実験に用いたデータセットとタスクのクラスタ（濃い青: 言語理解タスク、薄い青: 生成タスク） (Wei+ 2022)
GPT-3を使い、175個のシードタスクから52kの指示、82kの応答からなるデータを自動構築 Y Wang, Y Kordi, S Mishra, A Liu, N A Smith, D Khashabi, H Hajishirzi. 2023. Self-Instruct: Aligning Language Models with Self-Generated Instructions. ACL.
Liu, N A Smith, D Khashabi, H Hajishirzi. 2023. Self-Instruct: Aligning Language Models with Self-Generated Instructions. ACL. タスクの指示を作成するプロンプト タスクが分類問題かを判定するプロンプト Come up with a series of tasks: Task 1: {instruction for existing task 1} Task 2: {instruction for existing task 2} Task 3: {instruction for existing task 3} Task 4: {instruction for existing task 4} Task 5: {instruction for existing task 5} Task 6: {instruction for existing task 6} Task 7: {instruction for existing task 7} Task 8: {instruction for existing task 8} Task 9: Can the following task be regarded as a classification task with finite output labels? Task: Given my personality and the job, tell me if I would be suitable. Is it classification? Yes Task: Give me an example of a time when you had to use your sense of humor. Is it classification? No Task: {instruction for the target task}
generate multiple examples when possible. If the task doesn’t require additional input, you can generate the output directly. Task: Which exercises are best for reducing belly fat at home? Output: - Lying Leg Raises - Leg In And Out - Plank - Side Plank - Sit-ups Task: Sort the given list ascendingly. Example 1 List: [10, 92, 2, 5, -4, 92, 5, 101] Output: [-4, 2, 5, 5, 10, 92, 92, 101] Example 2 Input 2 - List: [9.99, 10, -5, -1000, 5e6, 999] Output: [-1000, -5, 9.99, 10, 999, 5e6] Task: {Instruction for the target task} Self-instructで用いられているプロンプトの例 (2/2) 38 Y Wang, Y Kordi, S Mishra, A Liu, N A Smith, D Khashabi, H Hajishirzi. 2023. Self-Instruct: Aligning Language Models with Self-Generated Instructions. ACL. 出力を作成するプロンプト（非分類タスク） Given the classification task definition and the class labels, generate an input that corresponds to each of the class labels. If the task doesn’t require input, just generate the correct class label. Task: Classify the sentiment of the sentence into positive, negative, or mixed. Class label: mixed Sentence: I enjoy the flavor of the restaurant but their service is too slow. Class label: Positive Sentence: I had a great day today. The weather was beautiful and I spent time with friends. Class label: Negative Sentence: I was really disappointed by the latest superhero movie. I would not recommend it. Task: Which of the following is not an input type? (a) number (b) date (c) phone number (d) email address (e) all of these are valid inputs. Class label: (e) Task: {Instruction for the target task} 入力を作成するプロンプト（分類タスク）
N A Smith, D Khashabi, H Hajishirzi. 2023. Self-Instruct: Aligning Language Models with Self-Generated Instructions. ACL. Self-instructでファインチューニングしたGPT-3モデルは、公開されている他のデータでファインチューニング したGPT-3よりも高評価を得て、InstructGPTに迫る評価だった (Wang+ 2023)
Geng, H Liu, P Abbeel, S Levine, D Song. 2024. The False Promise of Imitating Proprietary Language Models. ICLR. ”How does actor critic improve over REINFORCE?”に対するChatGPTと模倣モデルの応答 (Gudibande+ 2024) 事実とは 異なる説明 正しい説明 微妙だが 正しい説明 微妙だが 正しい説明 正しい説明
T Li, S Zhuang, Z Wu, Y Zhuang, Z Li, Z Lin, E Xing, J E Gonzalez, I Stoica, H Zhang. 2024. LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset. ICLR. https://huggingface.co/datasets/lmsys/lmsys-chat-1m (Zheng+ 2024) 基本情報 LLM: 25個の最先端なLLM 人間: 210kのユニークなIP 対話は平均2.0ターン 応答は平均214.5トークン 人間の選好データは無し 特徴 ソフトウェアのエラーの解決や プログラミング、地理・旅行に 関する質問が多い ユーザからの有害な指示も含ま れているため、モデレーション や安全性の研究にも活用できる
背景: 指示チューニングを施しても、言語モデルは人間が望まない挙動を示すことがある 嘘の生成、偏見に満ちた生成、有害な生成、人間の指示に従わない生成など アメリカの首都はワシントンDCです × 首長 • Washington 提案: 強化学習を用い、言語モデルが人間の好みに沿う（alignする）ように訓練（アライメント） ユーザに役立つ生成 忠実な（嘘を含まない）生成 有害ではない生成 Q: アメリカの首都はどこですか？ • A: アメリカの首都はワシントンDCです × A: アメリカの首都はロンドンです L Ouyang, J Wu, X Jiang, D Almeida, C L Wainwright, et al. 2022. Training Language Models to Follow Instructions with Human Feedback. NeurIPS.
を減らすことができた ※ InstructGPTはChatGPTの基となるモデルと言われている L Ouyang, J Wu, X Jiang, D Almeida, C L Wainwright, et al. 2022. Training Language Models to Follow Instructions with Human Feedback. NeurIPS. GPT-3にSFTやRLHFを施したモデルに対する人間の選好の7段階評価 (a)、 データセットにおける人手評価 (b)、RealToxicityPromptsデータセットにおける有害性評価 (Ouyang+ 2023)
𝑟𝑟𝜙𝜙 𝑥𝑥, 𝑦𝑦 − 𝛽𝛽𝔻𝔻KL 𝜋𝜋𝜃𝜃 𝑦𝑦 𝑥𝑥 ∥ 𝜋𝜋ref 𝑦𝑦 𝑥𝑥 GPUメモリを大量に消費する 3つのLLM（参照モデル𝜋𝜋ref 、報酬モデル𝑟𝑟𝜙𝜙 、方策モデル𝜋𝜋𝜃𝜃 ）を同時に扱う必要があるため 学習に時間がかかる 𝑦𝑦 ∼ 𝜋𝜋𝜃𝜃 𝑦𝑦 𝑥𝑥 は通常、自己回帰モデル（Transformerのデコーダ）による生成となるため、並列化が難しい 学習を安定化させるためには、実装上の細かい工夫が必要 OpenAIはRLHFの実装を公開していなかったため、再現するのが大変だった (Huang+ 2024) S Huang, M Noukhovitch, A Hosseini, K Rasul, W Wang, L Tunstall. 2024. The N+ Implementation Details of RLHF with PPO: A Case Study on TL;DR Summarization. arXiv:2403.17031.
R Rafailov, A Sharma, E Mitchell, S Ermon, C D Manning, C Finn. 2023. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS.
選好の写像（DPOではシグモイド関数）をΨとして一般化し、Ψ-preference optimizationを提案 DPOはΨに恒等写像を採用し、以下の目的関数を提案 ℒIPO 𝜋𝜋𝜃𝜃 ; 𝜋𝜋ref = 𝔼𝔼 𝑥𝑥,𝑦𝑦𝑤𝑤,𝑦𝑦𝑙𝑙 ∼𝒟𝒟𝑃𝑃 log 𝜋𝜋𝜃𝜃 𝑦𝑦𝑤𝑤 𝑥𝑥 𝜋𝜋ref 𝑦𝑦𝑤𝑤 𝑥𝑥 − log 𝜋𝜋𝜃𝜃 𝑦𝑦𝑙𝑙 𝑥𝑥 𝜋𝜋ref 𝑦𝑦𝑙𝑙 𝑥𝑥 − 1 2𝛽𝛽 2 Statistical Rejection Sampling Optimization (RSO) (Liu+ 2024) 著者らが以前（DPO論文よりも12日早く）提案していたSLiCをDPOに適用し、ヒンジ損失の利用を提案 ℒhinge−norm 𝜋𝜋𝜃𝜃 ; 𝜋𝜋ref = 𝔼𝔼 𝑥𝑥,𝑦𝑦𝑤𝑤,𝑦𝑦𝑙𝑙 ∼𝒟𝒟𝑃𝑃 max 0,1 − 𝛽𝛽 log 𝜋𝜋𝜃𝜃 𝑦𝑦𝑤𝑤 𝑥𝑥 𝜋𝜋ref 𝑦𝑦𝑤𝑤 𝑥𝑥 − 𝛽𝛽 log 𝜋𝜋𝜃𝜃 𝑦𝑦𝑙𝑙 𝑥𝑥 𝜋𝜋ref 𝑦𝑦𝑙𝑙 𝑥𝑥 Kahneman-Tversky Optimazation (KTO) (Ethayarajh+ 2024) プロスペクト理論に基づき、二つの出力の選好 𝑥𝑥, 𝑦𝑦𝑤𝑤 , 𝑦𝑦𝑙𝑙 ではなく、好まれる出力 𝑥𝑥, 𝑦𝑦+ と好まれれない出 力 𝑥𝑥, 𝑦𝑦− から損失を計算する手法を提案（つまり、選好のデータとして 𝑥𝑥, 𝑦𝑦± を集めればよい） DPOが暗黙的にトークン単位の報酬を学習していることの理論的分析 (Rafailov+ 2024) M G Azar, M Rowland, B Piot, D Guo, D Calandriello, M Valko, R Munos. 2024. A General Theoretical Paradigm to Understand Learning from Human Preferences. AISTATS. T Liu, Y Zhao, R Joshi, M Khalman, M Saleh, P J Liu, J Liu. 2024. Statistical Rejection Sampling Improves Preference Optimization. ICLR. K Ethayarajh, W Xu, N Muennighoff, D Jurafsky, D Kiela. 2024. KTO: Model Alignment as Prospect Theoretic Optimization. arXiv:2402.01306. R Rafailov, J Hejna, R Park, C Finn. 2024. From r to Q∗: Your Language Model is Secretly a Q-Function. arXiv:2404.12358
言語学、数学、常識推論、生物、物理、バイアス、ソフトウェア開発など、幅広いトピックをカバー Github上でタスクの提案を受け付けており、データセットの構築に貢献したのは132機関、450人以上 （平均的な人間を上回ることができず）LLMには難しい23タスクを厳選したBIG-bench Hard (BBH) も存在 BBHに収録されているタスクはBoolean Expressions、Causal Judgment、Date Understandingなど Srivastava+ (2023) を改変 (Alphabetic order) A Srivastava, A Rastogi, A Rao, A A M Shoeb, A Abid, et al.. 2023. Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models. TMLR. M Suzgun, N Scales, N Schärli, S Gehrmann, Y Tay, et al. 2023. Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them. Findings of ACL. BIG-benchに収録されているタスクのキーワード 事例数の分布
Bommasani, T Lee, D Tsipras, D Soylu, et al. 2023. Holistic Evaluation of Language Models. TMLR. HELMのシナリオと評価尺度の構造 (Liang+ 2023) 言語モデルの利用ケースや達成目標を考慮することで、現状の評価ベンチマークを整理 シナリオ（タスク、何に対して、誰が、いつ、どの言語で）や評価方法、評価尺度（正解率、ロバスト性、 バイアス、有害性、効率性など）のタクソノミーを定義
学 (math)、コーディング (coding)、科学・技術・工学・数学の知識 (knowledge I (STEM))、 人文科学 と社会科学の知識 (knowledge II (humanities/social science)) L Zheng, W-L Chiang, Y Sheng, S Zhuang, Z Wu, et al. 2023. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks Track. MT-benchの質問の例 (Zheng+ 2023)
数学や推論の評価が苦手：自分で問題を解くことがで きるのに、評価をさせると間違ってしまう 自己評価バイアス（この例ではGPT-4やClaudeは自分自身を高く評価する傾向がある） 数学や推論の評価を苦手としている例 L Zheng, W-L Chiang, Y Sheng, S Zhuang, Z Wu, et al. 2023. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks Track.
Zhuang, Z Wu, et al. 2023. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks Track. 位置バイアス（最初に与えた応答の方を好む例） 冗長バイアス（長くて冗長な応答を好む例）
L Carin, W Chen. 2022. What Makes Good In-Context Examples for GPT-3? The 3rd Workshop on Knowledge Extraction and Integration for Deep Learning Architectures (DeeLIO). 評価時のfew-shot事例は固定しなければならない（勝手に変えてはいけない） GPT-3に与えるfew-shot事例を評価事例に近いものから選ぶ例 (Liu+ 2022) 実験により、ランダムにfew-shot事例を選ぶよりも性能が良いことが報告されている
P Stenetorp. 2022. Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity. ACL. C Zheng, H Zhou, F Meng, J Zhou, M Huang. 2024. Large Language Models Are Not Robust Multiple Choice Selectors. ICLR. Few-shot事例の並べ方を変え、それぞれの並び順 でプロンプトに入れ、文脈内学習でSST-2のタスク を解いたときの評価スコアの変動 (Lu+ 2022) ゼロショットでMMLUの多値選択式問題を解くとき、 正解の選択肢の場所をどこに置くかで、モデルの正 解率が大きく変動してしまう (Zheng+ 2024) 評価時のfew-shot事例の並び順や多値選択式の選択肢の並び順により、LLMの性能が大きく変動する （→公平性のためには並び順を固定すべきだが、これを正当な評価と呼べるのか？）
D Shahaf, G Stanovsky. 2024. State of What Art? A Call for Multi-Prompt LLM Evaluation. TACL (to appear). https://arxiv.org/abs/2401.00595 指示の言い換えによりモデルの評価スコアのケンドール順位相関係数（τ）が変動する例 (Mizrahi+ 2024) （P1のスコアの高い順にモデルを並べているため、P2の形は右肩下がりになることが期待されている）
2024. Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting. ICLR. プロンプトのフォーマットによりタスクの正解率が変動する例 (Sclar+ 2024) 問題を変えずにプロンプトのフォーマットだけを変えると、モデルの性能が変動する モデルの評価を行うときは、異なるフォーマットによる分散も報告すべきと提案
chokkan
sushi514
snkmr
lyakaap
lcolladotor
tagtag
genomethica
peterdesmet
.jpg){kind=avatar}
ktatsuya
yamahiro
s1ok69oo
aronwalsh
konakalab
aleyda
speakerdeck
lauravandoore
jacobian
bkeepers
shlominoach
marcduiker
andyhume
dougneiner
thekraken
brad_frost
hannesfritz
![大規模言語モデルの開発 2024年度 人工知能学会全国大会（第38回）チュートリアル講演１ 岡崎 直観 東京工業大学 情報理工学院情報工学系 [email protected] https://www.nlp.c.titech.ac.jp/ https://speakerdeck.com/chokkan/jsai2024-tutorial-llm](https://files.speakerdeck.com/presentations/72c0ad6cc428461599a284bc700e6993/slide_0.jpg){kind=link}
![大規模言語モデルの驚くべき能力 5 Massive Multitask Language Understanding (MMLU) タスクの正解率は人間の専門家 (89.8%) を超えた[1,2]](https://files.speakerdeck.com/presentations/72c0ad6cc428461599a284bc700e6993/slide_5.jpg){kind=link}
![Common Crawl[1]からのコーパス構築 23 ウェブサイトを巡回・収集し、そのアーカイ ブを無償で提供している非営利団体 2023 年 12](https://files.speakerdeck.com/presentations/72c0ad6cc428461599a284bc700e6993/slide_23.jpg){kind=link}
![重複したウェブページ（文書）の除去 24 def Deduplicate(D): U = [] I = Index()](https://files.speakerdeck.com/presentations/72c0ad6cc428461599a284bc700e6993/slide_24.jpg){kind=link}
![Stanford Alpaca 7B 40 [1] https://crfm.stanford.edu/2023/03/13/alpaca.html [2] https://huggingface.co/datasets/tatsu-lab/alpaca Stanford Alpacaの構築手順[1]](https://files.speakerdeck.com/presentations/72c0ad6cc428461599a284bc700e6993/slide_40.jpg){kind=link}
![質問応答の例（NIILC質問応答データセット[1]） 以下はタスクを説明する指示と、追加の背景情報を提供する入力の組み合わせです。要求を適切に満たす回答を書いてください。 ### 指示 質問に対する答えを出力してください。答えが複数の場合、コンマ（,）で繋げてください。 ### 入力： 質問：ワールドカップは何年に一度開催されるの？ ### 回答：](https://files.speakerdeck.com/presentations/72c0ad6cc428461599a284bc700e6993/slide_64.jpg){kind=link}
