Slide 39
Slide 39 text
39
Confidential © TDAI Lab All right reserved.
背景知識︓Instruction Tuning
● 背景︓⼤規模⾔語モデルをZero-Shotでどんなタスクでも性能良く使えるようにしたい
● ⼿法︓Instruction Tuning(Finetuned Language Models Are Zero-Shot Learners ICLR 2022)
● 詳細︓
○ Step1. 既存のデータセットをタスクごとに分割(A, [B, C, D,])
○ Step2. タスクごとに回答を⽣成させるプロンプトのTemplateを⽤意し、ファインチューニン
グ⽤のデータ作成
○ Step3. 再学習を⾏う
● 結果︓未学習のタスクで、Zero-shotで性能が良いことが確認されている
● 代表例︓T0, FLAN-T5, FLAN-PaLMなど