Upgrade to Pro — share decks privately, control downloads, hide ads and more …

第13回 Data-Centric AI勉強会,  LLMのファインチューニングデータ

Koga Kobayashi
February 12, 2025
950

第13回 Data-Centric AI勉強会,  LLMのファインチューニングデータ

Koga Kobayashi

February 12, 2025
Tweet

Transcript

  1. 3 そもそも何故ファインチューニングが必要なのか? 4.1節 事前学習 ファイン チューニング 事前学習モデル ファインチューニング モデル 初期化された

    パラメータ 大規模コーパス ファインチューニングデータ • 大規模言語モデルに次単語予測以外の機能を持たせるために必要 • 例: 「私は勉強会に」 • 次に来そうな単語を予想するモデルが言語モデル
  2. 4 ファインチューニングにはどんなデータが必要か? 4.2, 4.3節 Instruction Data 今日の晩御飯の献立を 考えてください。 カレーはいかがでしょうか? •

    質問とLLMに求める理想的 な応答のペア • LLMに生成のスタイルを 教える • 質問と優劣が付与された 二つの応答 • LLMの生成を人間好みにす る Preference Data 10 x 40 は? 400です。 4
  3. 6 どうやってデータを作ればいいの? 過去のNLPデータを用いて、機械的に作成 • Pros: 低コスト、NLPタスクのデータが集まる • Cons: 不自然なデータが多い、多様性の欠如 人手で作成

    • Pros: 高品質なデータが集まる、目的にあったデータが集まる • Cons: 高コスト、品質管理が難しい LLMを用いて作成 • Pros: 低コスト、データを高速に集められる • Cons: 利用規約による制限あり、データの信頼性が低い 4.2, 4.3節
  4. 7 作ったモデルの良さはどう判断する? 4.4節 定量的な指標による評価 • Pros: 低コスト、自動化が容易 • Cons: 実ユースケースから離れる

    人間や言語モデルによる評価 • Pros: 実ユースケースに沿う • Cons: ブレが生じる、高コスト
  5. 8 まとめ • 多くの人が想像する対話可能なLLMを実現するには ファインチューニングが必要不可欠 • ファインチューニングデータは大きくInstruction Dataと Preference Dataに分かれる

    • 両データとも質や多様性、複雑さが大切 • 作る方法も多様 • 作ったデータがいい影響を与えているかの確認には評価は必須 • 出来るのなら定量的な指標を用いた評価と人やLLMを用いた評 価をしたい
  6. 9 出版以降、ファインチューニングデータに変化はあったか? 手法に大きな変化はないが、 データの自動作成の重要度がより高まっている • 例 • DeepSeek-R1: 800KのInstruction Data

    • Qwen2.5: 1MのInstruction Data • どう考えても人手だけで作成するのは不可能… • LLMを用いて大量のデータを生成し、人手データをもとにした フィルタリングによって質、多様性、複雑さを高める • 複雑なデータは人手で作ることもしている 番外編