Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

Direct Preference Optimization

Henry Cui
February 24, 2024

Direct Preference Optimization

Henry Cui

February 24, 2024
Tweet

More Decks by Henry Cui

Other Decks in Science

Transcript

  1. RLHFアプローチの3ステップ ▪ SFT: Supervised fine-tuning ▪ Rewardモデルを学習する • RewardモデルがBradley-Terry (BT)に従う想定

    • BTの仮定で導出する損失関数 ▪ RL Fine-tune • Rewardモデルを使って、下記損失関数でfine-tune ▪ 提案法はRewardとRL Fine-tuneをまとめて、rewardモデルを 使わずに学習 4
  2. 提案法DPO ▪ RL Fine-tuneの損失関数の最適解 ▪ 上記最適解をrewardモデルを取り出すよう書き換える • Your Language Model

    Is Secretly a Reward Model ▪ Rewardモデルを学習する損失関数に代入する • BTモデルのお陰で、Zが消える • Directに言語モデルを最適化できるようになる 5
  3. 実験 ▪ 3つのタスクで評価 • controlled sentiment generation • summarization •

    single-turn dialogue ▪ 複数スケールのデータセットでRHLFと同等またはそれ以上の 性能を確認 ▪ 多数のオープンソース言語モデルに実装 6