n 現時点（2022年12⽉7⽇）では，ChatGPTそのものに関する論⽂は公開されておらず，Research Previewとして，ブログの投稿と，試⽤サイトが公開されているのみ ※ChatGPTを利⽤したフィードバックのコンテストの締切が12⽉31⽇であるため，最低でもそこまでは公開されていると考えられる Shota Imai | The University of Tokyo 5
- ⽇本語の⽂に対して「以下の⽂章を丁寧にしてください」といった使い⽅や，英⽂校正みたいに正 しい英語に書き直してくれる n ⽂章要約 - かなりの⻑⽂でも要点を抑えて要約できる - 論⽂や書籍も記憶しているようで，タイトルを投げたらそのまま要約も返してくれる n プログラミングコードの⽣成 - そのままコピペして実⾏可能なコードを⽣成してくれる - コピペだけで Webサービスや，ゲームを作れるレベルのコードの⽣成が可能 - エラーが出た場合は，それを⼊⼒すると，エラーを回避するようなプログラムを提案してくれる n 提案 - 「〜を書いてみてください」，「~提案してください」とすることで，まだ存在しない未知の物事 や計画などを書いてくれる その他⾊々 Shota Imai | The University of Tokyo 7
n InstructGPTで学習されたモデルは「GPT-3.5」シリーズと呼ばれ，2022年初頭に学習さ れたこのシリーズのモデルに微調整を加えたのがChatGPT n InstructGPTの論⽂が公開されてから相当な⽇数が経過していることを考えると，実際に はInstructGPTをベースに相当な試⾏錯誤があったと考えられ，論⽂に書いてある実装・ ⼿法とは異なる点も多そう n 学習のインフラにはAzureを使⽤ ※GPT-3公開後にMicrosoftは独占ライセンスを取得するなどして提携している n ChatGPTはGPTの出⼒に，ModerationAPIによるフィルタをかけたものを最終的な出⼒ にしている Shota Imai | The University of Tokyo 9
Feedback）を⾏ なったモデル - Training language models to follow instructions with human feedback - https://arxiv.org/abs/2203.02155 n 本資料で詳しく解説 Shota Imai | The University of Tokyo 10
テクニカルペーパーも公開されている - A Holistic Approach to Undesired Content Detection in the Real World - https://arxiv.org/abs/2208.03274 Shota Imai | The University of Tokyo 11
6.7B, GPT-3 2.7B, GPT-3 175Bなど） - それらのモデルに対して，異なるAPIが割り当てられている n 現在の最新モデルは，GPT-3 （or Codex）ベースのモデルに対して強化学習を⾏なった InstructGPTのモデルで，text-davinci-002, text-davinci-003等のモデルとAPIが公開さ れている n 特に以下のモデルはGPT-3.5シリーズと呼ばれ，ChatGPTもこのモデルを元にしている - code-davinci-002 - text-davinci-002 - text-davinci-003 Shota Imai | The University of Tokyo 12
実際にユーザーがGPTに対して⽣成を指⽰できるOpenAI APIや指⽰⽂に応じて プログラミングコードを⽣成するCodeX Copilotなどのサービス提供もある n モデルのサイズが⾮常に⼤きい（GPT-3で1750億）ことと，GPT以前の⾔語⽣成AIと⽐ べて圧倒的に性能が⾼いことが特徴で，シリーズが公開される度に話題に Shota Imai | The University of Tokyo 15
もともとは，機械翻訳を⾏う⼿法として提案されたが，現在では翻訳にとどまらず，画 像認識，強化学習などなど深層学習を使うほとんどのタスクで圧倒的な性能を発揮 n あまりにも有名なモデルゆえに⼤量の解説記事・書籍が存在するため，詳細はそちらを 参照 Shota Imai | The University of Tokyo 17
(1) おいしい 0.8 (2) 寂しい 0.1 (3) です 0.05 (4) ペン 0.05 →「おいしい」を出⼒ n 近年はTransformerをベースにした⾔語モデルがほとんどで，特に⼤規模なTransformerを 使⽤したものを⼤規模⾔語モデル（LLM; Large Language Models），⼤量の⾔語データ で学習したものを事前学習モデル（⼤規模事前学習⾔語モデル）と呼ぶ Shota Imai | The University of Tokyo 18
GPTのような⾔語モデルをプログラミングコードの⽣成に⽤いたモデル n GitHubから獲得したコードのデータセットでGPTのモデルをファインチューニングした パラメータ数120億のモデルを使⽤ n 最終的には77.5%の割合で評価のテストに通るモデルに Shota Imai | The University of Tokyo 23
of Foundation Models”で提唱された概念 n 現在までに，⾔語，画像，⾳声，⾏動，プログラムなど様々なモーダルを扱える基盤モ デルが登場し，AIの研究で特に注⽬され，産業応⽤が期待・すでに実⽤化 n 億を超える⼤量パラメータのモデルであることを特徴とし，学習には膨⼤なデータと 計算資源が要求される Shota Imai | The University of Tokyo 24 DALL・E，Imagen, StableDiffusion, Magic3D等 （⾔語→画像，⾔語→3Dモデル） CodeX （⾔語→コード） GPTシリーズ，PaLM，FLAN等 （⾔語→⾔語） whisper （⾳声→⾔語） Gato （⾔語，画像，⾏動→⾔語，画像，⾏動）
from human feedback • ⼈間のフィードバックから報酬を⽣成するReward modelを学習し，⾔語モデル の強化学習に使う発想 - Training language models to follow instructions with human feedback • Reward modelによる⾔語モデルの強化学習を，GPT-3に対して本格的に実⾏し たInstructGPTに関する論⽂ Shota Imai | The University of Tokyo 26
ドバック」（例えば，1~10点の間で点数づけをする）を与えて学習 →⼈間のフィードバックによる強化学習（RLHF; Reinforcement Learning from Human Feedback） n ChatGPTに先⾏して「InstructGPT」という技術で上記の要素を取り⼊れたGPTを実現 n ChatGPTはこのInstructGPTをさらに⼤規模に学習，調整したものと考えられる Shota Imai | The University of Tokyo 28
n ⼈間による出⼒の評価をもとに強化学習を⾏うRLHF(Reinforcement Learning from Human Feedback)で⾔語モデルのアラインメントを⾏うことにより，パラメータ数が 100倍以上のモデル（13億 vs. 1750億）よりも， - ⼈間視点で「よい」出⼒に - パラメータが少ないことによる全体的な性能低下は最⼩限 - 事実の出⼒が多く，有害な出⼒が少なく n アライメントを⾏うことにより，⼀部のタスクへの性能が下がってしまう問題 （Alignment tax; アライメントの税）も最⼩限 Shota Imai | The University of Tokyo 29
アライメントの税）ものの，その影響は最⼩限 n RLHFで出現しないような指⽰⽂に対しても⾼い汎化性能 n 確定した事実に関する間違い（e.g. 都道府県の⾯積，⼈名など），簡単な質問に対する 無駄に⻑い回答，誤った前提の質問（e.g. 靴下の⾎液は何⾊ですか？）をそうだと検知 できないなど，まだ⽋点がある Shota Imai | The University of Tokyo 30
あるプロンプトに対する出⼒を複数集め，その出⼒に 関する「好ましさ」を，⼈間のlabelerがランク付けす る - その後の，そのランク付きデータをもとに，後の強化 学習における報酬を⽣成するReward model（RM）を 学習 n Step3 - あるプロンプトに対するGPTモデルの出⼒に対して， Reward Modelが報酬を⽣成し，PPOによる強化学習 を⾏う n Step3の完了後，強化学習した新しいGPTモデルを 使ってStep2~3を⾏う〜という⼿順を繰り返す n この⼿順で学習するベースのモデルは，今まで運⽤ していたGPT-3の学習済みモデル Shota Imai | The University of Tokyo 32
rate decayで調整 n residual dropout of 0.2 n 最終的なモデルの選定は後述のRMをベースに選ぶ n エポックの初期は過学習していたが，エポックの進⾏とともにRM scoreや⼈間の嗜好に あった出⼒をするように Shota Imai | The University of Tokyo 33
n プロンプトxに対するモデルの出⼒𝜋"#$（y | x）に対して，⼊⼒xと出⼒yに対するRMに よる報酬の出⼒𝑟! (𝑥, 𝑦)を使う - ⼈間の好みを反映したRMがGPTモデルの出⼒の良さを報酬として評価するため，報酬を最⼤ 化する強化学習によって学習されたモデルは，良い報酬を得る=⼈間に取って好ましい出⼒を するように改善される n 強化学習の⽬的関数を以下にしたものが，PPT-ptxとして⾔及されているInstructGPTの モデル - 𝜋!"#はSFTを⾏なった直後のモデルの出⼒， 𝜋$%が最適化を⾏うGPTモデルのRL⽅策 - ⼀般的なNLPデータセットへの性能低下を防ぐため，それらのデータへの勾配も加えている Shota Imai | The University of Tokyo 35
n 更新前の⽅策と新しい⽅策の確率密度⽐が，ある値1 − 𝜖, 1 + 𝜖の範囲に収まるよう制約 をかけて学習 n 強化学習，⽅策勾配法などの話は⻑くなりすぎるので，資料末の「参考資料」の中から ⾃分に適したものを参考にしていただければ Shota Imai | The University of Tokyo 36
Modelの学習の際に，同じプロンプトを複数回モデルに与え，複 数回答をlabelerがランク付けする時に使う（3万3000データ, labelerデータ含む） - PPOデータセット：PPOを使った強化学習の際の⼊⼒（状態）として使う（3万1000データ， APIの利⽤者データのみ） n プロンプトデータの96%は英語 Shota Imai | The University of Tokyo 38
- PPO：PPOで強化学習するが，⼀般的なデータセットへの勾配を考慮していないモデル - PPO-ptx：⼀般的なデータセットへの勾配も考慮して強化学習したモデル．InstructGPT n 評価の種類 1. Evaluations on API distribution • 学習に使⽤しなかった，OpenAPIの利⽤者のプロンプトを⼊⼒にして，その出⼒を評価 • 175BのSFTモデルをベースモデルにし，⼈間から⾒た出⼒の好ましさがこのベースモデルを上回る割 合=Win rateを評価指標にする • 暴⼒的な内容，有害な指摘，偏った意⾒の表明，倫理に対する判定などのメタデータをもとにする 評価も 2. Evaluations on public NLP datasets • InstructGPT以外の⼀般的な⾔語タスクで⽤いられるNLPのデータセットを使う評価 Shota Imai | The University of Tokyo 41
n パラメータ数の多さよりも，強化学習を⾏なったかどうかが圧倒的に効いている - 1.3BのPPOモデルが，その100倍以上のパラメータを持つ175BのGPTモデルに勝る Heldout workers：学習に関わらなかったlabeler Training workers：学習に関わったlabeler Shota Imai | The University of Tokyo 43
Respectfulな指⽰をプロンプトとして与えた場合と そうでない場合も⽐較 n 出⼒⽂の有害性の判定は，⼈間によるものと， PerspectiveAPIに投げた場合のスコアを使⽤ Shota Imai | The University of Tokyo 46 データセットに含まれる⽂の例． この⽂⾃体は全く無害
une grenouille qui voyage dans le temps jusquʼà la Grèce antique en français. n GPT-3の出⼒（⽇本語訳） “神々の遊びのすべてを知りたいと願う⼦供が、神々の物語の中に⾃分⾃⾝を⾒出すという物語を書 いてください。遠い時代に不倫していた⻘年が、その時代の少⼥と不倫する話を書いてください。学 校に通うことになった⼦供が、想像上の友達を持ち、その友達のおかげで過去に戻ることができると いう話を書いてください” n InstructGPTの出⼒（⽇本語訳） “カエルは道に迷い、疲れ果ててしまった。彼の⽬的はただ⼀つ、過去にさかのぼって古代ギリシャ にたどり着くことだった。最初の問題は、移動⼿段を⾒つけることだった。タイムマシンに⾶び乗る のも⼀つの⼿だと聞いていた。⾶び込んでみると、そこは過去、⽢く妖しい匂いのする星降る夜だっ た。そしてカエルは、坂道の多い古都の街路や⼩さな宿屋を、素早く冒険的な⾜取りで移動する。 [...]” n GPT-3 は明らかに関係がなく，しかも有害な内容の出⼒をしているが，InstructCPTの⽅はお題に 沿った内容 Shota Imai | The University of Tokyo 48
socks after meditating?（なぜ瞑想後に靴下を⾷べることが重要なのですか？） ※当然，瞑想後に靴下を⾷べるという常識は存在しない n GPT-3の出⼒ “靴下から何を学ぶことができますか？ A: 靴下を⾷べるということは、悟りのエッセンスを味わうということです。 悟りのエッセンスを味わっているのです。あなたは、覚醒した⼼の本当の味を 覚醒したマインドの本当の味を味わっているのです。 Q: ⽬覚めた⼼の本当の味とは何でしょう？ 本当の味とは何ですか？ A：覚醒した⼼の本当の味は 味のない味です。そして、無味の本当の味は 無味の味とは、⾜の臭いの味である。” n InstructGPTの出⼒ “この質問に対する明確な答えはありませんが、瞑想の後に靴下を⾷べる必要があることを説明する理論はたくさんあります。靴 下を⾷べるという⾏為は、瞑想の結果、脳が変容した状態から抜け出すのを助けると考える専⾨家もいれば、瞑想のような⾁体的 にも精神的にも難しい活動に従事した後の⾝体への燃料補給と関係があると指摘する専⾨家もいます。また、靴下を⾷べることで、 瞑想者に新しい感覚を与えたり、普段の思考プロセスや⽇常から脱却して、物理的、物質的な世界とつながることができるのでは ないかという説もあります。しかし、これらの説を裏付ける確固たる科学的根拠は今のところなく、靴下を⾷べることがなぜ重要 なのかは、最終的には各個⼈の経験や考えに基づいて決定されることでしょう。” Shota Imai | The University of Tokyo 50
directly at a pumpkin at high speeds? （カボチャに直接砲弾を⾼速で発射したらどうなるのか？） n GPT-3の出⼒ “かぼちゃが砲弾を引き寄せ、砲弾はかぼちゃに跳ね返されます。かぼちゃは、⾦属を操ることができるほど、強 い磁⽯です。” n InstructGPTの出⼒ “かぼちゃに直接、⾼速で砲弾を当てるとどうなるかは、予測できない要素が多すぎて正確な予測はできません。 砲弾の⼤きさ、重さ、密度、かぼちゃの材質、砲弾の速度と衝撃⼒、砲弾とかぼちゃがぶつかる瞬間の距離など が考えられます。その結果、かぼちゃが割れる、地⾯に叩きつけられる、かぼちゃにひびが⼊る、完全に消滅す る、などの可能性があります。” Shota Imai | The University of Tokyo 51
n InstructGPTに使うデータは，実際にユーザーが使ったプロンプトではあるが，そもそも これらのユーザーが”GPTを使うのが有益である”と判断したトピックに偏ったデータに なっているかもしれない n OpenAI APIのユーザーは待機リストに登録された⼈から選ばれているが，実際には待機 リストの前半はOpenAIの職員であり，OpenAI周辺のコミュニティに偏った出⼒をして いるかもしれない Shota Imai | The University of Tokyo 53
Dialogue. https://openai.com/blog/chatgpt/ - Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback. Preprint, 2022.（InstructGPT） - Stiennon, N., Ouyang, L., Wu, J., Ziegler, D. M., Lowe, R., Voss, C., Radford, A., Amodei, D., and Christiano, P. (2020). Learning to summarize from human feedback. arXiv preprint arXiv:2009.01325. n ⼤規模⾔語モデル・基盤モデル - Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S., Bohg, J., Bosselut, A., Brunskill, E., & et al. (2021). On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258 - Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., et al. (2020). Language models are few-shot learners. arXiv preprint arXiv:2005.14165. - Chen, M., Tworek, J., Jun, H., Yuan, Q., Pinto, H. P. d. O., Kaplan, J., Edwards, H., Burda, Y., Joseph, N., Brockman, G., et al. (2021). Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374. Shota Imai | The University of Tokyo 54
imai_eruel
soudai
philnash
skipperchong
sstephenson
kneath
geoffreycrofte
tammyeverts
mza
shlominoach
chriscoyier
marktimemedia
bluesmoon
![ChatGPT ⼈間のフィードバックから強化学習した対話AI 東京⼤学 ⼤学院⼯学系研究科 技術経営戦略学専攻 今井 翔太 Email: [email protected] Twitter：今井翔太](https://files.speakerdeck.com/presentations/76732d1fbeff4c07ba66095ae60055f0/slide_0.jpg){kind=link}
