Slide 13
Slide 13 text
Azure OpenAI Servicesから⾒るトレンド
GPT(GTP-3): Generative Pre-trained Transformer
・OpenAIが開発した巨⼤⾔語モデル(教師なし学習)
・45TBの⼤規模コーパス使⽤
・1750億パラメータ(GPT-2は15億)
・⾼い精度かつ複数のタスクをこなせる
・⽂章⽣成が得意
OpenAI: イーロン・マスクらが参加した研究機関
事前学習済
モデル
ファイン
チューニング後の
モデル
OpenAIとMicrosoftは
パートナーシップを
結んでいる
https://openai.com/
https://en.wikipedia.org/wiki/OpenAI
https://arxiv.org/abs/2005.14165
https://openai.com/blog/microsoft/