Slide 4
Slide 4 text
1990年代 2013 2018 2020
Word2Vec (NPLM),
NLPS
静的な単語の関連性
ニューラル⾔語モデル
特定のNLPタスク⽤途
タスク
解決
能⼒
ELMO, BERT, GPT-1/2
コンテキスト表現
事前学習+ファイン
チューニング
さまざまなNLPタスク
⽤途
GPT-3/4, ChatGPT, Claude
⾔語モデルの規模拡⼤
プロンプトによる⽳埋め
さまざまな実世界のタスク
⽤途
A Survey of Large Language Models
https://arxiv.org/abs/2303.18223
n-gram⾔語モデル
統計的⼿法
確率推定
特定のタスク⽤途
統計的⾔語モデル
特定タスク⽀援
ニューラル⾔語モデル
タスクに依存しない
機能学習
事前学習済み⾔語
モデル
転移学習をもちいた
NLPによるタスク解決
⼤規模⾔語モデル
(LLM)
汎⽤的なタスク解決