Slide 9
Slide 9 text
• この確率を使うと、トークン列から続きのトークンを予測できる
9
• トークン列 X={x
1
,x
2
,...,x
T
}に対して以下のような同時確率を考える
• 直感的には、テキストの自然さ・妥当さを定量的に評価できる関数、のようなもの
• 例えば トークン列 XA={好きな, 果物, は, ぶどう}とXB={好きな, 果物, は, たんす}がある
• 妥当な p(X) が得られていれば、p(XA)>p(XB)となり、良し悪しを計算機上でも判断できる
• このようなテキストの確率モデルを言語モデルと呼ぶ。(トークン予測器まで含めて言語モデルと呼ぶこともある)
トークンの予測を、トークン列の確率的なモデル(言語モデル)で実現する
1. 「言語モデル」とはそもそも何か?
入力されたトークン列(固定) T番目だけ未定
Pを最大化する
T番目のトークンを選ぶ