GLUE(⾔語理解タスク)[Wang+ 18] ポジネガ判定 [positive] itʼs charming and often affecting journey. [negative] a sometimes tedious film. 2⽂が同じ意味かどうか [同じ] The bird is bathing in the sink. Birdie is washing itself in the water basin. [異なる] The black dog is running through the snow. A race car driver is driving his car through the mud. https://gluebenchmark.com/leaderboard モデルの性能を計るため、英語の⾔語理解タスクのデータセットが⽤意されている。 9
• RNN(Recurent Neural Network)再起的ニューラルネットワーク。 • 次の単語を予測するタスク(Next Word Prediction) • 次々と単語を予測していくことで、最終的に⽂を⽣成する 22 RNN⾔語モデル 私 は 学⽣ は 学⽣ です 「私 は」の ベクトル U U U W W W 0.1 ... 0.2 ... P(学⽣|私, は) ⼤規模なラベルなし テキストから学習
• ⽂脈を拡張するという意味で、後⽅向⾔語モデルを採⽤する。 • 前⽅向⾔語モデル + 後⽅向⾔語モデル = 双⽅向⾔語モデル 24 RNN⾔語モデル: 前⽅向⾔語モデル、後⽅向⾔語モデル 私 は 学⽣ は 学⽣ です U U U W W W は 学⽣ です 私 は 学⽣ U U U W W ⽂脈付き「学⽣」のベクトル 後⽅向⾔語モデル 前⽅向⾔語モデル W