Slide 14
Slide 14 text
ベースライン実験
● 複数の事前学習済み言語モデルの日本語版・多言語版を
ベースラインとして評価
○ 東北大BERT, 早稲田RoBERTa, XLM-RoBERTa, 多言語BERT
○ 本発表では主に日本語・多言語BERTの結果を紹介
● 実験設定
○ RTEは4条件の学習データで、含意・矛盾・中立の3値分類
タスクとしてファインチューニングし、正答率を評価
(a)JSICK, (b)JSICK仮説文のみ, (c)JSNLI, (d)JSICK+JSNLI
○ STSはBERTの埋め込み表現を用いた教師なし文類似度計算
モデルbertscore[Zhang+ 20]の予測と、正解類似度との
Pearson相関係数を評価
14