構成的推論・類似度データセットSICK[Agirre+ 14] SICK (Sentences Involving Compositional Knowledge) : 人のように単語の意味と文の構造に従って、様々な文の意味を 構成的に理解しているか評価する目的で構築された、英語の RTE・STSデータセット キャプションを元に語彙的・統語的・意味的な言語現象を網羅 6 S1: A boy is playing a guitar S2: A kid is playing a guitar 含意, 4.8 S1: A girl is cutting butter into two pieces S2: Tofu is being sliced by a woman 中立, 2.4 S1: There is no biker jumping in the air S2: A lone biker is jumping in the air 矛盾, 4.1
構築したJSICKデータセットの例1 12 S1: 二人の女性が群衆の前でダンスをしながら歌っている Two women are dancing and singing in front of a crowd S2: 二人の女性が多くの人の前でダンスをしながら歌っている Two women are dancing and singing in front of many people 含意関係:含意、類似度:4.7、言語現象:量化・連言・数量 S1: 別の犬を追いかけているか、または口に棒きれをくわえている犬は一 匹もいない There is no dog chasing another or holding a stick in its mouth S2: 犬が別の犬を追いかけていて、口に棒きれをくわえている A dog is chasing another and is holding a stick in its mouth 含意関係:矛盾、類似度:3.9、言語現象:選言・否定・数量
構築したJSICKデータセットの例2 13 S1: その子供は幸せそうに雪の中で滑っている The kid is happily sliding in the snow S2: 雪で覆われた丘の上にいる男の子が赤いジャケットと黒い帽子を身に 着け、ひざまづいて滑っている A boy on a hill covered in snow is wearing a red jacket and a black hat and is sliding on his knees 含意関係:中立、類似度:2.5、言語現象:モーダル・連言・受身 S1: 女性が髪を櫛でとかしている A woman is combing her hair S2: 女性が髪を整えている A woman is arranging her hair 含意関係:含意、類似度:4.0