A Probabilistic Annotation Modelfor Crowdsourcing Coreference文献紹介2020/2/3長岡技術科学大学自然言語処理研究室 吉澤 亜斗武
View Slide
Abstract・クラウドソーシングで注釈がつけられた共参照のデータセットのためのモデルを提案・質の異なるアノテーターをシュミレーションしてデータを生成・提案モデルはアノテーターの質を考慮し、従来のモデルのF1値を上回った。2
1. Introduction・共参照の問題は談話エンティティなどで非常に重要・現在、ONTONOTESを基とした中規模データセットCONLL2012-dataset を使うのがほとんど・しかし適用できない言語やドメインが多くあり、アノテートされたデータセットが求められるが、専門家だけではデータサイズに限界がある3
1. Introduction・そこでクラウドソーシングが求められるが、照応の集約が上手く行かないことが多い。・従来は単純な多数決がとられてきたが、近年になって効率的な集約方法への研究が行われつつある。・クラウドソースの照応注釈を集約する言及ペアベースの確率モデルを提案4
2. A Mention-Pair Model of Annotation5
2.1 Parameter Estimation6ELBO最大化:Coordinate AscentVariational Inference (CAVI)
3.1.1 Crowdsourced Data7Phrase Detectives 1.0・クラウドソーシングでアノテーション・談話の新・旧(先行詞)など5つのマーク・45文書、6000マーク →トレーニングに向かかない→ CONLL-2012 dataset からデータを作る
3.1.2 Synthetic Data8アノテーターをシミュレーションとして訓練データを生成精度が0.2から0.9のアノテーターが混在するようにする・Uniform:一様に誤りを生じさせる。・Sparse:局所的に誤りを生じさせる。
3.1.2 Synthetic Data9・Synthetic profiles5つの精度が異なるプロファイル(ラベル)をつける専門家と一般の人が混ざっている状況を再現・Phrase Detectives inspired profilesPhrase Detectiveの中で信頼度が一定以上のプロファイルを適用。
3.2 Evaluation 1: Mention Pair Accuracy10
3.3 Evaluation 2: Silver Chain Quality11
6 Conclusion12・クラウドソーシングされた照応注釈を集約するための確率モデルベースを導入し、推定ペア、相互参照チェーンの品質について実験をおこなった。・多数決で決める従来のモデルよりも優れていることを示した。