文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference

Transcript

1. A Probabilistic Annotation Model
   for Crowdsourcing Coreference
   文献紹介
   2020/2/3
   長岡技術科学大学
   自然言語処理研究室 吉澤 亜斗武
   

   View Slide

2. Abstract
   ・クラウドソーシングで注釈がつけられた共参照の
   データセットのためのモデルを提案
   ・質の異なるアノテーターをシュミレーションして
   データを生成
   ・提案モデルはアノテーターの質を考慮し、
   従来のモデルのF1値を上回った。
   2
   

   View Slide

3. 1. Introduction
   ・共参照の問題は談話エンティティなどで非常に重要
   ・現在、ONTONOTESを基とした中規模データセット
   CONLL2012-dataset を使うのがほとんど
   ・しかし適用できない言語やドメインが多くあり、アノテート
   されたデータセットが求められるが、専門家だけでは
   データサイズに限界がある
   3
   

   View Slide

4. 1. Introduction
   ・そこでクラウドソーシングが求められるが、照応の集約が
   上手く行かないことが多い。
   ・従来は単純な多数決がとられてきたが、近年になって効率的な
   集約方法への研究が行われつつある。
   ・クラウドソースの照応注釈を集約する言及ペアベースの
   確率モデルを提案
   4
   

   View Slide

5. 2. A Mention-Pair Model of Annotation
   5
   

   View Slide

6. 2.1 Parameter Estimation
   6
   ELBO最大化：Coordinate AscentVariational Inference (CAVI)
   

   View Slide

7. 3.1.1 Crowdsourced Data
   7
   Phrase Detectives 1.0
   ・クラウドソーシングでアノテーション
   ・談話の新・旧（先行詞）など５つのマーク
   ・45文書、6000マーク →トレーニングに向かかない
   → CONLL-2012 dataset からデータを作る
   

   View Slide

8. 3.1.2 Synthetic Data
   8
   アノテーターをシミュレーションとして訓練データを生成
   精度が0.2から0.9のアノテーターが混在するようにする
   ・Uniform：一様に誤りを生じさせる。
   ・Sparse：局所的に誤りを生じさせる。
   

   View Slide

9. 3.1.2 Synthetic Data
   9
   ・Synthetic profiles
   ５つの精度が異なるプロファイル（ラベル）をつける
   専門家と一般の人が混ざっている状況を再現
   ・Phrase Detectives inspired profiles
   Phrase Detectiveの中で信頼度が一定以上のプロファイルを
   適用。
   

   View Slide

10. 3.2 Evaluation 1: Mention Pair Accuracy
    10
    

    View Slide

11. 3.3 Evaluation 2: Silver Chain Quality
    11
    

    View Slide

12. 6 Conclusion
    12
    ・クラウドソーシングされた照応注釈を集約するための
    確率モデルベースを導入し、推定ペア、
    相互参照チェーンの品質について実験をおこなった。
    ・多数決で決める従来のモデルよりも優れていることを
    示した。
    

    View Slide