The Language Demographics of Amazon Mechanical Turk

文献紹介

Transcript

1. The Language Demographics of Amazon Mechanical Turk Ellie Pavlick, Matt Post, Ann Irvine, Dmitry Kachaev, and Chris Callison-Burch Transactions of the Association for Computational Linguistics, 2 (2014) 79–92. Action Editor: Mirella Lapata. Submitted 12/2013; Published 2/2014. 自然言語処理研究室 B４ 勝田 哲弘 2017/8/29 1 図、表などは論文中から引用しています。
2. 概要 • MTurk（ Mechanical Turk ）の翻訳者が話す言 語について大規模な調査を行った。 ▫ 100言語の単語を翻訳 ▫ バイリンガル辞書の作成、MTurkの国勢調査 • データの価値の実証 ▫ 6つの言語と英語のパラレルコーパスを作成 ▫ SMTのトレーニングに使用 2
3. 依頼 • 100言語に対して1000件 -1件当たり10個の単語 を英語に翻訳 ▫ その内2個は既知の単語  Gold Standard Translations • Gold Standard Translationsの評価 ▫ 不一致のものに対して同義語であるかを人目で判 断 • ６つの言語の100以上のWikiの記事を英語に翻 訳 3
4. 依頼 • 100言語に対して1000件 -1件当たり10個の単語 を英語に翻訳 ▫ その内2個は既知の単語  Gold Standard Translations • Gold Standard Translationsの評価 ▫ 不一致のものに対して同義語であるかを人目で判 断 • ６つの言語の100以上のWikiの記事を英語に翻 訳 4
5. 依頼 • 100言語に対して1000件 -1件当たり10個の単語 を英語に翻訳 ▫ その内2個は既知の単語  Gold Standard Translations • Gold Standard Translationsの評価 ▫ 不一致のものに対して同義語であるかを人目で判 断 • Wikipediaで最も頻度の高い単語 5
6. 単語の翻訳 品質評価 • 1件ごとの品質（GSTの一致度） ▫ 0, 0.5, 1 • Workerごとの品質 • 言語ごとの品質 6
7. 不正行為の判定 • Google翻訳などで自動的に翻訳を行う人が一定 数いる ▫ Google翻訳との一致度を調べ、３つに分類 • Google翻訳の可能性が高い –不正 • 合理的な重複である • ランダムなテキスト –不正 7
8. 人口分布 8
9. 不正の判定 9
10. 言語ごとの品質 10
11. 言語ごとの品質 11
12. 言語ごとの品質 12
13. 言語ごとの評価 13
14. 依頼 • 100言語に対して1000件 -1件当たり10個の単語 を英語に翻訳 ▫ その内2個は既知の単語  Gold standard translations • Gold standard translationsの評価 ▫ 不一致のものに対して同義語であるかを人目で判 断 • ６つの言語の100以上のWikiの記事を英語に翻 訳 14
15. 文の翻訳 • six Indian languages ▫ Bengali, Hindi, Malayalam, Tamil, Telugu, Urdu • 1つの文に対して4人が翻訳を行う ▫ 参照文が4つ出来る • 記事はWikipediaから 15
16. コーパスのサイズ 16
17. 翻訳の評価 17
18. まとめ • 言語能力を持ったWorkerを特定することは困難 である ▫ 高品質なデータを確保するために様々な手法を加 える必要がある。 • 翻訳の結果から辞書がBLEUを大きく向上させ ている 18