Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
文献紹介:The Word Sense Disambiguation Test Suite at WMT18
masaya82
December 16, 2018
0
36
文献紹介:The Word Sense Disambiguation Test Suite at WMT18
masaya82
December 16, 2018
Tweet
Share
More Decks by masaya82
See All by masaya82
文献紹介 : More is not always better: balancing sense distributions for all-words
masaya82
0
73
文献紹介:Enhancing Modern Supervised Word Sense Disambiguation Models
masaya82
0
68
文献紹介:Preposition Sense Disambiguation and Representation
masaya82
0
63
文献紹介:Word Sense Disambiguation Based on Word Similarity Calculation Using Word Vector Representation from a Knowledge-based Graph
masaya82
0
86
Distributional Lesk: Effective Knowledge-Based Word Sense Disambiguation
masaya82
0
53
Japanese all-words WSD system using the Kyoto Text Analysis ToolKit
masaya82
0
32
Improving Word Sense Disambiguation in Neural Machine Translation with Sense Embeddings
masaya82
0
64
Learning_to_Identify_the_Best_Contexts_for_Knowledge-based_WSD
masaya82
0
61
Using Linked Disambiguated Distributional Networks for Word Sense Disambiguation
masaya82
0
36
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
12
890
XXLCSS - How to scale CSS and keep your sanity
sugarenia
236
1M
VelocityConf: Rendering Performance Case Studies
addyosmani
316
22k
Docker and Python
trallard
27
1.5k
A designer walks into a library…
pauljervisheath
196
16k
Designing for Performance
lara
596
63k
How GitHub (no longer) Works
holman
296
140k
How GitHub Uses GitHub to Build GitHub
holman
465
280k
Thoughts on Productivity
jonyablonski
43
2.2k
Navigating Team Friction
lara
175
11k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
224
49k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
19
1.4k
Transcript
The Word Sense Disambiguation Test Suite at WMT18 Annette Rios,
Mathias Muller, Rico Sennrich 2018 12/17 文献紹介 長岡技術科学大学 自然言語処理研究室 福嶋 真也 Proceedings of the Third Conference on Machine Translation (WMT), Volume 2: Shared Task Papers, pages 588–596 Belgium, Brussels, October 31 - Novermber 1, 2018.
2 Abstract • Machine Translation(MT)におけるWSDの性能評 価のためのテストセットを作成 • submissionされたシステムで評価し、いくつかの知 見を得られた。
3 introduction • 自動翻訳において語義曖昧性解消は重要 →語義の選択ミスが翻訳に影響するため • BLUEなどの評価方法では、細かく評価することが 出来ない • 以前の評価ではNMTが自然な翻訳をしているという結果
→しかし、妥当性があるとは限らない
4 introduction • 本論文での目的 再現可能かつ半自動的な手法で WSDと妥当性の面から定量的な評価を行う。 そのために・・・ 目的に適したテストセットと評価方法を提案
5 Test set ・評価の対象 語義によって翻訳結果が異なるような語 ・テストセットの構築 ContraWSD (Rios Gonzales et
al., 2017) をベースに構築 詳細は次ページヘ
6 Test set ・対象単語 Germanで語義曖昧性を持つ20個の単語 (語義の総数:45個) ・構成 対象単語の語義それぞれに対して最大100個の 例文を抽出した、合計3249個のGerman–English の
文のペア
7 Test set ・ベースとの変更点 MTシステムの出力(翻訳結果)を評価 →そのため翻訳結果が複数の意味にとれる単語を 対象単語から削除 例:De:Stelle → En: job
/ place Stelle position job? place?
8 Evaluation method • 自動評価と手作業での評価を併用 ・自動評価 出力された文が ・正しく翻訳できているか ・正しくない場合、他の意味で翻訳が 行われているか
を評価
9 Evaluation method ・自動評価 1.対象単語が正しく翻訳されている場合 →正しいと判断 2.対象単語が誤って翻訳されている場合 →誤りと判断 3.正しい翻訳と間違った翻訳が共に存在する場合 →手作業で検査
4.既知の翻訳結果とは異なる翻訳結果の場合 →手作業で検査
10 MT system evaluation • German-EnglishのWMT’18 shared translation に提出されたMTシステムを評価 加えて、
・Edinburghらのneural system ・Edinburghらのsyntax-based system も評価
11 Result • accuracyとBLUEでの比較
12 Result • accuracyとBLUEでの比較
13 Result • システム間の比較 Unsupervised もしくは ルールベースのシステム
14 Result • NMTシステムの比較 ・NMTシステムの改善
15 Conclusion • MTシステムにおける語彙選択のパフォーマンスを評価 • テストセットの作成で制約を加えることで、ほとんど自動で 評価することが可能となった →ただし、この評価でも限界はある • 比較によって翻訳モデルが年々改善されていること、そして
教師なしのシステムはあまりMTシステムに向かないことが 明らかになった
16
17 テストセット ・対象単語
18 評価方法 • 3.の例
19 Future work • 今回は限定された名詞を使用して評価 →語彙選択の誤り問題において大部分を占める動 詞や副詞などを含むもので評価を行うことに興 味がある。