Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
文献紹介: Integrating Meaning into Quality Evaluation of Machine Translation
Yumeto Inaoka
August 30, 2017
Technology
0
74
文献紹介: Integrating Meaning into Quality Evaluation of Machine Translation
2017/08/30の文献紹介で発表
Yumeto Inaoka
August 30, 2017
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
70
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
95
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
74
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
76
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
50
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
150
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
180
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
120
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
130
Other Decks in Technology
See All in Technology
SmartHRからOktaへのSCIM連携で作り出すHRドリブンのアカウント管理
jousysmiler
1
110
目指せCoverage100%! AutoScale環境におけるSavings Plans購入戦略 / JAWS-UG_SRE_Coverage
taishin
0
460
もし本番ネットワークをまるごと仮想環境に”コピー”できたらうれしいですか? / janog51
corestate55
0
340
データベースの発表には RDBMS 以外もありますよ
maroon1st
0
230
金属加工屋の営業マンがSTマイクロで・・・
usashirou
0
150
PCI DSS に準拠したシステム開発
yutadayo
0
300
メドレー エンジニア採用資料/ Medley Engineer Guide
medley
3
5k
S3とCloudWatch Logsの見直しから始めるコスト削減 / Cost saving S3 and CloudWatch Logs
shonansurvivors
0
210
AWS re:Invent 2022で発表された新機能を試してみた ~Cloud OperationとSecurity~ / New Cloud Operation and Security Features Announced at AWS reInvent 2022
yuj1osm
1
180
API連携に伴う規制と対応 / Regulations and responses to API linkage
moneyforward
0
140
ユーザーテストガイドライン VERSION 2.0
kouzoukaikaku
0
850
立ち止まっても、寄り道しても / even if I stop, even if I take a detour
katoaz
0
170
Featured
See All Featured
VelocityConf: Rendering Performance Case Studies
addyosmani
317
22k
Building an army of robots
kneath
301
40k
Rebuilding a faster, lazier Slack
samanthasiow
69
7.5k
Thoughts on Productivity
jonyablonski
49
2.7k
5 minutes of I Can Smell Your CMS
philhawksworth
198
18k
The Brand Is Dead. Long Live the Brand.
mthomps
48
2.9k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
22
1.7k
How New CSS Is Changing Everything About Graphic Design on the Web
jensimmons
214
12k
Infographics Made Easy
chrislema
235
17k
The Mythical Team-Month
searls
210
40k
Making the Leap to Tech Lead
cromwellryan
117
7.7k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
24
4.5k
Transcript
Integrating Meaning into Quality Evaluation of Machine Translation Proceedings of
EACL 2017, Vol. 1, Long Papers, pages 210-219. 1 文献紹介(2017/08/30) 自然言語処理研究室 稲岡 夢人
概要 • 機械翻訳(MT)の品質はMTの出力と人間の 翻訳を比較して評価している • 上のような評価は形式に関連した特徴 (語彙や文法)に依存し意味の伝達は無視 • 意味に関連する特徴と他の評価指標を組み合 わせて人手評価を予測
2
既存手法の問題点 • MTはよく意味を保持しない翻訳を行う • BLEU, METEORはMTによる意味の変化を 直接考慮して評価していない 3
自動評価と人手評価の差 人手評価で最低の評価となった4文 1. badlyが消えて意味が失われている 2. 否定文が肯定文になっている 3. 不確かな情報を生成している 4. 形式が異なっている
4
自動評価と人手評価の差 • MTの評価では主に語彙や文法に焦点を当て ている • 下のような出力に高いスコアを与えやすい 5
本研究で行っていること • 意味に関連する特徴が人手評価に影響を与 えるのかを調べる • MTの評価における形式や意味に関連する特 徴を比較 • 形式と意味に関連する特徴を組み合わせるこ とで既存の評価手法を改善できるか測定
6
意味に関連した特徴 • Sentiment Polarity : 肯定, 否定的な感情 を持つか • Subjectivity
: 意見を表現するか • Connotation : 文化, 感情的な連想 • Negation : 肯定的記述を否定的に変化 • Speculation : 確実性のレベルを表現 • Readability : 文長, 音節数による可読性 • Formality : 文が形式的であるか 7
個々の特徴が品質に与える影響 • それぞれの特徴と人手評価の相関を調べる • データセットはWMT15の目的言語が英語で あるものを使用 8
個々の特徴が品質に与える影響 9
個々の特徴が品質に与える影響 • ベースラインより意味関連の特徴が上回る • Formality-RBが最も相関の強い特徴 • BLEU, METEOR, DPMFCombがそれより 強い相関を示す
10
複合の特徴が品質に与える影響 • 意味に関する特徴を全て用いて利用 • 意味に関する特徴全てとBLEU, METEOR, DPMFCombを組み合わせて利用 • 上のアンサンブルシステムの構築には RandomForestと呼ばれる手法を用いる
11
複合の特徴が品質に与える影響 12
複合の特徴が品質に与える影響 • 意味に関連する特徴を複合したものは BLEUより優れている • それをBLEU, METEOR, DPMFcombと 組み合わせるとさらに性能が向上 •
従来の評価手法がこれらの特徴を 補足できていないことを意味している 13
結論 • 人手評価によって高評価なMTシステムは 意味に関連した特徴を保持する • 意味に関連した特徴を用いた評価は 人手評価と高い相関を示す • 既存の評価手法と組み合わせることで より正確に人手評価を予測できる
14