Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Integrating Meaning into Quality Evaluati...
Search
Yumeto Inaoka
August 30, 2017
Technology
0
89
文献紹介: Integrating Meaning into Quality Evaluation of Machine Translation
2017/08/30の文献紹介で発表
Yumeto Inaoka
August 30, 2017
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
150
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
200
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
130
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
140
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
120
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
240
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
300
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
200
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
200
Other Decks in Technology
See All in Technology
クラウド食堂とは?
hiyanger
0
120
事業モメンタムを生み出すプロダクト開発
macchiitaka
0
100
Cracking the Coding Interview 6th Edition
gdplabs
14
28k
わたしがEMとして入社した「最初の100日」の過ごし方 / EMConfJp2025
daiksy
14
5.3k
Охота на косуль у древних
ashapiro
0
120
アジャイルな開発チームでテスト戦略の話は誰がする? / Who Talks About Test Strategy?
ak1210
1
660
開発組織を進化させる!AWSで実践するチームトポロジー
iwamot
2
490
AIエージェント元年@日本生成AIユーザ会
shukob
1
240
IAMポリシーのAllow/Denyについて、改めて理解する
smt7174
2
210
OPENLOGI Company Profile for engineer
hr01
1
20k
MIMEと文字コードの闇
hirachan
2
1.4k
Ruby on Railsで持続可能な開発を行うために取り組んでいること
am1157154
3
160
Featured
See All Featured
Six Lessons from altMBA
skipperchong
27
3.6k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Thoughts on Productivity
jonyablonski
69
4.5k
A Tale of Four Properties
chriscoyier
158
23k
How STYLIGHT went responsive
nonsquared
99
5.4k
Writing Fast Ruby
sferik
628
61k
Automating Front-end Workflow
addyosmani
1369
200k
Being A Developer After 40
akosma
89
590k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
The Invisible Side of Design
smashingmag
299
50k
Optimizing for Happiness
mojombo
377
70k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
Transcript
Integrating Meaning into Quality Evaluation of Machine Translation Proceedings of
EACL 2017, Vol. 1, Long Papers, pages 210-219. 1 文献紹介(2017/08/30) 自然言語処理研究室 稲岡 夢人
概要 • 機械翻訳(MT)の品質はMTの出力と人間の 翻訳を比較して評価している • 上のような評価は形式に関連した特徴 (語彙や文法)に依存し意味の伝達は無視 • 意味に関連する特徴と他の評価指標を組み合 わせて人手評価を予測
2
既存手法の問題点 • MTはよく意味を保持しない翻訳を行う • BLEU, METEORはMTによる意味の変化を 直接考慮して評価していない 3
自動評価と人手評価の差 人手評価で最低の評価となった4文 1. badlyが消えて意味が失われている 2. 否定文が肯定文になっている 3. 不確かな情報を生成している 4. 形式が異なっている
4
自動評価と人手評価の差 • MTの評価では主に語彙や文法に焦点を当て ている • 下のような出力に高いスコアを与えやすい 5
本研究で行っていること • 意味に関連する特徴が人手評価に影響を与 えるのかを調べる • MTの評価における形式や意味に関連する特 徴を比較 • 形式と意味に関連する特徴を組み合わせるこ とで既存の評価手法を改善できるか測定
6
意味に関連した特徴 • Sentiment Polarity : 肯定, 否定的な感情 を持つか • Subjectivity
: 意見を表現するか • Connotation : 文化, 感情的な連想 • Negation : 肯定的記述を否定的に変化 • Speculation : 確実性のレベルを表現 • Readability : 文長, 音節数による可読性 • Formality : 文が形式的であるか 7
個々の特徴が品質に与える影響 • それぞれの特徴と人手評価の相関を調べる • データセットはWMT15の目的言語が英語で あるものを使用 8
個々の特徴が品質に与える影響 9
個々の特徴が品質に与える影響 • ベースラインより意味関連の特徴が上回る • Formality-RBが最も相関の強い特徴 • BLEU, METEOR, DPMFCombがそれより 強い相関を示す
10
複合の特徴が品質に与える影響 • 意味に関する特徴を全て用いて利用 • 意味に関する特徴全てとBLEU, METEOR, DPMFCombを組み合わせて利用 • 上のアンサンブルシステムの構築には RandomForestと呼ばれる手法を用いる
11
複合の特徴が品質に与える影響 12
複合の特徴が品質に与える影響 • 意味に関連する特徴を複合したものは BLEUより優れている • それをBLEU, METEOR, DPMFcombと 組み合わせるとさらに性能が向上 •
従来の評価手法がこれらの特徴を 補足できていないことを意味している 13
結論 • 人手評価によって高評価なMTシステムは 意味に関連した特徴を保持する • 意味に関連した特徴を用いた評価は 人手評価と高い相関を示す • 既存の評価手法と組み合わせることで より正確に人手評価を予測できる
14