Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Integrating Meaning into Quality Evaluati...
Search
Yumeto Inaoka
August 30, 2017
Technology
0
100
文献紹介: Integrating Meaning into Quality Evaluation of Machine Translation
2017/08/30の文献紹介で発表
Yumeto Inaoka
August 30, 2017
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
190
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
240
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
160
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
170
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
160
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
280
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
340
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
230
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
230
Other Decks in Technology
See All in Technology
サラリーマンの小遣いで作るtoCサービス - Cloudflare Workersでスケールする開発戦略
shinaps
2
470
【NoMapsTECH 2025】AI Edge Computing Workshop
akit37
0
230
はじめてのOSS開発からみえたGo言語の強み
shibukazu
4
1k
「その開発、認知負荷高すぎませんか?」Platform Engineeringで始める開発者体験カイゼン術
sansantech
PRO
2
880
Android Audio: Beyond Winning On It
atsushieno
0
3.4k
AIエージェントで90秒の広告動画を制作!台本・音声・映像・編集をつなぐAWS最新アーキテクチャの実践
nasuvitz
3
360
5分でカオスエンジニアリングを分かった気になろう
pandayumi
0
260
人工衛星のファームウェアをRustで書く理由
koba789
15
8.3k
Firestore → Spanner 移行 を成功させた段階的移行プロセス
athug
1
500
現場で効くClaude Code ─ 最新動向と企業導入
takaakikakei
1
260
品質視点から考える組織デザイン/Organizational Design from Quality
mii3king
0
210
CDK CLIで使ってたあの機能、CDK Toolkit Libraryではどうやるの?
smt7174
4
190
Featured
See All Featured
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Writing Fast Ruby
sferik
628
62k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Optimizing for Happiness
mojombo
379
70k
Done Done
chrislema
185
16k
The Invisible Side of Design
smashingmag
301
51k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
3k
Fireside Chat
paigeccino
39
3.6k
Speed Design
sergeychernyshev
32
1.1k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Transcript
Integrating Meaning into Quality Evaluation of Machine Translation Proceedings of
EACL 2017, Vol. 1, Long Papers, pages 210-219. 1 文献紹介(2017/08/30) 自然言語処理研究室 稲岡 夢人
概要 • 機械翻訳(MT)の品質はMTの出力と人間の 翻訳を比較して評価している • 上のような評価は形式に関連した特徴 (語彙や文法)に依存し意味の伝達は無視 • 意味に関連する特徴と他の評価指標を組み合 わせて人手評価を予測
2
既存手法の問題点 • MTはよく意味を保持しない翻訳を行う • BLEU, METEORはMTによる意味の変化を 直接考慮して評価していない 3
自動評価と人手評価の差 人手評価で最低の評価となった4文 1. badlyが消えて意味が失われている 2. 否定文が肯定文になっている 3. 不確かな情報を生成している 4. 形式が異なっている
4
自動評価と人手評価の差 • MTの評価では主に語彙や文法に焦点を当て ている • 下のような出力に高いスコアを与えやすい 5
本研究で行っていること • 意味に関連する特徴が人手評価に影響を与 えるのかを調べる • MTの評価における形式や意味に関連する特 徴を比較 • 形式と意味に関連する特徴を組み合わせるこ とで既存の評価手法を改善できるか測定
6
意味に関連した特徴 • Sentiment Polarity : 肯定, 否定的な感情 を持つか • Subjectivity
: 意見を表現するか • Connotation : 文化, 感情的な連想 • Negation : 肯定的記述を否定的に変化 • Speculation : 確実性のレベルを表現 • Readability : 文長, 音節数による可読性 • Formality : 文が形式的であるか 7
個々の特徴が品質に与える影響 • それぞれの特徴と人手評価の相関を調べる • データセットはWMT15の目的言語が英語で あるものを使用 8
個々の特徴が品質に与える影響 9
個々の特徴が品質に与える影響 • ベースラインより意味関連の特徴が上回る • Formality-RBが最も相関の強い特徴 • BLEU, METEOR, DPMFCombがそれより 強い相関を示す
10
複合の特徴が品質に与える影響 • 意味に関する特徴を全て用いて利用 • 意味に関する特徴全てとBLEU, METEOR, DPMFCombを組み合わせて利用 • 上のアンサンブルシステムの構築には RandomForestと呼ばれる手法を用いる
11
複合の特徴が品質に与える影響 12
複合の特徴が品質に与える影響 • 意味に関連する特徴を複合したものは BLEUより優れている • それをBLEU, METEOR, DPMFcombと 組み合わせるとさらに性能が向上 •
従来の評価手法がこれらの特徴を 補足できていないことを意味している 13
結論 • 人手評価によって高評価なMTシステムは 意味に関連した特徴を保持する • 意味に関連した特徴を用いた評価は 人手評価と高い相関を示す • 既存の評価手法と組み合わせることで より正確に人手評価を予測できる
14