Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
Search
Yumeto Inaoka
September 27, 2019
Research
0
200
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
2019/09/27の文献紹介で発表
Yumeto Inaoka
September 27, 2019
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
110
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
150
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
110
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
110
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
78
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
250
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
170
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
160
文献紹介: Similarity-Based Reconstruction Loss for Meaning Representation
yumeto
1
160
Other Decks in Research
See All in Research
200名の育児中男性の声 「僕たちは、キャリアとライフをトレードオフにしたくない」共働き3.0世代の男性が 本当に求める働き方とは【ワーキングペアレンツの転職意識調査2023|XTalent株式会社】
xtalent
0
480
Rの機械学習フレームワークの紹介〜tidymodelsを中心に〜 / machine_learning_with_r2024
s_uryu
0
230
The Theory behind Vector DB
matsui_528
0
1.7k
DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials
tsurubee
0
370
Ground Metric Learning with applications in genomics
gpeyre
0
360
Alexander Mielke Hellinger--Kantorovich (a.k.a. Wasserstein-Fisher-Rao) Spaces and Gradient Flows
jjzhu
3
180
CASCON 2023 Most Influential Paper Award Talk
tsantalis
0
120
クリック率を最大化しない推薦システム
joisino
42
14k
MLtraq: Track your AI experiments at hyperspeed
micheda
1
110
Gmail の「メール送信者のガイドライン」強化から 1 ヵ月、今後予想されるメールセキュリティの変化とは
hirachan
1
240
CVPR2023 EarthVision Workshopより衛星画像関連論文紹介 / Satellite Imaging Processing Papers in CVPR2023 EarthVision Workshop
nttcom
0
120
Azure Arc-enabled Serversを利用した ハイブリッド・マルチクラウド環境の管理 / Managing Hybrid Multi-cloud Environments with Azure Arc-enabled Servers
nttcom
0
210
Featured
See All Featured
Optimising Largest Contentful Paint
csswizardry
8
2.4k
Product Roadmaps are Hard
iamctodd
44
9.7k
Fontdeck: Realign not Redesign
paulrobertlloyd
76
4.9k
Designing with Data
zakiwarfel
96
4.8k
Building Better People: How to give real-time feedback that sticks.
wjessup
355
18k
A Modern Web Designer's Workflow
chriscoyier
689
190k
YesSQL, Process and Tooling at Scale
rocio
164
13k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
Mobile First: as difficult as doing things right
swwweet
216
8.6k
What's in a price? How to price your products and services
michaelherold
237
11k
Building Your Own Lightsaber
phodgson
99
5.7k
Transcript
Beyond BLEU: Training Neural Machine Translation with Semantic Similarity 文献紹介
2019/09/27 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature 2
Abstract • 近年の研究では を明示的に最大化させるように システムを最適化させている ← は部分点を与えず、意味類似性を考慮しない • システムを最適化するための報酬関数を提案 →
、意味的類似性、人手評価が向上 3
Introduction • では自動評価指標を明示的に最大化するよう 学習させるのが一般的(例えば ) • 学習基準に を用いるのには問題がある ◦ 意味が類似していても単語が違えばペナルティ
◦ 部分点がないため学習で山登りが出来ない 4
Proposed method • の報酬として意味的類似性の尺度 を導入 • 意味類似性、部分点の問題に対応 • より重要な意味を持つ単語を正確に翻訳できる 5
Semantic Textual Similarity • では文の意味的類似度を出す必要がある • 今回は の研究である を用いる ◦
逆翻訳で生成した言い換えペアのデータセット ◦ 言い換えモデルから文の分散表現を獲得 6
STS model • ベースは と同じ • 文埋め込みは の平均 • 文類似度は
つの文埋め込みのコサイン類似度 7
Length Penalty • 前述の方法では長い文の生成を妨げるものがない → 長い文にペナルティを与える必要がある • の を基にして、 長さが異なるときにペナルティが加わるようにする
8
SIMILE • と を用いて を定義 • の影響を小さくする α ことでわずかに改善 9
Motivation • 意味類似度タスクとして各指標を評価 • よりも高い 10
Motivation • と を機械翻訳指標として比較 • で人手評価との相関を計算 11
Motivation • 意味類似度タスクと翻訳評価で傾向が異なる や は流暢性も捕捉する指標であるため 12
Machine Translation model • 学習手順は と同じ • モデルは • 他パラメータは論文を参照
13
Objective Functions • 基本は と同じ • コストには または を用いる •
は全ての に を加えてスムージング 14
Experiments • チェコ語 ドイツ語 ロシア語 トルコ語 から英語 への翻訳で評価 • 以外は
を として学習 と の を使用 • は を として学習 には と の と の を使用 • は を使用 15
Automatic Evaluation • 以下の目的関数で実験 ◦ ◦ ◦ ◦ − •
と で評価 16
Results (AE) • の両方で が最高性能 • の評価においてもコストは のほうが高性能 17
Human Evaluation • コストに と を使った時を人手評価で比較 • コストを変化させた時に出力が変化するものの内、 ~ トークンのものからランダムに
文を抽出 • 参照文の持つ情報を出力文が伝えているかどうか、 ~ のスコアを付与 18
Results (HE) • が 以外で 最も高いスコア は も最低 • 翻訳品質が低すぎると
は効果的でない という仮説 19
Quantitative Analysis • が最も高い の で分析 ◦ 部分点 ◦ ◦
◦ • 今回は と の結果のみ紹介する 20
Partial Credit (cost dist.) • の分布は歪んでおり コストが大きい → 学習時の情報が少ない 21
Lexical F1 • 翻訳のどこが改善するか を頻度と品詞別に分析 22
Lexical F1 (Frequency) • 低頻度単語の生成をより助ける 23
Lexical F1 (POS) • 名詞、固有名詞、数字といった文の意味への影響が 大きな品詞でより貢献している 24
Conclusion • 報酬として に変わる を提案 • が自動評価で より優れており、 人手評価との相関も高い •
意味的に重要な単語への貢献が大きい 25