Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
文献紹介: Beyond BLEU: Training Neural Machine Tran...
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
Yumeto Inaoka
September 27, 2019
Research
340
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
2019/09/27の文献紹介で発表
Yumeto Inaoka
September 27, 2019
Transcript
25 slides
Beyond BLEU: Training Neural Machine Translation with Semantic Similarity 文献紹介
2019/09/27 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature 2
Abstract • 近年の研究では を明示的に最大化させるように システムを最適化させている ← は部分点を与えず、意味類似性を考慮しない • システムを最適化するための報酬関数を提案 →
、意味的類似性、人手評価が向上 3
Introduction • では自動評価指標を明示的に最大化するよう 学習させるのが一般的(例えば ) • 学習基準に を用いるのには問題がある ◦ 意味が類似していても単語が違えばペナルティ
◦ 部分点がないため学習で山登りが出来ない 4
Proposed method • の報酬として意味的類似性の尺度 を導入 • 意味類似性、部分点の問題に対応 • より重要な意味を持つ単語を正確に翻訳できる 5
Semantic Textual Similarity • では文の意味的類似度を出す必要がある • 今回は の研究である を用いる ◦
逆翻訳で生成した言い換えペアのデータセット ◦ 言い換えモデルから文の分散表現を獲得 6
STS model • ベースは と同じ • 文埋め込みは の平均 • 文類似度は
つの文埋め込みのコサイン類似度 7
Length Penalty • 前述の方法では長い文の生成を妨げるものがない → 長い文にペナルティを与える必要がある • の を基にして、 長さが異なるときにペナルティが加わるようにする
8
SIMILE • と を用いて を定義 • の影響を小さくする α ことでわずかに改善 9
Motivation • 意味類似度タスクとして各指標を評価 • よりも高い 10
Motivation • と を機械翻訳指標として比較 • で人手評価との相関を計算 11
Motivation • 意味類似度タスクと翻訳評価で傾向が異なる や は流暢性も捕捉する指標であるため 12
Machine Translation model • 学習手順は と同じ • モデルは • 他パラメータは論文を参照
13
Objective Functions • 基本は と同じ • コストには または を用いる •
は全ての に を加えてスムージング 14
Experiments • チェコ語 ドイツ語 ロシア語 トルコ語 から英語 への翻訳で評価 • 以外は
を として学習 と の を使用 • は を として学習 には と の と の を使用 • は を使用 15
Automatic Evaluation • 以下の目的関数で実験 ◦ ◦ ◦ ◦ − •
と で評価 16
Results (AE) • の両方で が最高性能 • の評価においてもコストは のほうが高性能 17
Human Evaluation • コストに と を使った時を人手評価で比較 • コストを変化させた時に出力が変化するものの内、 ~ トークンのものからランダムに
文を抽出 • 参照文の持つ情報を出力文が伝えているかどうか、 ~ のスコアを付与 18
Results (HE) • が 以外で 最も高いスコア は も最低 • 翻訳品質が低すぎると
は効果的でない という仮説 19
Quantitative Analysis • が最も高い の で分析 ◦ 部分点 ◦ ◦
◦ • 今回は と の結果のみ紹介する 20
Partial Credit (cost dist.) • の分布は歪んでおり コストが大きい → 学習時の情報が少ない 21
Lexical F1 • 翻訳のどこが改善するか を頻度と品詞別に分析 22
Lexical F1 (Frequency) • 低頻度単語の生成をより助ける 23
Lexical F1 (POS) • 名詞、固有名詞、数字といった文の意味への影響が 大きな品詞でより貢献している 24
Conclusion • 報酬として に変わる を提案 • が自動評価で より優れており、 人手評価との相関も高い •
意味的に重要な単語への貢献が大きい 25
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
230
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
300
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
200
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
220
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
250
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
440
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
260
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
310
文献紹介: Similarity-Based Reconstruction Loss for Meaning Representation
yumeto
1
270
Other Decks in Research
See All in Research
幾何学的深層学習入門 ~3次元構造と対称性を学習するニューラルネットワーク~
taniai
3
1.1k
オンライン凸最適化の基礎とゲーム理論への応用 (IBIS 2026 チュートリアル)
taira_tsuchiya
2
1.4k
AI時代に学術情報をどう探し、どう使うか: 研究の様々な場面と一研究者の経験から
masao
0
200
実例から見るLLMのマンガ理解:実務VQAタスクによる長期的文脈と視覚情報の定性評価
kzmssk
0
230
[最先端NLP勉強会2026] Checklists Are Better Than Reward Models For Aligning Language Models
nzw0301
1
350
XDPerf: A High-Performance Traffic Generator Built with WASM and eBPF
takehaya
1
390
ICAITD 2026 Oral Presentation
rikkabotan7
0
150
Adapter les bergeries aux fortes chaleurs
institutdelelevage
PRO
0
180
論文読み会 SNLP2026 Tau2-Bench: Evaluating Conversational Agents in a Dual-Control Environment
s_mizuki_nlp
0
340
湯村研究室の紹介2026 / yumulab2026
yumulab
PRO
0
230
HackSick vol.7 LT資料【LLMアーキテクチャ入門・事前学習時の躓き所解説】 スパースなAttention・状態空間モデル
rikkabotan7
0
240
2025年度秋葉原ウォーカブルプロジェクト調査報告 「アキバらしいウォーカブル」とは何か
izumiyama_lab
1
310
Featured
See All Featured
So, you think you're a good person
axbom
PRO
2
2.3k
Paper Plane (Part 1)
katiecoart
PRO
3
12k
How GitHub (no longer) Works
holman
316
150k
Reality Check: Gamification 10 Years Later
codingconduct
0
2.4k
The Curious Case for Waylosing
cassininazir
1
610
The Spectacular Lies of Maps
axbom
PRO
1
1.1k
Product Roadmaps are Hard
iamctodd
55
13k
For a Future-Friendly Web
brad_frost
184
11k
Game over? The fight for quality and originality in the time of robots
wayneb77
1
330
Designing for Timeless Needs
cassininazir
1
560
The B2B funnel & how to create a winning content strategy
katarinadahlin
PRO
1
610
<Decoding/> the Language of Devs - We Love SEO 2024
nikkihalliwell
1
380