Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
intro_paper_3.pdf
Search
MARUYAMA
March 29, 2017
0
89
intro_paper_3.pdf
MARUYAMA
March 29, 2017
Tweet
Share
More Decks by MARUYAMA
See All by MARUYAMA
vampire.pdf
tmaru0204
0
170
Misspelling_Oblivious_Word_Embedding.pdf
tmaru0204
0
180
Simple_Unsupervised_Summarization_by_Contextual_Matching.pdf
tmaru0204
0
170
Controlling_Text_Complexity_in_Neural_Machine_Translation.pdf
tmaru0204
0
160
20191028_literature-review.pdf
tmaru0204
0
150
Hint-Based_Training_for_Non-Autoregressive_Machine_Translation.pdf
tmaru0204
0
130
Soft_Contextual_Data_Augmentation_for_Neural_Machine_Translation_.pdf
tmaru0204
0
160
An_Embarrassingly_Simple_Approach_for_Transfer_Learning_from_Pretrained_Language_Models_.pdf
tmaru0204
0
150
Addressing_Trobulesome_Words_in_Neural_Machine_Translation.pdf
tmaru0204
0
150
Featured
See All Featured
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Why Our Code Smells
bkeepers
PRO
336
57k
Agile that works and the tools we love
rasmusluckow
329
21k
A Tale of Four Properties
chriscoyier
160
23k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Statistics for Hackers
jakevdp
799
220k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
960
Balancing Empowerment & Direction
lara
1
430
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
Fireside Chat
paigeccino
37
3.5k
BBQ
matthewcrist
89
9.7k
Transcript
言語横断質問応答に適した 機械翻訳評価尺度の調査 丸山 拓海 杉山享志朗・水上 雅博・Graham Neubig・吉野幸一郎 ・ 鈴木 優
・中村 哲 自然言語処理 Vol.23 (2016) No.5 pp. 437-461
1 概要 ・複数の評価尺度を用いて, 質問応答精度と翻訳精度との 相関を調査 ・質問応答システムが高い精度で解答するためには, 大規模な知識ベースが必要 ・小規模の知識ベースしか持たない言語 言語横断質問応答 ・質問応答システムに適した翻訳システムの評価尺度は,
人間の直感に相関する評価尺度とは必ずしも合致しない 2
2 はじめに (2) 言語横断質問応答に適した翻訳が可能か ・事実型質問応答 ・調査 (1) 言語横断質問応答に対する翻訳結果の影響 :情報源から解答を検索することによって実現 3
翻訳結果がどのように言語横断質問応答精度に影響を与えるか 3 言語横断質問応答精度に影響する 翻訳結果の調査 4
・翻訳を用いたデータセットの生成 英語質問セット:Free917(OR) Tree-to-string翻訳(Tra) 人手翻訳(HT) 商用翻訳システム(Google:GT, Yahoo!:YT) フレーズベース機械翻訳(Mo) 3 言語横断質問応答精度に影響する 翻訳結果の調査
5
・質問応答システム: SEMPRE ・アライメント : 質問文中からクエリの一部となる エンティティやプロパティを生成 ・ブリッジング : 知識ベースに入力するクエリを生成 ・スコアリング
: 候補の導出過程を評価 3 言語横断質問応答精度に影響する 翻訳結果の調査 6
・翻訳された質問セットの訳質評価 ・翻訳された質問セットを用いた質問応答 ・質問応答精度と機械翻訳自動評価尺度の関係 3 言語横断質問応答精度に影響する 翻訳結果の調査 7
▪ 翻訳された質問セットの訳質評価 3 言語横断質問応答精度に影響する 翻訳結果の調査 ※ Acceptability(人間による5段階評価を正規化) ・GTとYTの比較: BLEUとNISTにおいてはGTが高く RIBESとAcceptabilityではYTが高い
8
3 言語横断質問応答精度に影響する 翻訳結果の調査 ▪ 翻訳された質問セットを用いた質問応答 ・YT: AcceptabilityはGTより高いが, 質問応答精度はGTより低い 人間にとって良い翻訳が質問応答に適する翻訳とは限らない ・264問の質問応答を行い,質問応答精度を測定
9
3 言語横断質問応答精度に影響する 翻訳結果の調査 ▪ 質問応答精度と機械翻訳自動評価尺度の関係 ・質問セットをORに基づいて正解と不正解に分類 不正解グループ:123問×5 正解グループ: 141問×5 10
・正解グループにおける質問応答精度と訳質評価値 11
4 自動評価尺度を用いた質問応答精度 改善 ・翻訳器からNベスト出力を得る ・質問応答精度と相関の強い評価尺度を用いて翻訳結果を選択 既存の資源・システムを用いて言語横断質問応答精度を向上させる 可能性を探る 12
4 自動評価尺度を用いた翻訳結果選択 による質問応答精度改善 ・翻訳100ベストの中から最もNISTの高い翻訳を使用 ▪ リスコアリングされた翻訳結果を用いた質問応答 ・質問応答精度と高い相関を持つ評価尺度に最適化することで, 質問応答精度の高い翻訳結果を得ることが可能 13
5 まとめ ・翻訳結果が質問応答の結果に与える影響について調査 ・翻訳精度評価, 言語横断質問応答精度の評価, 両者の関係 NISTスコアが質問応答精度と高い相関をもつ 人間にとって良い翻訳が必ずしも質問応答に適しているとは限らない ・NIST スコアに基づいて選択された翻訳結果の質問応答
機械翻訳器の最適化を行うことで、言語横断応答精度を改善できる ・日英以外の言語対における言語横断質問応答 ドイツ語, 中国語, ベトナム語 - 英語間で内容語を重視する訳質評価尺度が 質問応答精度と相関が高い傾向 14