機械翻訳システムの誤り分析のための誤り箇所選択手法

文献紹介（17.3.28）
長岡技術科学大学
自然言語処理研究室

Transcript

1. 機械翻訳システムの誤り分析の ための誤り箇所選択手法 赤部 晃一, Graham Neubig, Sakriani Sakti, 戸田 智基, 中村 哲 自然言語処理, Vol. 23, No. 1, pp. 87-117, 2016 文献紹介 平成29年3月28日 長岡技術科学大学 自然言語処理研究室 小川耀一朗
2. 概要 目的： 機械翻訳システムの比較・改善のための誤り分析の効率化 従来手法： 単純にシステムの翻訳結果と正解訳の差異に着目して分析 提案手法： 機械翻訳の誤り箇所選択法、選択箇所のフィルタリング法 結果： 従来手法より高い精度で適切な誤り箇所を捉えることに成功 優先的に選択された少量の誤り箇所からシステムの誤り傾 向を捉えることに成功 2/21
3. 研究背景 u最近の機械翻訳システムはシステムの内部が複雑化して おり、翻訳システムの傾向を事前に把握することが難しい u翻訳結果に注目→システムの問題点、システム同士を比 較 u翻訳結果の誤り分析は労力がいる→効率化 3/21
4. 提案手法 先行研究： • 参照文と翻訳結果の差分で誤り分析 • 同様の意味でありながら表層的な文字列が異なる場合に、 不一致箇所を誤り箇所と判断してしまう 提案手法： • 誤りと判断されたものの内、より誤りの可能性の高い箇所 を優先的に捉える手法 翻訳結果を生成 →誤り分析を優先的に行うべき箇所を選択 →選択箇所を人手により分析 4/21
5. 誤りの可能性をスコア付け 誤りの可能性が高い箇所から順に提示 →人手による誤り分析の効率が上がる 手法： nランダム選択 n誤り頻度に基づく選択 n自己相互情報量に基づく選択 n平滑化された条件付き確率に基づく選択 n識別言語モデルの重みに基づく選択 5/21
6. ベースライン nランダム選択 • 順位づけを行わない誤り分析 n誤り傾向に基づく選択 • 翻訳結果に多く含まれ、正解訳に含まれない回数が多 いn-gramを重点的に分析する • 頻繁に発生する誤りが必ずしも分かりやすく有用な誤り とは限らない • 目的言語に頻繁に出現するn-gramが分析対象の上位 を占めてしまう 6/21
7. 提案手法1 n自己相互情報量に基づく選択 • 誤り頻度の高いn-gramと翻訳結果との関係性をスコア づけ • 翻訳結果と関係が強いn-gramは、正解訳との関係は 逆に弱くなる 7/21
8. 提案手法2 n平滑化された条件付き確率に基づく選択 • 誤り頻度の高いn-gramがシステムの出力に含まれな がら参照文に含まれない確率をスコアとする 8/21
9. 提案手法3 n識別言語モデルの重みに基づく選択 • 言語モデル →自然な出力言語文の特徴を捉えるように学習される • 識別言語モデル →起こりやすい出力誤りを修正するように学習される 9/21
10. スコア計算に用いる正解訳の選択 参照訳： 正解訳として事前に人手で翻訳されたもの → 使用する語彙が翻訳結果と異なる場合が多い オラクル訳： 機械翻訳システムが出力した翻訳候補の中で、自動評 価尺度により最も高いスコアが与えられた文 参照訳に近い表現を維持しながらシステムの翻訳に近づく 10/21
11. 誤り候補n-gramのフィルタリング n厳密一致フィルタリング 誤り箇所のn-gramが、正解訳の一部に厳密一致するか どうかを確認し、一致する場合は選択を行わない n換言によるフィルタリング 表層的に異なるが意味が等しい文字列の場合、厳密一 致フィルタリングでは誤選択になる 換言データベースから正解訳の全単語に対して換言を 検出し、換言が誤り候補にあったら候補から除外する 11/21
12. 選択された誤り箇所の調査 u各手法によって順位付けされた誤りn-gramを人手で分析 u各誤り箇所選択手法によって選択された箇所が、機械翻 訳の誤り箇所を捉えているかをアノテーション →誤り箇所の適合率を測定 u誤り箇所を捉えている場合は、誤りの種類をアノテーショ ン { 文脈依存置換誤り, 文脈非依存置換誤り, 挿入誤り, 削除誤り, 並べ替え誤り, 活用誤り } 12/21
13. 実験設定 コーパス： 京都フリー翻訳タスク（KFTT）（Neubig 2011）日英翻訳 単一の機械翻訳システム： Travatarツールキット(Neubig 2013)に基づくforest-to- string(F2S) システム比較： Mosesツールキットに基づくフレーズベース翻訳システム (PBMT) 階層的フレーズベースシステム(HIERO) 13/21
14. 選択するn-gramの個数と適合率の関係 識別言語モデルの重みに基づく選択が誤り箇所を高い精度 で捉えている 14/21
15. 選択されたn-gramの統計 上位30個に選ばれた誤りn-gramを選択した際の誤り箇所適 合率 15/21
16. システム間比較 分析対象とするシステムによって含まれる誤りの分布が異な る→上位30個の誤りn-gramで分析 16/21
17. 選択箇所に対するフィルタリングの効果 誤り箇所に対し、各フィルタリング法を適用した際の効果に ついて、誤り箇所アノテーションコーパスを用いた自動評価 により検証する 自動評価： 機械翻訳結果を後編集した際の編集パターンを利用した 手法（赤部, Neubig, Sakti, 戸田, 中村 2014b） 評価： 翻訳結果を後編集したコーパスを作成 (KFTTセット, 日英翻訳503文, 英日翻訳200文) 翻訳結果の誤り部分にラベルを付与し、これを誤り箇所 に正解ラベルとする 正解ラベルをどの程度予測できるかを評価 17/21
18. 選択箇所に対するフィルタリングの効果 正解訳の換言を用いたフィルタリングで誤り箇所の選択の精 度が向上 18/21
19. 誤り箇所選択の分析における効果 実際の誤り分析を想定し、各誤り箇所選択手法を用いて一 定時間分析を行った 参照訳の換言によるフィルタリングを利用 手順： 1. 各手法によってn-gramにスコアを与える 2. 優先的に分析すべき順に抽出する 3. 翻訳結果の中で各n-gramが含まれている文を列挙 4. フィルタリング処理後、n-gramに一致する箇所を選択 5. 分析者は選択した箇所について誤り分析を行う 6. 「文脈依存誤り」か「文脈非依存誤り」かを記録 19/21
20. 誤り箇所選択の分析における効果 識別言語モデルの重みに基づく手法で修正が容易 な誤りを早期に発見 →システムの改善を比較的効率よく行える 20/21
21. まとめ u機械翻訳システムの比較・改善のための誤り分析の効率 化のため、機械翻訳の誤り箇所選択法、及び選択箇所の フィルタリング法を提案 u従来法より高い精度で適切な誤り箇所を捉えることに成功 u優先的に選択された少量の誤り箇所を分析するだけで各 システムの誤り傾向を捉えることができ、システム間比較 の効率化に貢献 u容易に修正可能な文脈非依存誤りについて、提案手法に より比較的早い段階から捉えることが可能 21/21