intro_paper_4.pdf

Transcript

1. Lexical Simplification with Neural Ranking 丸山 拓海 Gustavo Henrique Paetzold and Lucia Specia EACL-2017, Vol.2, pp.34–40
2. 1. 概要 ・ニューラルネットワークを用いた語彙平易化手法 ・Newsela corpus ・context-aware word embeddings model ・neural regression model ・語彙平易化タスクでトップスコアのシステムを実現 ・従来手法よりも文法/意味エラーが少ない 2
3. 2. はじめに ・語彙平易化(Lexical Simplification) : 難しい単語をより簡単なものに置き換える ・パイプライン ・難解語の識別 (Complex Word Identification: CWI) ・置換候補の生成 (Substitution Generation: SG) ・置換候補の選択 (Substitution selection: SS) ・置換候補のランク付け(Substitution Ranking: SR) 3
4. 3. 置換候補の生成 (SG) ・Newsela corpus ・context-aware word embeddings model ・単語アライメント ・フィルタリング (“同じ品詞タグを持たないもの”, “固有名詞”など) ・置換規則の一般化 : 難解語に対し、以下の条件を満たす3語を変換候補に追加 ・コサイン距離が近い ・品詞タグが同じ ・形態的な変化がない 4
5. 4. 置換候補の選択 (SS) ・ Unsupervised Boundary Ranking SS : 文脈に適合しない置換候補を削除 5 Gustavo Henrique Paetzold and Lucia Specia. 2016. Unsupervised lexical simplification for non-native speakers. In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, pages 3761–3767. AAAI Press.
6. 5. 置換候補のランク付け (SR) ・Regression : 候補1が候補2よりもどの程度平易かを表す値を生成 " , $ :候補語、 " , $ : ランク、():候補語の特徴量を与える関数 [(" ) ($ )]: " − $ 6
7. 5. 置換候補のランク付け (SR) ・Ordering : 平易さのスコアを与えて、ランク付け 置換候補の集合のペア(, , - ) モデルによって推定された値(, , - ) ・ Confidence Check : tri-gram言語モデルを用いて、信頼性のチェック ターゲット語tの位置に置換候補語cを当てはめ、信頼性を比較する 7
8. 6. 評価 ・置換候補の生成に対する評価 8
9. 6. 評価 ・置換候補のランク付けに対する評価 TRank:ランキングの信頼性 (相関係数): 平易さの度合 9
10. 6. 評価 ・フルパイプラインの評価 10 ・Accuracy : 最もランクの高い候補に置き換えられた割合 ・Precision: 最もランクの高い候補に置換または置換なしの割合
11. 7. エラー分析 3A: 置換候補が生成されなかったもの 3B: より平易な候補が生成されないもの 4 : 置換により文の意味や文法を損なうもの 5 : 置換しても平易ではないもの 1 :エラーなし 2A: 複雑語が平易として分類 2B: 平易語が複雑として分類 11
12. 8. まとめ ・ニューラルネットワークを用いた語彙平易化手法 ・Newsela corpus ・context-aware word embeddings model ・neural regression model ・語彙平易化タスクでトップスコアのシステムを実現 ・従来手法よりも文法/意味エラーが少ない ・置換候補の生成 ・置換候補の選択 12