Interpretability for Language Learners Using Example-Based Grammatical Error Correction@NLP コロキウム

https://nlp-colloquium-jp.github.io/schedule/2022-07-06_masahiro-kaneko/

Transcript

1. Interpretability for Language Learners Using Example-Based Grammatical Error Correction NLPコロキウム 2022/07/06 ⾦⼦ 正弘、⾼瀬 翔、丹⽻ 彩奈、岡崎 直観
2. ⾃⼰紹介 • 名前︓⾦⼦ 正弘 • https://sites.google.com/view/masahirokaneko • https://twitter.com/MasahiroKaneko_ • 研究歴 • 2021.04 – 現在︓研究員@東⼯⼤ 岡崎研 • 2016 – 2021︓修⼠と博⼠@都⽴⼤ ⼩町研 • 2012 – 2016︓学⼠@北⾒⼯⼤ • 趣味︓筋トレ💪、猫🐈 1 ACL2022 ダブリン🇮🇪‍
3. ⼈と研究するのが好きなので、このあたり興味がある⽅がいればぜひ⼀緒にやりましょう︕ 来週NAACLに現地参加するので、参加する⽅がいたら仲良くしてください︕ 今まで取り組んできた研究トピック 2 公平性 単語分散表現の公平性 ACL2019, EACL2021, arXiv2022 ⾔語モデルの公平性 EACL2021, AAAI2022, NAACL2022 多義語に関する公平性 ACL2022 分散表現 ⽂法誤りを考慮した分散表現の学習 IJCNLP2017 オートエンコーダを⽤いた単語分散表現の改善 COLING2020 画像とテキストを考慮した分散表現の機械翻訳への適⽤ IEEE Access2022 学習者⽀援 ⼤規模データやノイズ除去による性能改善 ACL2020, EMNLP Findings2020, NAACL SRW2021 評価のためのモデルやデータ NAACL2019, COLING2020, LREC2022 タグやビームサーチを⽤いた多様な訂正 ACL SRW2019, COLING2020 多⾔語の⽂法誤りの考慮 COLING2020 事前学習モデルを⽤いた⽂法誤り検出 CICLing2019 ⽂法誤り検出と⽤例検索の結合 BEA2019 ⾔語学習のための解釈性 ACL2022（今⽇の話） などなど…
4. ⽂法誤り訂正について 3 👩🎓‍‍‍ 🤖 GECモデル ⾔語学習者 ⼊⼒︓They have tremendous problem . 出⼒︓They have a tremendous problem . • ⽂法誤り訂正 (Grammatical Error Correction; GEC) は⽂法的に誤った テキストを⽂法的に正しく書き直すタスク • 通常のGECモデルは訂正根拠を提⽰しない😞 • ⾔語学習者は与えられた訂正を反映するかどうかを決めることや訂正結果を理解 することが難しい
5. 提案⼿法︓事例ベース⽂法誤り訂正 4 🤖 EB-GECモデル 👩🎓‍‍‍ ⾔語学習者 ⼊⼒︓They have tremendous problem . 出⼒︓They have a tremendous problem . 事例 誤⽂︓This has tremendous problem . 正⽂︓This has a tremendous problem . • 事例ベース⽂法誤り訂正 (Example-Based GEC; EB-GEC) は訂正根拠と して、訂正時に考慮した 事例 を提⽰する • ⾔語学習者は訂正結果を反映するかどうかの判断や訂正結果の理解が しやすくなる🙂 • ⽤例検索システム的な気持ち
6. • EB-GECは⼊⼒⽂𝑥、⽣成されたトークン" 𝑦!:#$! とデコーダの𝑖ステップ⽬の 隠れ層の情報と𝑗個⽬の事例𝑥(&)と𝑦(&)を⽤いて𝑖番⽬のトークン" 𝑦# を訂正する • 事例𝑥(&)と𝑦(&)は根拠として学習者に提⽰される EB-GECの全体像 5 a 出⼒分布 ! 𝑦!:#$! : They have [?] GEC モデル 𝑥 : They have tremendous problem . + ! 𝑦# 𝒉 𝑥, $ 𝒚!:#$! 事例 𝑥(&) : This has tremendous problem . 𝑦(&) : This has a tremendous problem . データストア
7. EB-GECの全体像 6 a 出⼒分布 ! 𝑦!:#$! : They have [?] GEC モデル 𝑥 : They have tremendous problem . + ! 𝑦# 𝒉 𝑥, $ 𝒚!:#$! 事例 𝑥(&) : This has tremendous problem . 𝑦(&) : This has a tremendous problem . データストア • EB-GECは⼊⼒⽂𝑥、⽣成されたトークン" 𝑦!:#$! とデコーダの𝑖ステップ⽬の 隠れ層の情報と𝑗個⽬の事例𝑥(&)と𝑦(&)を⽤いて𝑖番⽬のトークン" 𝑦# を訂正する • 事例𝑥(&)と𝑦(&)は根拠として学習者に提⽰される どのようにこの出⼒分布𝑝&' を求めれば良いか︖
8. EB-GECの出⼒分布𝑝!" の求め⽅ 7 a 出⼒分布 ! 𝑦!:#$! : They have [?] GEC モデル 𝑥 : They have tremendous problem . a 出⼒分布 通常の分布 𝑘近傍分布 ＋ = ! 𝑦# EB-GECは2つの分布を組み合わせることで予測を⾏う︓ • 通常の分布𝑝はデコーダの隠れ層𝒉 𝑥, % 𝒚$:&'$ を変換することで計算される • 𝑘近傍分布𝑝()) はデータストアから検索された𝑘近傍によって計算される[Khandelwal et al. (2021)] (1 − 𝜆) 𝜆 0 ≤ 𝜆 ≤ 1は2つの 分布の補間係数 𝑝%& 𝑦# 𝑥, * 𝑦!:#$! 𝑝 𝑦# 𝑥, * 𝑦!:#$! 𝑝'(( 𝑦# 𝑥, * 𝑦!:#$! + 𝒉 𝑥, $ 𝒚!:#$! 事例 𝑥(&) : This has tremendous problem . 𝑦(&) : This has a tremendous problem . データストア
9. 𝑘近傍分布の計算⽅法 8 a 出⼒分布 ! 𝑦!:#$! : They have [?] GEC モデル 通常の分布 𝑘近傍分布 ＋ = 𝑘近傍の探索 𝑥 : They have tremendous problem . ! 𝑦# 事例 𝑥(&) : This has tremendous problem . 𝑦(&) : This has a tremendous problem . データストア ステップ１︓学習データからデータストアを構築 ステップ２︓データストアから𝑘近傍を検索 ステップ３︓ 𝑘近傍に含まれるトークンから𝑘近傍分布を計算 𝒉 𝑥, $ 𝒚!:#$!
10. 𝑘近傍分布の計算⽅法 ステップ1 学習データからデータストアを構築 • データストア 𝒦, 𝒱 • キー 𝒦: デコーダの𝑖番⽬の隠れ層𝒉 𝑥, 𝑦":$%" • バリュー 𝒱: 次トークン𝑦$ 、誤⽂𝑥と正⽂𝑦のタプル 𝒦, 𝒱 = 𝒉 𝑥, 𝑦+:-.+ , 𝑦- , 𝑥, 𝑦 ∀𝑦- ∈ 𝑦, 𝑥, 𝑦 ∈ (𝒳, 𝒴)} • 学習済みGECモデルを使い学習データでの、全タイムステップでの デコーダの隠れ層を使い 𝒦, 𝒱 を構築する 9 𝑥 : They have tremendous problem . 𝑦 : They have a tremendous problem . 𝑦# 𝒉 𝑥, $ 𝒚!:#$! GEC モデル 𝑥, 𝑦!:#$! データストア
11. 𝑘近傍分布の計算⽅法 ステップ2 データストアから𝒌近傍を検索 𝒩 = 𝒖 / , 𝑣 / , 𝑥 / , 𝑦 / ∈ 𝒦, 𝒱 /0+ 1 • 𝒖 & (𝑗 = 1, … , 𝑘) はクエリ𝒉(𝑥, " 𝑦!:#$! )に対して𝐿( 距離で計算された𝑘近傍 • タプル 𝑣 & , 𝑥 & , 𝑦 & はキー 𝒖 & に対応したバリュー 10 𝒉 𝑥, $ 𝒚!:#$! GEC モデル 𝑘近傍の探索 データストア 𝑥, 𝑦!:#$! 𝒩: 𝑘近傍 𝒦, 𝒱
12. 𝑘近傍分布の計算⽅法 ステップ3 𝒌近傍分布の計算 𝑝122 (𝑦- |𝑥, 4 𝑦+:-.+ ) ∝ 6 (𝒖,(5,_,_))∈𝒩 𝕀50:! exp( − 𝒖 − 𝒉(𝑥, 4 𝑦+:-.+ ) 𝑇 ) 11 a an 𝑥((): This is apple . 𝑦((): This is an apple . 𝑥(!) : This has tremendous problem . 𝑦(!) : This has a tremendous problem . 𝑥 : They have tremendous problem . ! 𝑦!:#$! : They have [?] 𝑥()) : You have pen. 𝑦()) : You have a pen. クエリと近い単語の確率は⾼く ↑ クエリと遠い単語の確率は低く ↓
13. 学習者への事例の提⽰ 12 ⼊⼒⽂ 𝑥 : They have tremendous problem . 出⼒⽂ ! 𝑦 : They have a tremendous problem . 訂正されたトークン︓! 𝑦# アライメント 近傍事例の提⽰ 𝑥(!) : This has tremendous problem . 𝑦(!) : This has a tremendous problem . 𝒉 𝑥, $ 𝒚!:#$! • 各訂正されたトークンに対して事例を提⽰する • 訂正箇所を決めるために、⼊出⼒⽂のトークンアライメントを計算し、アラ インメント先がないトークンを訂正箇所とする • 訂正されたトークン" 𝑦# のクエリに対する最近傍のバリューの誤正⽂ 対(𝑥 ! , 𝑦(!)) を事例として提⽰する
14. 実験 • 提⽰された事例の⼈⼿評価 • EB-GECの事例がベースラインの⽤例検索システムと⽐較して学習者に有益である ことを⽰す • GECの性能評価 • 事例の解釈性がGECの性能改善に貢献していることを⽰す • 分析 • 解釈性と性能の関係 • 通常の分布𝑝(;)と𝑘近傍分布𝑝'(((;)の補間係数𝜆を変えた時の性能変化を調査する • 近傍の事例と訂正結果の関係 • モデル出⼒と事例の誤りタイプの⼀致率を調べる • ケーススタディ 13
15. ⼈⼿評価の設定 • ベースライン • トークンに基づいた検索 • EB-GECの出⼒の訂正箇所と⼀致する訂正箇所を含む正⽂の⽂対を学習データから 事例として検索する • BERTに基づいた検索 • EB-GECの出⼒と正⽂の訂正箇所に対するBERTの隠れ層の類似度を使い事例を検索 する • ⼈⼿評価 1. 3つの⼿法から330の事例をランダムにサンプリングする 2. アノテータは⼊出⼒⽂と事例を⾒て、⼊出⼒と関連するかどうかをバイナリ評価する 3. 最終的な⼈⼿評価スコアは関連する事例数の割合 14
16. 提⽰された事例の⼈⼿評価 15 ⼿法 ⼈⼿評価スコア トークンに基づいた検索 28.8 BERTに基づいた検索 52.4 EB-GEC 68.8 • EB-GECがベースラインより優れていることがわかる • 有益な事例を提⽰できている • EB-GECの解釈性のための事例は、システム出⼒に対する学習者の 理解や反映の判断を助けることがわかる
17. GECの性能評価 16 ⼿法 W&I CoNLL2014 FCE JFLEG GEC 50.12 49.68 41.49 53.71 EB-GEC 52.45 50.51 43.00 53.46 GECの性能に関するスコア • EB-GECは事例を⽤いないGECモデルをほとんどのデータで上回っている • 事例を⽤いることはGECの性能改善に貢献する
18. 解釈性と性能の関係分析 17 通常の分布と𝑘近傍分布が等しく考慮された、𝜆 = 0.5のときに最も性 能が⾼いことが多い 𝑃)* 𝑦# 𝑥, " 𝑦!:#$! = 1 − 𝜆 𝑝 𝑦# 𝑥, " 𝑦!:#$! + 𝜆 𝑝+,, 𝑦# 𝑥, " 𝑦!:#$! の𝜆を0か ら1の間で0.25ずつ変化させた時の性能 スコア 55 45 35 25 0.00 0.25 0.50 0.75 1.00
19. 近傍の事例と訂正結果の関係分析 18 0.0 20.0 40.0 60.0 W&I CoNLL2014 FCE JFLEG Token BERT EB-GEC • EB-GECは全てのデータで誤りタイプが最も⼀致している • EB-GECは訂正に最も関連した事例を提⽰できている トークンに基 づいた検索 トークンに基 づいた検索 EB-GEC 60.0 40.0 20.0 0.0 • 事例と出⼒の訂正箇所の誤りタイプの⼀致率を調べる • They have /a tremendous problem .であれば誤りタイプは冠詞誤り
20. 事例分析 19 誤りタイプ ⽂対 ラベル ⼊出⼒⽂ 冠詞誤り Apart from that /, it takes /a long time to go somewhere. - トークンに基づ いた検索 冠詞誤り If you have enough time, I recommend /a bus trip. 関連しない BERTに基づい た検索 前置詞誤り However, it will take for/ a long time to go abroad in my company. 関連しない EB-GEC 冠詞誤り So/Because of that, it takes /a long time to write my journal/entries. 関連する • ベースラインは訂正は⼀致するが無関係な⽂や⽂は関連しているが 訂正が⼀致しない事例を提⽰してしまっている • EB-GECは適切な誤りタイプを含む事例を提⽰できている
21. まとめ • ⽂法誤り訂正において、⾔語学習者が訂正を反映するかどうかの決定や 訂正結果を理解することを⽀援するために、訂正根拠となる事例を提⽰す るEB-GECを提案 • ⼈⼿評価の結果、解釈性改善のための事例の提⽰は⾔語学習者に有益である ことを⽰した • 事例を考慮することはGEC性能を改善する • モデルの解釈性を利⽤した⾔語学習⽀援の研究が盛り上がることを期待 20 EB-GECのコード︓ https://github.com/kanekomasahiro/eb-gec