NAACL/EACL読み会2021_NEUROLOGIC DECDING: (Un)supervised Neural Text Generation with Predicate Logic Constraints

Transcript

1. 発表者: 小町研 M1 今藤誠一郎 2021/07/26 @NAACL/EACL2021 1
2. Abstract タスク • ニューラル言語モデルの複雑な語彙制約下におけるテキスト生成 提案手法 • NEUROLOGIC DECODING ◦ 述語論理で表現可能なあらゆる語彙制約を扱うことが可能 ◦ ビームサーチと同等の実行時間 ◦ 4つのベンチマークにおいて有効性を確認 ◦ 教師なしモデルに適用すると、従来のデコーディングを用いた教師ありモデルよりも優れ た結果を確認 2
3. Introduction • このようなタスクにおけるこれまでの主要な手法 → 事前学習された言語モデルをfine-tuning • fine-tuningに大量のデータを用いても、制約を満たすこと を保証するわけではなく上手くいかない ↓ • デコーディングを制御することで制約の充足を強制 • 制約は、任意の述語論理式として表現される → 論理的制約をデコード時の目的関数のペナルティ項に 変換する 3 • テキスト生成タスクにおいて意味的な制約を含むことはしばしばある
4. Predicate Logic Constraint • 述語論理式D(a, y)を以下で定義：yの中にaが含まれているかどうか • 制約は次のようなCNFで表現できる → 次式の最適化 4
5. Algorithm • CNFを最適化する網羅的な探索は困難 → beam探索に基づいた推論 • pruning step, grouping step, selecting stepの３段階からなる • 各タイムステップで k×|V| の スコア行列の生成と同時に、次の新しい候補 hのそれぞれについ ても考慮した制約の状態を生成する（ kはbeam幅） 5
6. Pruning step 6
7. Grouping step 7
8. Selecting step 8 部分的に条件を満 たした場合のプレ フィックスの割合
9. Experiments I: Constrained Commonsense Generation • コンセプトが与えられるので、それを含むシンプルかつ文法的な文を生成するタスク • 定式化： • モデル ◦ GPT-2 (Radford et al., 2019) ◦ UniLM (Dong et al., 2019) ◦ UniLM-v2 (Bao et al., 2020) ◦ BERT-Gen (Bao et al., 2020) ◦ BART (Lewis et al.,2020) ◦ T5 (Raffel et al., 2019) 9 コンセプト 入力 a i の語尾変化
10. 10 Results I: NEUROLOGIC vs Other Decoding Methods • 先行研究の制約付きのための手法 → 制約を満たしているが、生成文の質を下げ ている • 提案手法は先行研究以上に制約を満たしなが ら、全評価指標において制約なしのものよりも 高いスコアを出している 制約有 制約無
11. 11 Results II: NEUROLOGIC across Different Supervised Models Results III: NEUROLOGIC with Unsupervised Models concept 使わない
12. 12 Results IV: Ablation • 従来の手法では学習データを全て使用しても制約を満たせない 学習データ無しの提案手法にも及ばない • 提案手法がどのモデルサイズでも従来の手法を大きく上回る • 提案手法を用いると教師なしでも教師なしと同等の性能 • 特にモデルサイズが小さい時に従来手法との差が見られた
13. Experiments II: Recipe Generation 定式化 13 全材料 レシピに含まれる材料 （単語orフレーズ） • 提案手法を用いると、ほぼ全ての必要な材料を出力で きており、さらに余計な材料をほとんど出力しないこと を確認 • 既存の生成モデルに提案手法を組み込むことで、計算 コストを増やすことなく、出力の制御と生成文の質の向 上を実現できる 材料のより広い名称 （onion→vegetable的なの）
14. Experiments III: Data-Grounded Dialogue Response Generation 定式化： • 事実から応答文のテンプレを作成 • Seq2Seqでは学習データにないものは対応で きない → GPT2のzero shotを利用 • 提案手法を用いたzero shotは教師ありの ベースラインを上回るか同等の結果が得られ た → 余計に計算コストをかけてfine tuningする 必要がないことを示唆 14 attributeとvalueからなる事実の集合（accepts_credit_cards=“yes”）
15. Experiment IV: Reducing Gender Bias in Machine Translation 定式化： • 提案手法を用いることで30pt以上の改善（正確 に性別を訳せている） • 性別のステレオタイプに対する依存を減らすのに も効果的である 15 女性に関係する名詞 男性に関係する名詞 女性語形変化 男性語形変化 原言語（en）側のcorreference modelを利用
16. Conclusion • 任意の述語論理制約に基づいた生成をするための簡単で効率的かつ汎用的な手 法であるNEUROLOGIC DECODINGを提案 • 既存のモデルを拡張する形で複数のタスクに適用したところ、幅広くかつ一貫して 出力文の質を向上させることを示した 16
17. Constraint States 17
18. Example 18