Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Reinforcement Learning Based Text Style Transfe...

Reinforcement Learning Based Text Style Transfer without Parallel Training Corpus

研究室のNAACL論文読み会での発表資料です。

ryoma yoshimura

July 25, 2019
Tweet

More Decks by ryoma yoshimura

Other Decks in Research

Transcript

  1. Reinforcement Learning Based Text Style Transfer without Parallel Training Corpus

    Hongyu Gong, Suma Bhat, Lingfei Wu, JinJun Xiong, Wen-mei Hwu NAACL2019読み会 紹介者: 吉村
  2. Introduction • パラレルコーパスでのスタイル変換は成功しているがパラレル コーパスはいつでも利用できるわけではない • 従来手法 ◦ 意味をエンコードしてスタイル情報と組み合わせてスタイ ル変換する ◦

    パラメータで微分可能な損失関数に制限されている ◦ 意味とスタイルのみを学習、評価している ▪ 流暢性などの他の重要な側面は見ていない • 提案手法 ◦ パラレルコーパスを使わないスタイル変換を行う RL を用 いた学習システムを提案する ◦ 報酬にスタイルの強さ、意味の保持、流暢性を使用
  3. Model - Generator • Encoder-Decoder with attention • Encoder, Decoder

    は GRU • targetコーパスをパラレルにして pre-train → RL ◦ encoder と decoder が意味とスタイルを学習
  4. Model - Style discriminator • 生成文のスタイルを評価 • bidirectional RNN with

    attention • スタイル分類のデータで学習 • ロバストにするためにGAN で人間が書いた文とモデルの出力 を区別するように敵対的に追加で学習
  5. Model - Semantic module • 入力と生成文の意味がどれだけ保持できているかを評価 • Word Mover’s Distance

    (WMD)を使用 ◦ 2文書間の類似度を計算する手法 ◦ 単語分散表現ベース
  6. • 与えられた環境における価値を最大化するようにエージェント を学習 • 方策 π : p(a|s) ◦ 状態

    s でどう行動するかを定めた確率分布 • 方策ベースと価値ベース ◦ 価値ベース: 価値関数 Q(s, a) を学習 ◦ 方策ベース: 方策を学習し、累積報酬和を最大化 Reinforcement Learning reward Enviroment Agent action state
  7. Reinforcement Learning REINFROCE: 方策ベースのアルゴリズム    G: generator T’: maximum length

    of the decoder V: target vocabulary γ : (0 < γ < 1) discounting factor 割引報酬和 報酬の期待値 State: Action:
  8. Sentence Sampling • 文を出力し終わるまで報酬を計算できない問題 • rolling out (Yu et al.,

    2017) ◦ 現時刻までの単語列から文の最後までサンプリング ◦ サンプリング手法はビームサーチ •
  9. Experiment • タスク ◦ positive - negative sentiment (ST) ◦

    formal - informal (FT) • データセット ◦ ST: Yelp website (restaurant reviews) ◦ FT: Grammarly’s Yahoo Answer Fomalyty Corpus ▪ family, relationships のデータを使用
  10. Experiment • Model settings ◦ embeddings size 50 ▪ English

    WikiCorpus で学習して train で tune する ◦ beam size 8 in RL and inference. • ベースライン: 2つの unsupervised な SOTA モデル ◦ Cross alignment model (CA) [Shen et al., 2017] ▪ GAN ベースの手法, cross alignment AE を提案 ◦ Multi-decoder seq2deq model (MDS) [Fu et al., 2018] ▪ GAN ベース、encoder で意味を学習してスタイル固有 の decoder で変換させる
  11. Experiment - Automatic Evaluation • Content preservation ◦ S sem

    [Fu et al., 2018] ▪ 単語分散表現ベースの手法 • Transfer strength ◦ スタイル変換のコーパスで学習された LSTM ベースの分 類器 [Fu et al., 2018] • Fluency ◦ perplexity • Overall score ◦
  12. Results - Automatic evaluation • Sentiment transfer ◦ 意味の保持では CA,

    流暢性では MDS がよい ◦ RLSは両方向の Overall で良くなっている • Formality transfer ◦ RLSは全体的に良くなっている