Disentangled Representation Learning for Non-Parallel Text Style Transfer

Transcript

1. Disentangled Representation Learning for Non-Parallel Text Style Transfer ACL網羅的サーベイ報告会: Keito

   Ishihara

2. 自己紹介 • 石原慧人 • 筑波大B4 • Twitter: @nizhny_

3. 論文概要 • NLPにおけるdisentanglingの研究 • 特にスタイル変換での利用を想定 • マルチタスク学習と敵対的学習を組 み合わせた手法を提案 タイトル雑日本語訳:教師なしテキストスタイル変換のための 解きほぐされた表現学習

4. スタイル変換とは In CV: 同じ物体の画風を操作するタスク (例) Gatys+(CVPR2016) In NLP: テキストの意味(コンテンツ)を維持したまま、それ以外の情報(スタイル)を操作 するタスク

   (例)　私は猫です→我輩は猫である

5. 「教師なし」テキストスタイル変換とは 文to文で変換を行うので教師ありスタイル変換 は翻訳系の手法がほぼそのまま使える 　　主な研究対象はペアがない場合 主流の手法 1. 入力文の特徴からコンテンツ成分を分離 2. スタイルを付与してデコード という手順で行う

6. Autoencoder AEで射影される中間表現を二つに分割し、それぞれの空間がス タイルとコンテンツを表現するよう補助損失を追加することで Disentanglementを行う

7. Style-Oriented Losses マルチタスク学習によりそれぞれの空間にその情報が含まれてい ることを、敵対的学習により余計な情報が含まれないことの保証 を行う Multi-Task Loss for Style: スタイル空間から元々のスタイルを

   当てるマルチタスク損失 Adversarial Loss for Style: コンテンツ空間から元々のスタイ ルを当てられないような敵対的損失

8. Content-Oriented Losses Multi-Task Loss for Content: コンテンツ空間から元々のコンテ ンツを当てるマルチタスク損失 Adversarial Loss

   for Content: スタイル空間から元々のコンテ ンツを当てられないような敵対的損失 ※NLPではコンテンツとは何かが明確に定まらないことが多い が、ここでは事前に構築した辞書に基づくコンテンツワードのBoW 表現としている

9. 訓練&推論手順 訓練: 敵対的損失のためのそれぞれの Discriminatorの学習は個別に行い、それ以 外の部分は全て同時に学習を行う 推論: 「エンコーダで特徴空間に射影」→「コンテン ツ空間のベクトルと学習時の目的スタイル の平均を結合」→「デコード」

10. 実験: Disentangling Latent Space

11. 実験:Non-Parallel Text Style Transfer

12. 評価手法 • STA: 変換後テキストがスタイル分類モデルにどの程度意図し たスタイルと分類されるか • CS: 変換元テキストと変換後テキストの文ベクトルのコサイン 類似度 •

    WO: コンテンツワードのみを抽出した変換元テキストと変換後 テキストのuni-gram単語重複率 • PPL: 変換後テキストの学習済み言語モデルによるパープレ キシティ • GM: STA, WO, 1/PPLの幾何平均

13. 生成例