Disentangled Representation Learning for Non-Parallel Text Style Transfer ACL網羅的サーベイ報告会: Keito Ishihara

自己紹介 ● 石原慧人 ● 筑波大B4 ● Twitter: @nizhny_

論文概要 ● NLPにおけるdisentanglingの研究 ● 特にスタイル変換での利用を想定 ● マルチタスク学習と敵対的学習を組 み合わせた手法を提案 タイトル雑日本語訳:教師なしテキストスタイル変換のための 解きほぐされた表現学習

スタイル変換とは In CV: 同じ物体の画風を操作するタスク (例) Gatys+(CVPR2016) In NLP: テキストの意味(コンテンツ)を維持したまま、それ以外の情報(スタイル)を操作 するタスク (例)　私は猫です→我輩は猫である

「教師なし」テキストスタイル変換とは 文to文で変換を行うので教師ありスタイル変換 は翻訳系の手法がほぼそのまま使える 　　主な研究対象はペアがない場合 主流の手法 1. 入力文の特徴からコンテンツ成分を分離 2. スタイルを付与してデコード という手順で行う

Autoencoder AEで射影される中間表現を二つに分割し、それぞれの空間がス タイルとコンテンツを表現するよう補助損失を追加することで Disentanglementを行う

Style-Oriented Losses マルチタスク学習によりそれぞれの空間にその情報が含まれてい ることを、敵対的学習により余計な情報が含まれないことの保証 を行う Multi-Task Loss for Style: スタイル空間から元々のスタイルを 当てるマルチタスク損失 Adversarial Loss for Style: コンテンツ空間から元々のスタイ ルを当てられないような敵対的損失

Content-Oriented Losses Multi-Task Loss for Content: コンテンツ空間から元々のコンテ ンツを当てるマルチタスク損失 Adversarial Loss for Content: スタイル空間から元々のコンテ ンツを当てられないような敵対的損失 ※NLPではコンテンツとは何かが明確に定まらないことが多い が、ここでは事前に構築した辞書に基づくコンテンツワードのBoW 表現としている

訓練&推論手順 訓練: 敵対的損失のためのそれぞれの Discriminatorの学習は個別に行い、それ以 外の部分は全て同時に学習を行う 推論: 「エンコーダで特徴空間に射影」→「コンテン ツ空間のベクトルと学習時の目的スタイル の平均を結合」→「デコード」

実験: Disentangling Latent Space

実験:Non-Parallel Text Style Transfer

評価手法 ● STA: 変換後テキストがスタイル分類モデルにどの程度意図し たスタイルと分類されるか ● CS: 変換元テキストと変換後テキストの文ベクトルのコサイン 類似度 ● WO: コンテンツワードのみを抽出した変換元テキストと変換後 テキストのuni-gram単語重複率 ● PPL: 変換後テキストの学習済み言語モデルによるパープレ キシティ ● GM: STA, WO, 1/PPLの幾何平均

生成例