Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Disentangled Representation Learning for Non-Parallel Text Style Transfer
Search
nizhny
November 02, 2019
Technology
0
920
Disentangled Representation Learning for Non-Parallel Text Style Transfer
nizhny
November 02, 2019
Tweet
Share
More Decks by nizhny
See All by nizhny
0309-nlpaperchallenge-nlp5
nizhny
1
560
Other Decks in Technology
See All in Technology
複雑な構成要素を持つUIとの向き合い方 〜新・支出グラフでの実例〜 / B43 TECH TALK
nakamuuu
0
140
コンテナセキュリティの基本と脅威への対策
kyohmizu
3
750
チームでロジカルシンキングに改めて向き合っている話 〜学習環境と実践⽅法〜
sansantech
PRO
2
2.1k
エンジニア候補者向け資料2024.04.24.pdf
macloud
0
3.3k
KubeConにproposalを送りたい人へのアドバイス
sat
PRO
3
240
TechFeed Experts Night#27 〜 フロントエンドフレームワーク最前線 (Svelte)
baseballyama
1
400
Tellus の衛星データを見てみよう #mf_fukuoka
kongmingstrap
0
170
マルチアカウント環境への発見的統制の導入
ch1aki
1
1.3k
Postman v10リリース後を振り返る / Looking back at Postman v10 after release
yokawasa
1
160
開発生産性向上サービスを作るFindyが自分たちで開発生産性を爆上げした組織づくりの歩み / Findy's path to boosting its own development productivity 2024-04-17
ma3tk
3
630
Delivering Millions of Messages within seconds @ Duolingo
pelelgrino
0
350
地理空間データ可視化・解析・活用ソリューション Pacific Spatial Solutions (PSS)
pacificspatialsolutions
0
150
Featured
See All Featured
What the flash - Photography Introduction
edds
64
11k
Six Lessons from altMBA
skipperchong
21
3k
In The Pink: A Labor of Love
frogandcode
138
21k
BBQ
matthewcrist
80
8.8k
KATA
mclloyd
15
12k
Agile that works and the tools we love
rasmusluckow
325
20k
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.1k
The Art of Programming - Codeland 2020
erikaheidi
42
12k
The Brand Is Dead. Long Live the Brand.
mthomps
49
28k
Code Review Best Practice
trishagee
55
15k
The Cost Of JavaScript in 2023
addyosmani
16
3.9k
Designing with Data
zakiwarfel
96
4.8k
Transcript
Disentangled Representation Learning for Non-Parallel Text Style Transfer ACL網羅的サーベイ報告会: Keito
Ishihara
自己紹介 • 石原慧人 • 筑波大B4 • Twitter: @nizhny_
論文概要 • NLPにおけるdisentanglingの研究 • 特にスタイル変換での利用を想定 • マルチタスク学習と敵対的学習を組 み合わせた手法を提案 タイトル雑日本語訳:教師なしテキストスタイル変換のための 解きほぐされた表現学習
スタイル変換とは In CV: 同じ物体の画風を操作するタスク (例) Gatys+(CVPR2016) In NLP: テキストの意味(コンテンツ)を維持したまま、それ以外の情報(スタイル)を操作 するタスク
(例) 私は猫です→我輩は猫である
「教師なし」テキストスタイル変換とは 文to文で変換を行うので教師ありスタイル変換 は翻訳系の手法がほぼそのまま使える 主な研究対象はペアがない場合 主流の手法 1. 入力文の特徴からコンテンツ成分を分離 2. スタイルを付与してデコード という手順で行う
Autoencoder AEで射影される中間表現を二つに分割し、それぞれの空間がス タイルとコンテンツを表現するよう補助損失を追加することで Disentanglementを行う
Style-Oriented Losses マルチタスク学習によりそれぞれの空間にその情報が含まれてい ることを、敵対的学習により余計な情報が含まれないことの保証 を行う Multi-Task Loss for Style: スタイル空間から元々のスタイルを
当てるマルチタスク損失 Adversarial Loss for Style: コンテンツ空間から元々のスタイ ルを当てられないような敵対的損失
Content-Oriented Losses Multi-Task Loss for Content: コンテンツ空間から元々のコンテ ンツを当てるマルチタスク損失 Adversarial Loss
for Content: スタイル空間から元々のコンテ ンツを当てられないような敵対的損失 ※NLPではコンテンツとは何かが明確に定まらないことが多い が、ここでは事前に構築した辞書に基づくコンテンツワードのBoW 表現としている
訓練&推論手順 訓練: 敵対的損失のためのそれぞれの Discriminatorの学習は個別に行い、それ以 外の部分は全て同時に学習を行う 推論: 「エンコーダで特徴空間に射影」→「コンテン ツ空間のベクトルと学習時の目的スタイル の平均を結合」→「デコード」
実験: Disentangling Latent Space
実験:Non-Parallel Text Style Transfer
評価手法 • STA: 変換後テキストがスタイル分類モデルにどの程度意図し たスタイルと分類されるか • CS: 変換元テキストと変換後テキストの文ベクトルのコサイン 類似度 •
WO: コンテンツワードのみを抽出した変換元テキストと変換後 テキストのuni-gram単語重複率 • PPL: 変換後テキストの学習済み言語モデルによるパープレ キシティ • GM: STA, WO, 1/PPLの幾何平均
生成例