Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Disentangled Representation Learning for Non-Pa...
Search
nizhny
November 02, 2019
Technology
0
1k
Disentangled Representation Learning for Non-Parallel Text Style Transfer
nizhny
November 02, 2019
Tweet
Share
More Decks by nizhny
See All by nizhny
0309-nlpaperchallenge-nlp5
nizhny
1
680
Other Decks in Technology
See All in Technology
QuickSight SPICE の効果的な運用戦略~S3 + Athena 構成での実践ノウハウ~/quicksight-spice-s3-athena-best-practices
emiki
0
290
ClaudeCode_vs_GeminiCLI_Terraformで比較してみた
tkikuchi
1
1.1k
TLSから見るSREの未来
atpons
2
310
“日本一のM&A企業”を支える、少人数SREの効率化戦略 / SRE NEXT 2025
genda
1
270
ソフトウェアQAがハードウェアの人になったの
mineo_matsuya
3
200
OpenTelemetryセマンティック規約の恩恵とMackerel APMにおける活用例 / SRE NEXT 2025
mackerelio
3
2k
セキュアなAI活用のためのLiteLLMの可能性
tk3fftk
1
330
SREのためのeBPF活用ステップアップガイド
egmc
2
1.3k
Introduction to Bill One Development Engineer
sansan33
PRO
0
260
united airlines ™®️ USA Contact Numbers: Complete 2025 Support Guide
flyunitedhelp
1
470
本当にわかりやすいAIエージェント入門
segavvy
1
400
今だから言えるセキュリティLT_Wordpress5.7.2未満を一斉アップデートせよ
cuebic9bic
2
170
Featured
See All Featured
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Building Applications with DynamoDB
mza
95
6.5k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
282
13k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
4 Signs Your Business is Dying
shpigford
184
22k
How STYLIGHT went responsive
nonsquared
100
5.6k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Transcript
Disentangled Representation Learning for Non-Parallel Text Style Transfer ACL網羅的サーベイ報告会: Keito
Ishihara
自己紹介 • 石原慧人 • 筑波大B4 • Twitter: @nizhny_
論文概要 • NLPにおけるdisentanglingの研究 • 特にスタイル変換での利用を想定 • マルチタスク学習と敵対的学習を組 み合わせた手法を提案 タイトル雑日本語訳:教師なしテキストスタイル変換のための 解きほぐされた表現学習
スタイル変換とは In CV: 同じ物体の画風を操作するタスク (例) Gatys+(CVPR2016) In NLP: テキストの意味(コンテンツ)を維持したまま、それ以外の情報(スタイル)を操作 するタスク
(例) 私は猫です→我輩は猫である
「教師なし」テキストスタイル変換とは 文to文で変換を行うので教師ありスタイル変換 は翻訳系の手法がほぼそのまま使える 主な研究対象はペアがない場合 主流の手法 1. 入力文の特徴からコンテンツ成分を分離 2. スタイルを付与してデコード という手順で行う
Autoencoder AEで射影される中間表現を二つに分割し、それぞれの空間がス タイルとコンテンツを表現するよう補助損失を追加することで Disentanglementを行う
Style-Oriented Losses マルチタスク学習によりそれぞれの空間にその情報が含まれてい ることを、敵対的学習により余計な情報が含まれないことの保証 を行う Multi-Task Loss for Style: スタイル空間から元々のスタイルを
当てるマルチタスク損失 Adversarial Loss for Style: コンテンツ空間から元々のスタイ ルを当てられないような敵対的損失
Content-Oriented Losses Multi-Task Loss for Content: コンテンツ空間から元々のコンテ ンツを当てるマルチタスク損失 Adversarial Loss
for Content: スタイル空間から元々のコンテ ンツを当てられないような敵対的損失 ※NLPではコンテンツとは何かが明確に定まらないことが多い が、ここでは事前に構築した辞書に基づくコンテンツワードのBoW 表現としている
訓練&推論手順 訓練: 敵対的損失のためのそれぞれの Discriminatorの学習は個別に行い、それ以 外の部分は全て同時に学習を行う 推論: 「エンコーダで特徴空間に射影」→「コンテン ツ空間のベクトルと学習時の目的スタイル の平均を結合」→「デコード」
実験: Disentangling Latent Space
実験:Non-Parallel Text Style Transfer
評価手法 • STA: 変換後テキストがスタイル分類モデルにどの程度意図し たスタイルと分類されるか • CS: 変換元テキストと変換後テキストの文ベクトルのコサイン 類似度 •
WO: コンテンツワードのみを抽出した変換元テキストと変換後 テキストのuni-gram単語重複率 • PPL: 変換後テキストの学習済み言語モデルによるパープレ キシティ • GM: STA, WO, 1/PPLの幾何平均
生成例