Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Disentangled Representation Learning for Non-Pa...
Search
nizhny
November 02, 2019
Technology
0
1k
Disentangled Representation Learning for Non-Parallel Text Style Transfer
nizhny
November 02, 2019
Tweet
Share
More Decks by nizhny
See All by nizhny
0309-nlpaperchallenge-nlp5
nizhny
1
680
Other Decks in Technology
See All in Technology
MagicPod導入から半年、オープンロジQAチームで実際にやったこと
tjoko
0
110
Codeful Serverless / 一人運用でもやり抜く力
_kensh
7
450
KotlinConf 2025_イベントレポート
sony
1
140
自作JSエンジンに推しプロポーザルを実装したい!
sajikix
1
190
「全員プロダクトマネージャー」を実現する、Cursorによる仕様検討の自動運転
applism118
22
12k
TS-S205_昨年対比2倍以上の機能追加を実現するデータ基盤プロジェクトでのAI活用について
kaz3284
1
220
今日から始めるAWSセキュリティ対策 3ステップでわかる実践ガイド
yoshidatakeshi1994
0
120
IoT x エッジAI - リアルタイ ムAI活用のPoCを今すぐ始め る方法 -
niizawat
0
120
2025/09/16 仕様駆動開発とAI-DLCが導くAI駆動開発の新フェーズ
masahiro_okamura
0
130
実践!カスタムインストラクション&スラッシュコマンド
puku0x
0
530
20250910_障害注入から効率的復旧へ_カオスエンジニアリング_生成AIで考えるAWS障害対応.pdf
sh_fk2
3
280
初めてAWSを使うときのセキュリティ覚書〜初心者支部編〜
cmusudakeisuke
1
280
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
The Invisible Side of Design
smashingmag
301
51k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
580
The Language of Interfaces
destraynor
161
25k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
31
2.2k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Git: the NoSQL Database
bkeepers
PRO
431
66k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Transcript
Disentangled Representation Learning for Non-Parallel Text Style Transfer ACL網羅的サーベイ報告会: Keito
Ishihara
自己紹介 • 石原慧人 • 筑波大B4 • Twitter: @nizhny_
論文概要 • NLPにおけるdisentanglingの研究 • 特にスタイル変換での利用を想定 • マルチタスク学習と敵対的学習を組 み合わせた手法を提案 タイトル雑日本語訳:教師なしテキストスタイル変換のための 解きほぐされた表現学習
スタイル変換とは In CV: 同じ物体の画風を操作するタスク (例) Gatys+(CVPR2016) In NLP: テキストの意味(コンテンツ)を維持したまま、それ以外の情報(スタイル)を操作 するタスク
(例) 私は猫です→我輩は猫である
「教師なし」テキストスタイル変換とは 文to文で変換を行うので教師ありスタイル変換 は翻訳系の手法がほぼそのまま使える 主な研究対象はペアがない場合 主流の手法 1. 入力文の特徴からコンテンツ成分を分離 2. スタイルを付与してデコード という手順で行う
Autoencoder AEで射影される中間表現を二つに分割し、それぞれの空間がス タイルとコンテンツを表現するよう補助損失を追加することで Disentanglementを行う
Style-Oriented Losses マルチタスク学習によりそれぞれの空間にその情報が含まれてい ることを、敵対的学習により余計な情報が含まれないことの保証 を行う Multi-Task Loss for Style: スタイル空間から元々のスタイルを
当てるマルチタスク損失 Adversarial Loss for Style: コンテンツ空間から元々のスタイ ルを当てられないような敵対的損失
Content-Oriented Losses Multi-Task Loss for Content: コンテンツ空間から元々のコンテ ンツを当てるマルチタスク損失 Adversarial Loss
for Content: スタイル空間から元々のコンテ ンツを当てられないような敵対的損失 ※NLPではコンテンツとは何かが明確に定まらないことが多い が、ここでは事前に構築した辞書に基づくコンテンツワードのBoW 表現としている
訓練&推論手順 訓練: 敵対的損失のためのそれぞれの Discriminatorの学習は個別に行い、それ以 外の部分は全て同時に学習を行う 推論: 「エンコーダで特徴空間に射影」→「コンテン ツ空間のベクトルと学習時の目的スタイル の平均を結合」→「デコード」
実験: Disentangling Latent Space
実験:Non-Parallel Text Style Transfer
評価手法 • STA: 変換後テキストがスタイル分類モデルにどの程度意図し たスタイルと分類されるか • CS: 変換元テキストと変換後テキストの文ベクトルのコサイン 類似度 •
WO: コンテンツワードのみを抽出した変換元テキストと変換後 テキストのuni-gram単語重複率 • PPL: 変換後テキストの学習済み言語モデルによるパープレ キシティ • GM: STA, WO, 1/PPLの幾何平均
生成例