Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Disentangled Representation Learning for Non-Pa...
Search
nizhny
November 02, 2019
Technology
0
1k
Disentangled Representation Learning for Non-Parallel Text Style Transfer
nizhny
November 02, 2019
Tweet
Share
More Decks by nizhny
See All by nizhny
0309-nlpaperchallenge-nlp5
nizhny
1
670
Other Decks in Technology
See All in Technology
Agentic Workflowという選択肢を考える
tkikuchi1002
1
500
Understanding_Thread_Tuning_for_Inference_Servers_of_Deep_Models.pdf
lycorptech_jp
PRO
0
120
Amazon S3標準/ S3 Tables/S3 Express One Zoneを使ったログ分析
shigeruoda
3
470
より良いプロダクトの開発を目指して - 情報を中心としたプロダクト開発 #phpcon #phpcon2025
bengo4com
1
3.1k
Amazon ECS & AWS Fargate 運用アーキテクチャ2025 / Amazon ECS and AWS Fargate Ops Architecture 2025
iselegant
16
5.5k
TechLION vol.41~MySQLユーザ会のほうから来ました / techlion41_mysql
sakaik
0
180
GitHub Copilot の概要
tomokusaba
1
130
地図も、未来も、オープンに。 〜OSGeo.JPとFOSS4Gのご紹介〜
wata909
0
110
生成AI時代の開発組織・技術・プロセス 〜 ログラスの挑戦と考察 〜
itohiro73
0
130
Postman AI エージェントビルダー最新情報
nagix
0
110
Кто отправит outbox? Валентин Удальцов, автор канала Пых
lamodatech
0
340
ハノーバーメッセ2025座談会.pdf
iotcomjpadmin
0
160
Featured
See All Featured
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
17
940
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
930
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Building an army of robots
kneath
306
45k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
790
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Building Adaptive Systems
keathley
43
2.6k
Practical Orchestrator
shlominoach
188
11k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
The Invisible Side of Design
smashingmag
299
51k
Transcript
Disentangled Representation Learning for Non-Parallel Text Style Transfer ACL網羅的サーベイ報告会: Keito
Ishihara
自己紹介 • 石原慧人 • 筑波大B4 • Twitter: @nizhny_
論文概要 • NLPにおけるdisentanglingの研究 • 特にスタイル変換での利用を想定 • マルチタスク学習と敵対的学習を組 み合わせた手法を提案 タイトル雑日本語訳:教師なしテキストスタイル変換のための 解きほぐされた表現学習
スタイル変換とは In CV: 同じ物体の画風を操作するタスク (例) Gatys+(CVPR2016) In NLP: テキストの意味(コンテンツ)を維持したまま、それ以外の情報(スタイル)を操作 するタスク
(例) 私は猫です→我輩は猫である
「教師なし」テキストスタイル変換とは 文to文で変換を行うので教師ありスタイル変換 は翻訳系の手法がほぼそのまま使える 主な研究対象はペアがない場合 主流の手法 1. 入力文の特徴からコンテンツ成分を分離 2. スタイルを付与してデコード という手順で行う
Autoencoder AEで射影される中間表現を二つに分割し、それぞれの空間がス タイルとコンテンツを表現するよう補助損失を追加することで Disentanglementを行う
Style-Oriented Losses マルチタスク学習によりそれぞれの空間にその情報が含まれてい ることを、敵対的学習により余計な情報が含まれないことの保証 を行う Multi-Task Loss for Style: スタイル空間から元々のスタイルを
当てるマルチタスク損失 Adversarial Loss for Style: コンテンツ空間から元々のスタイ ルを当てられないような敵対的損失
Content-Oriented Losses Multi-Task Loss for Content: コンテンツ空間から元々のコンテ ンツを当てるマルチタスク損失 Adversarial Loss
for Content: スタイル空間から元々のコンテ ンツを当てられないような敵対的損失 ※NLPではコンテンツとは何かが明確に定まらないことが多い が、ここでは事前に構築した辞書に基づくコンテンツワードのBoW 表現としている
訓練&推論手順 訓練: 敵対的損失のためのそれぞれの Discriminatorの学習は個別に行い、それ以 外の部分は全て同時に学習を行う 推論: 「エンコーダで特徴空間に射影」→「コンテン ツ空間のベクトルと学習時の目的スタイル の平均を結合」→「デコード」
実験: Disentangling Latent Space
実験:Non-Parallel Text Style Transfer
評価手法 • STA: 変換後テキストがスタイル分類モデルにどの程度意図し たスタイルと分類されるか • CS: 変換元テキストと変換後テキストの文ベクトルのコサイン 類似度 •
WO: コンテンツワードのみを抽出した変換元テキストと変換後 テキストのuni-gram単語重複率 • PPL: 変換後テキストの学習済み言語モデルによるパープレ キシティ • GM: STA, WO, 1/PPLの幾何平均
生成例