Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
CycleGAN and InstaGAN
Search
kiyo
November 21, 2019
Technology
1.6k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
CycleGAN and InstaGAN
#8【画像処理 & 機械学習】論文LT会で発表した内容です。GANを用いた画像変換手法である InstaGAN と CycleGAN の紹介です。
kiyo
November 21, 2019
Transcript
22 slides
CycleGAN and InstaGAN 第8回画像処理 & 機械学習】論文LT会 2019年11月21日(木) @hrs1985
自己紹介 twitter : @hrs1985 https://qiita.com/hrs1985 https://kiyo.qrunch.io/ 機械学習エンジニアをしています。 最近転職して7月から東京で働いてます。 前々職では実験生物学やってました。 •
深層生成モデル、画像の変換 • 強化学習 • 生物学・化学への機械学習の応用 に興味があります。
紹介する論文 CycleGAN Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (ICCV
2017) https://arxiv.org/abs/1703.10593 InstaGAN InstaGAN: Instance-aware Image-to-Image Translation (ICLR 2019) https://arxiv.org/abs/1812.10889
画像のスタイル変換 Paired 各ドメインの画像が対になっている Unpaired 各ドメインの画像が対になっていない あるドメインの画像を別のドメインへの対応する画像に変換する操作
CycleGAN による画像変換 左: CycleGAN の論文中の例、右: 自分で実験してみた例
CycleGAN 2つのGeneratorはそれぞれX→Y、Y→Xの変換を行い、 Discriminatorはそれが元々そのドメインの画像だったか Generatorによって変換された画像かを見破る。
CycleGAN の Loss Domain loss (GAN Loss) Content Loss (Cycle
Consistency Loss)
CycleGAN
CycleGAN の問題点 ・オブジェクト形状が大きく変わるような変換はできない。 ・変換するべきオブジェクトが画像のどの部分であるかを明示して変換することはできない。
InstaGAN ・CycleGAN で失敗しやすい、オブジェクト形状が変化するような変換にも対応できる。 ・該当するインスタンスのうち、一部だけを変換することもできる。
InstaGAN
Generator 1. 画像用 Encoder とマスク用 Encoder で特徴を抽出 2. マスク特徴の総和を取っておく 3.
画像用の Decoder に画像特徴とマスク特徴の総和を 入力して変換された画像を得る 4. マスク用の Decoder に画像特徴とマスク特徴の総和と マスク特徴を入力して変換されたマスクを得る
Discriminator 1. 画像用 Encoder とマスク用 Encoder で特徴を抽出 2. マスク特徴の総和を取る 3.
Classifier に画像特徴とマスク特徴の総和を入力して判 別する
InstaGAN の Loss Domain Loss (GAN Loss) Content Loss Domain
Loss: target domain っぽいかどうかを判別するための Loss Content Loss: 元画像の内容や文脈を保持するための Loss
Content Loss の中身 ドメイン X の画像を一旦 Y に変換してからもう一度 X に変換したら元画像戻って欲しいという願い
(CycleGAN の Cycle Consistency Loss と同じ) GXY/GYX はそれぞれドメイン X/Y の画像についてのみ変更してほしいという願い (元々 Y/X だった画像は変更しないでほしい ) マスク領域以外の場所は変更しないでほしいという願い
Sequential Translation 一度に全てのマスクを変換するのではなく、 各 iteration では少数のマスクだけを変換する手法を使っています。
Sequential Translation One: 全てのマスクを 1 iteration で変換 Seq: Sequential に少数ずつ変換 train時/inference時 Train
時にも Inference 時にも Sequential Translation を行った方がよいらしい (一番右)。
結果 ズボン⇔スカートの変換 CycleGANよりも綺麗です。 また、右側中段のように一人分だけ変換することもできています。
結果 ヒツジ⇔キリンの変換 ちゃんとヒツジとキリンの形になっています。 また、InstaGAN では背景部分の変化が小さいです (左側上段など)
結果 ウマ⇔車の変換 この変換の出来は微妙に見えますが論文中では上手くいってる扱いぽいです。 確かにCycleGANよりはマシに見えます。
おまけ 自分で実装してみるために参考に著者実装を見たのですが実装が酷すぎて読むのがつらいです。 各メソッドの全ての変数に selfがついているのでメソッドの中身だけ追っても処理内容が見えづらい あとPyTorchの使い方覚えてほしい
参考 CycleGAN (https://qiita.com/hrs1985/items/050acb15ce33675f07ec) CycleGANを用いたスタイル変換 (https://qiita.com/hrs1985/items/926f9c4e635aac659675) CycleGANを用いたスタイル変換 (2) リベンジ編 (https://qiita.com/hrs1985/items/820d9b0b919fe0425e46) CycleGANのPytorch実装
(https://github.com/kiyohiro8/CycleGAN-pytorch) CycleGANの実装はあまりカッコよくないので色々修正したい。 InstaGANの実装も今やっているので上手くできたら githubに上げます。
More Decks by kiyo
See All by kiyo
Agent Skill Acquisition for Large Language Models via CycleQD
kiyohiro8
0
53
Active Retrieval Augmented Generation
kiyohiro8
3
990
Reinforcement Learning: An Introduction 輪読会 第5回
kiyohiro8
0
490
Reinforcement Learning: An Introduction 輪読会 第3回
kiyohiro8
0
660
TransGAN: Two Transformers Can Make One Strong GAN
kiyohiro8
0
400
Bridging_by_Word__Image-Grounded_Vocabulary_Construction_for_Visual_Captioning.pdf
kiyohiro8
0
1k
Attention on Attention for Image Captioning
kiyohiro8
1
590
Progressive Growing of GANs for Improved Quality, Stability, and Variation
kiyohiro8
1
200
Graph-Based Global Reasoning Networks
kiyohiro8
0
1.5k
Other Decks in Technology
See All in Technology
ラクスル会社紹介資料|エンジニア向け / RAKSUL Introduction for Engineers
raksulrecruiting
0
130
Context parameters で作る!はじめての型クラス
kworkdev
PRO
1
150
WasmをRustにする技術
sansantech
PRO
1
120
Linuxネットワークスタック進化の軌跡: 過去10年の歩みと最新トレンド
orimanabu
4
750
AI対話型分析を作成し、リリースするまでの話 / The Road to Release: Buiding AI Conversational Analytics
yappli_developers
0
160
Gov-JAWS#9 統合監視機能のマネージドサービス化+AIによる障害時自動調査
fj_yoshimura_kosuke
0
200
人間+AIを「チーム」としてプロセスを再設計する
littlehands
4
3.4k
Re:ゼロから始めるシェアハウスのペットな鯖
silmin_
0
240
AWS Emulator を評価する: 手元で動く AWS の API の仕組み、始め方、確かめ方
inariku
PRO
2
750
HTTP通信に使おうとすると実はめんどくさいfile_get_contents
maguroalternative
0
200
契約書SaaSにAIエージェントを組み込む
sansantech
PRO
0
180
Agent Harnessはどう作る?事例から学ぶAI Agentの設計思想
sergicalsix
0
340
Featured
See All Featured
sira's awesome portfolio website redesign presentation
elsirapls
0
510
DevOps and Value Stream Thinking: Enabling flow, efficiency and business value
helenjbeal
2
450
Groundhog Day: Seeking Process in Gaming for Health
codingconduct
0
490
A Guide to Academic Writing Using Generative AI - A Workshop
ks91
PRO
1
570
The browser strikes back
jonoalderson
0
2k
Building Better People: How to give real-time feedback that sticks.
wjessup
371
20k
The AI Search Optimization Roadmap by Aleyda Solis
aleyda
2
6.4k
Ethics towards AI in product and experience design
skipperchong
2
470
The Illustrated Children's Guide to Kubernetes
chrisshort
51
53k
How GitHub (no longer) Works
holman
316
150k
The Director’s Chair: Orchestrating AI for Truly Effective Learning
tmiket
1
350
Rebuilding a faster, lazier Slack
samanthasiow
85
9.8k