Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Progressive Growing of GANs for Improved Quality, Stability, and Variation
Search
kiyo
August 08, 2019
Technology
1
120
Progressive Growing of GANs for Improved Quality, Stability, and Variation
PGGANについての説明資料です。8月8日に内輪の勉強会に使用しました。
kiyo
August 08, 2019
Tweet
Share
More Decks by kiyo
See All by kiyo
Active Retrieval Augmented Generation
kiyohiro8
3
560
Reinforcement Learning: An Introduction 輪読会 第5回
kiyohiro8
0
300
Reinforcement Learning: An Introduction 輪読会 第3回
kiyohiro8
0
420
TransGAN: Two Transformers Can Make One Strong GAN
kiyohiro8
0
270
CycleGAN and InstaGAN
kiyohiro8
0
1.3k
Bridging_by_Word__Image-Grounded_Vocabulary_Construction_for_Visual_Captioning.pdf
kiyohiro8
0
920
Attention on Attention for Image Captioning
kiyohiro8
1
450
Graph-Based Global Reasoning Networks
kiyohiro8
0
1.2k
Other Decks in Technology
See All in Technology
[2024最新版]AWS Control Towerを使ったセキュアなマルチアカウント環境の作り方
hiashisan
0
270
データ分析基盤を作ってみよう~設計編~
nrinetcom
PRO
1
110
運用改善、不都合な真実 / 20240722-ssmjp-kaizen
opelab
17
8.2k
[NIKKEI Tech Talk] KDDI/KAG Scrum & Community for Engineering Training
curanosuke
2
220
エンジニアリングマネージャーはどう学んでいくのか #devsumi / How Do Engineering Managers Continue to Learn and Grow?
expajp
4
1.3k
地理情報とAPIのトレンド
nagix
0
160
コミュニティサービスに「あなたへ」フィードを リリースするまでの試行錯誤
takapy
1
150
Azure OpenAI Service Dev Day / LLMでできる!使える!生成AIエージェント
masahiro_nishimi
3
780
AIアシスタントの活用で品質の向上と開発ワークフローのスピードアップ
nagix
1
200
DevIO2024_レガシー運用からの脱却 -クラウド活用の実践事例とベストプラクティス-
jun2882
0
210
エンジニアの生存戦略 〜クラウド潮流の経験から紐解く技術トレンドのメカニズムと乗りこなし方〜
shimy
9
1.9k
データ分析を支える技術 生成AI再入門
ishikawa_satoru
0
380
Featured
See All Featured
The MySQL Ecosystem @ GitHub 2015
samlambert
248
12k
Code Reviewing Like a Champion
maltzj
517
39k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
105
6.8k
Adopting Sorbet at Scale
ufuk
71
8.8k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
121
18k
How to Ace a Technical Interview
jacobian
274
23k
Infographics Made Easy
chrislema
238
18k
Visualization
eitanlees
139
14k
Done Done
chrislema
179
15k
What's new in Ruby 2.0
geeforr
338
31k
Optimizing for Happiness
mojombo
373
69k
From Idea to $5000 a Month in 5 Months
shpigford
377
46k
Transcript
Progressive Growing of GANs for Improved Quality, Stability, and Variation
自己紹介 Twitter : @hrs1985 https://qiita.com/hrs1985 機械学習エンジニアをしています。最近転職して 7月から東京で働いてます。 前々職では実験生物学やってました。 • 深層生成モデル
• 強化学習 • 画像処理 に興味があります。最近はグラフも面白そうだなと思っています。 2
論文の概要 ▪ GAN の学習安定化のための Progressive Growing を提案 ▪ その他の工夫 (Equalized
Learning Rate, Pixelwise Normalization) を提案 3 3
Progressive Growing 学習が不安定になる一因は生成するデータが高次元すぎること →低次元のデータから徐々に学習を進める 4
Progressive Growing 新しいレイヤーを加える時、新しいレイヤーの出力/入力と その直前のレイヤーの出力/入力を α : 1 - α で足して用いる。
5
Progressive Growing を実装したいとき (Pytorch) 6 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 noise 4x4 image To RGB block
Progressive Growing を実装したいとき (Pytorch) 7 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 To RGB block noise 8x8 image
Progressive Growing を実装したいとき (Pytorch) 8 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 To RGB block noise 16x16 image
Progressive Growing を実装したいとき (Pytorch) 9 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 To RGB block noise 32x32 image
その他の工夫 Pixelwise Normalization 各ピクセルをチャンネル方向の 2-ノルムで割る Generator 側でのみ用いている Equalized Learning Rate
各レイヤーの weight をチャンネル数で正規化して使う 出力 (と誤差の逆伝搬) のダイナミックレンジがチャンネル数に対して変動しにくくなる 10 Minibatch Discrimination ミニバッチ内の標準偏差を Discriminator に与える
Ablation study 11
顔画像の生成 12
やってみた 13 ちゃんとした比較はできてないけど、卵以外の具材の破綻が少なそう?