Progressive Growing of GANs for Improved Quality, Stability, and Variation

自己紹介 Twitter : @hrs1985 https://qiita.com/hrs1985 機械学習エンジニアをしています。最近転職して 7月から東京で働いてます。 前々職では実験生物学やってました。 ● 深層生成モデル ● 強化学習 ● 画像処理 に興味があります。最近はグラフも面白そうだなと思っています。 2

論文の概要 ▪ GAN の学習安定化のための Progressive Growing を提案 ▪ その他の工夫 (Equalized Learning Rate, Pixelwise Normalization) を提案 3 3

Progressive Growing 学習が不安定になる一因は生成するデータが高次元すぎること →低次元のデータから徐々に学習を進める 4

Progressive Growing 新しいレイヤーを加える時、新しいレイヤーの出力/入力と その直前のレイヤーの出力/入力を α : 1 - α で足して用いる。 5

Progressive Growing を実装したいとき (Pytorch) 6 4x4 8x8 16x16 32x32 Upsampling block 4x4 8x8 16x16 32x32 noise 4x4 image To RGB block

Progressive Growing を実装したいとき (Pytorch) 7 4x4 8x8 16x16 32x32 Upsampling block 4x4 8x8 16x16 32x32 To RGB block noise 8x8 image

Progressive Growing を実装したいとき (Pytorch) 8 4x4 8x8 16x16 32x32 Upsampling block 4x4 8x8 16x16 32x32 To RGB block noise 16x16 image

Progressive Growing を実装したいとき (Pytorch) 9 4x4 8x8 16x16 32x32 Upsampling block 4x4 8x8 16x16 32x32 To RGB block noise 32x32 image

その他の工夫 Pixelwise Normalization 各ピクセルをチャンネル方向の 2-ノルムで割る Generator 側でのみ用いている Equalized Learning Rate 各レイヤーの weight をチャンネル数で正規化して使う 出力 (と誤差の逆伝搬) のダイナミックレンジがチャンネル数に対して変動しにくくなる 10 Minibatch Discrimination ミニバッチ内の標準偏差を Discriminator に与える

Ablation study 11

顔画像の生成 12

やってみた 13 ちゃんとした比較はできてないけど、卵以外の具材の破綻が少なそう？