【論文読み】GCVAE-GAN Fine-Grained Image Generation through Asymmetric Training

Transcript

1. CVAE-GAN Fine Grained Image Generation though Asymmetric Training 2018/1/26 AI開発部論文読み会 上総 虎智
2. 0.Infomation
3. 1.Introduction • あるIdentityを持った様々なカテゴリーの画像を生成したい • VAEとGANを組み合わせたモデルを提案する • しかし、ナイーブにはうまくいかない、なぜならばVAEの画像はぼやける からCriminatorが簡単に偽物と判別できる • 本物のデータ群の平均の特徴量とのL2距離を損失関数として採用 • 勾配消失が緩和される • Mean feature matching はモード崩壊を軽減するが、モード崩壊は完全 には防げない。ここにVAEとGANの組み合わせが効く。 -潜在空間と画像空間を明確に関連付ける -再構成誤差が画像の構造を保つ • よりリアルな画像を生成する、GANより学習早い • 画像生成、塗り絵、属性変換に役立つ
4. 2.Related Work
5. 3. Our Formulation of CVAE-GAN Mean Feature matching を導入。Mode collapseを 防ぐのが一番の目的(言い過ぎ？) : バッチ毎にクラス関係無く本物か偽物か : あるxについてクラスごとで比較している : 再構成誤差+Feature Matching Loss関数の重みはハイパラ。。。
6. 4.Analysis of Toy Example Mean Feature Mappingが生成されるデータの多様性に寄与していると読み取れる。
7. 5. Experiments 色々実験したよ • 5.1. Visualization comparison with other models • 5.2. Quantitative Comparison • 5.3. Attributes Morphing • 5.4. Image Inpainting • 5.5. Comparing Different Combination of Losses • 5.6. CVAEGAN for Data Augmentation
8. 5.1. Visualization comparison with other models CVAE-GANの良さは、Realである、画像群の中で多様性がある。
9. 5.2. Quantitative Comparison • Discriminability:学習済GoogleNetでの識別性 • Realism＆Diversity:KLダイバージェンスの期待値 5.3. Attributes Morphing • 潜在変数を徐々に変化させて生成
10. • Webから拾ってきた画像を一部マスク。何回かCVAE-GANにて画像生成。 5.4. Image Inpainting
11. 5.5. Comparing Different Combination of Losses 5.6. CVAEGAN for Data Augmentation Generater部分のloss関数を色々変えてみたよ。
12. • Mean Feature Matching良いよ • 様々な応用法が考えられる • 未知のカテゴリーに含まれるようなデータをどうかして生成したいよ 6.Conclusion