Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Progressive Growing of GANs for Improved Qualit...
Search
kiyo
August 08, 2019
Technology
200
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Progressive Growing of GANs for Improved Quality, Stability, and Variation
PGGANについての説明資料です。8月8日に内輪の勉強会に使用しました。
kiyo
August 08, 2019
Transcript
13 slides
Progressive Growing of GANs for Improved Quality, Stability, and Variation
自己紹介 Twitter : @hrs1985 https://qiita.com/hrs1985 機械学習エンジニアをしています。最近転職して 7月から東京で働いてます。 前々職では実験生物学やってました。 • 深層生成モデル
• 強化学習 • 画像処理 に興味があります。最近はグラフも面白そうだなと思っています。 2
論文の概要 ▪ GAN の学習安定化のための Progressive Growing を提案 ▪ その他の工夫 (Equalized
Learning Rate, Pixelwise Normalization) を提案 3 3
Progressive Growing 学習が不安定になる一因は生成するデータが高次元すぎること →低次元のデータから徐々に学習を進める 4
Progressive Growing 新しいレイヤーを加える時、新しいレイヤーの出力/入力と その直前のレイヤーの出力/入力を α : 1 - α で足して用いる。
5
Progressive Growing を実装したいとき (Pytorch) 6 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 noise 4x4 image To RGB block
Progressive Growing を実装したいとき (Pytorch) 7 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 To RGB block noise 8x8 image
Progressive Growing を実装したいとき (Pytorch) 8 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 To RGB block noise 16x16 image
Progressive Growing を実装したいとき (Pytorch) 9 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 To RGB block noise 32x32 image
その他の工夫 Pixelwise Normalization 各ピクセルをチャンネル方向の 2-ノルムで割る Generator 側でのみ用いている Equalized Learning Rate
各レイヤーの weight をチャンネル数で正規化して使う 出力 (と誤差の逆伝搬) のダイナミックレンジがチャンネル数に対して変動しにくくなる 10 Minibatch Discrimination ミニバッチ内の標準偏差を Discriminator に与える
Ablation study 11
顔画像の生成 12
やってみた 13 ちゃんとした比較はできてないけど、卵以外の具材の破綻が少なそう?
More Decks by kiyo
See All by kiyo
Agent Skill Acquisition for Large Language Models via CycleQD
kiyohiro8
0
53
Active Retrieval Augmented Generation
kiyohiro8
3
990
Reinforcement Learning: An Introduction 輪読会 第5回
kiyohiro8
0
490
Reinforcement Learning: An Introduction 輪読会 第3回
kiyohiro8
0
660
TransGAN: Two Transformers Can Make One Strong GAN
kiyohiro8
0
400
CycleGAN and InstaGAN
kiyohiro8
0
1.6k
Bridging_by_Word__Image-Grounded_Vocabulary_Construction_for_Visual_Captioning.pdf
kiyohiro8
0
1k
Attention on Attention for Image Captioning
kiyohiro8
1
590
Graph-Based Global Reasoning Networks
kiyohiro8
0
1.5k
Other Decks in Technology
See All in Technology
市販IoT機器や自作IoT機器とHomeAssistantを駆使して家の電気代をできる限り見える化する方法の考案
harutiro
0
370
Re:ゼロから始めるシェアハウスのペットな鯖
silmin_
0
240
アラートを見直していたら営業組織への理解にちょっとだけ繋がった話
z63d
1
210
思考過程から秘密が漏れる:Amazon Bedrock上のKimi K3を5つの方法で攻めたら、25回中22回漏洩した話
yama3133
1
170
HTTP通信に使おうとすると実はめんどくさいfile_get_contents
maguroalternative
0
200
人間+AIを「チーム」としてプロセスを再設計する
littlehands
4
3.4k
Claude Codeで新規事業を伸ばせるか? Zennの試行錯誤の記録
wadayusuke
2
240
「任されビリティ」で引き受けて「よしなりてぃ」に頼らず任せる / Accept tasks with "makasarebility" and hand them over without relying on "yoshinarily"
pauli
1
760
文書画像からの情報抽出を行うエージェントを、軌跡の正解データ無しで作れるか
sansantech
PRO
2
180
LLM 基盤と kagent v0 を全部 k8s に入れてみた / Deploy both LLM and kagent v0 in k8s
kota2and3kan
0
230
会社説明資料_最新版
demaecan
0
32k
Quick Automate | 目指せ Quick マスター 12
inariku
PRO
1
130
Featured
See All Featured
Building the Perfect Custom Keyboard
takai
2
960
From Legacy to Launchpad: Building Startup-Ready Communities
dugsong
0
380
Raft: Consensus for Rubyists
vanstee
143
7.9k
jQuery: Nuts, Bolts and Bling
dougneiner
66
8.7k
Principles of Awesome APIs and How to Build Them.
keavy
128
18k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
1.1k
Large-scale JavaScript Application Architecture
addyosmani
516
110k
Efficient Content Optimization with Google Search Console & Apps Script
katarinadahlin
PRO
1
990
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
rkaga
63
48k
Exploring anti-patterns in Rails
aemeredith
4
570
Heart Work Chapter 1 - Part 1
lfama
PRO
11
37k
Technical Leadership for Architectural Decision Making
baasie
4
650