Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
TransGAN: Two Transformers Can Make One Strong GAN
Search
kiyo
April 18, 2021
Technology
0
350
TransGAN: Two Transformers Can Make One Strong GAN
第六回全日本コンピュータビジョン研究会 Transformer読み会での発表資料です
kiyo
April 18, 2021
Tweet
Share
More Decks by kiyo
See All by kiyo
Active Retrieval Augmented Generation
kiyohiro8
3
830
Reinforcement Learning: An Introduction 輪読会 第5回
kiyohiro8
0
390
Reinforcement Learning: An Introduction 輪読会 第3回
kiyohiro8
0
550
CycleGAN and InstaGAN
kiyohiro8
0
1.5k
Bridging_by_Word__Image-Grounded_Vocabulary_Construction_for_Visual_Captioning.pdf
kiyohiro8
0
980
Attention on Attention for Image Captioning
kiyohiro8
1
510
Progressive Growing of GANs for Improved Quality, Stability, and Variation
kiyohiro8
1
160
Graph-Based Global Reasoning Networks
kiyohiro8
0
1.3k
Other Decks in Technology
See All in Technology
Core Audio tapを使ったリアルタイム音声処理のお話
yuta0306
0
190
いつの間にか入れ替わってる!?新しいAWS Security Hubとは?
cmusudakeisuke
0
120
Delta airlines®️ USA Contact Numbers: Complete 2025 Support Guide
airtravelguide
0
340
さくらのIaaS基盤のモニタリングとOpenTelemetry/OSC Hokkaido 2025
fujiwara3
3
440
Operating Operator
shhnjk
1
580
整頓のジレンマとの戦い〜Tidy First?で振り返る事業とキャリアの歩み〜/Fighting the tidiness dilemma〜Business and Career Milestones Reflected on in Tidy First?〜
bitkey
2
16k
United airlines®️ USA Contact Numbers: Complete 2025 Support Guide
unitedflyhelp
0
310
PO初心者が考えた ”POらしさ”
nb_rady
0
210
高速なプロダクト開発を実現、創業期から掲げるエンタープライズアーキテクチャ
kawauso
2
9.2k
MUITにおける開発プロセスモダナイズの取り組みと開発生産性可視化の取り組みについて / Modernize the Development Process and Visualize Development Productivity at MUIT
muit
1
16k
Should Our Project Join the CNCF? (Japanese Recap)
whywaita
PRO
0
340
生成AI開発案件におけるClineの業務活用事例とTips
shinya337
0
250
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
4 Signs Your Business is Dying
shpigford
184
22k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Visualization
eitanlees
146
16k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Transcript
TransGAN: Two Transformers Can Make One Strong GAN 第六回 全日本コンピュータビジョン勉強会
Transformer 読み会 2021/04/18 kiyo (hrs1985)
自己紹介 twitter : @hrs1985 Qiita : https://qiita.com/hrs1985 github : https://github.com/kiyohiro8
株式会社カブクで機械学習エンジニアをしています。 深層生成モデル、画像の変換 ゲームの強化学習 あたりに興味があります。 twitter アイコン
論文の概要 TransGAN: Two Transformers Can Make One Strong GAN (https://arxiv.org/abs/2102.07074)
1. Transformer のみで GAN を構成した (CNN が非必須であることを示した) 2. アーキテクチャと学習方法を工夫することで CIFAR-10 や STL-10 で CNN ベースの GAN に匹敵する性能が出せた。 モデルは https://github.com/VITA-Group/TransGAN に公開されている ただし推論のみ
Generative Adversarial Models Generator はノイズ (z) から fake sample を作る
Discriminator は入力された画像の real / fake を判別する
Attention (Transformer) と GAN CNN + Attention の GAN は
Self-Attention GAN などで使われており、性能向上に寄与している 今回は Convolutional Layer を一切使わずにAttention (Transformer) のみで GAN を構成した Self-Attention Generative Adversarial Networks (https://arxiv.org/abs/1805.08318) より
Transformer Generator / Discriminator Generator / Discriminator ともに Transformer だけで構成されている
Transformer Encoder Block Multi-Head Self Attention → MLP を繋げて 1つのブロックにする
Multi-Head Self Attention と MLP の前に Layer Normalization を挟む
Memory-Friendly Generator 画像サイズは NLP でいう文の長さ (単語数) に相当する。 32x32 の低解像度でも 1024
単語の文となってしまい Attention の計算量がかさむ。 Transformer Encoder を何回か通す → UpScaling (pixel shuffle) →これを繰り返し、目的の画像サイズまで大きくしていく ←各 pixel が NLP でいう word に相当する
Discriminator 画像を 8x8 のパッチに分割 →Transformer Encoder を通す →最終層で特徴を集約して real /
fake 判定
シンプルな TransGAN Transformer の Generator はよい Transformer の Discriminator はダメ
データ拡張 データ拡張 (DiffAug) を導入することで IS も FID も改善
Self-Supervised Auxiliary Task 補助タスクとして、Generator に画像の高解像度化タスクも解かせる 低解像度画像 高解像度化された画像 MSE loss
Locality-Aware Initialization query 位置 (赤) に対して参照できる key の範囲を制限する 学習初期では狭く、後期では広い範囲を参照する
モデルサイズの効果 モデルサイズが大きいほど強い
既存手法との比較 CIFAR-10、STL-10 で SoTA またはそれに匹敵する程度の性能が出た
出力画像例
結論 ・Transformer のみで構成された GAN である TransGAN を提案した ・学習を工夫することで CNN ベースの
GAN に匹敵する性能が出せた ・今後自然言語処理分野のテクニックを取り入れることで性能向上ができるかも?
None
Network Architecture
学習の計算量
Settings