Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
TransGAN: Two Transformers Can Make One Strong GAN
Search
kiyo
April 18, 2021
Technology
400
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
TransGAN: Two Transformers Can Make One Strong GAN
第六回全日本コンピュータビジョン研究会 Transformer読み会での発表資料です
kiyo
April 18, 2021
Transcript
21 slides
TransGAN: Two Transformers Can Make One Strong GAN 第六回 全日本コンピュータビジョン勉強会
Transformer 読み会 2021/04/18 kiyo (hrs1985)
自己紹介 twitter : @hrs1985 Qiita : https://qiita.com/hrs1985 github : https://github.com/kiyohiro8
株式会社カブクで機械学習エンジニアをしています。 深層生成モデル、画像の変換 ゲームの強化学習 あたりに興味があります。 twitter アイコン
論文の概要 TransGAN: Two Transformers Can Make One Strong GAN (https://arxiv.org/abs/2102.07074)
1. Transformer のみで GAN を構成した (CNN が非必須であることを示した) 2. アーキテクチャと学習方法を工夫することで CIFAR-10 や STL-10 で CNN ベースの GAN に匹敵する性能が出せた。 モデルは https://github.com/VITA-Group/TransGAN に公開されている ただし推論のみ
Generative Adversarial Models Generator はノイズ (z) から fake sample を作る
Discriminator は入力された画像の real / fake を判別する
Attention (Transformer) と GAN CNN + Attention の GAN は
Self-Attention GAN などで使われており、性能向上に寄与している 今回は Convolutional Layer を一切使わずにAttention (Transformer) のみで GAN を構成した Self-Attention Generative Adversarial Networks (https://arxiv.org/abs/1805.08318) より
Transformer Generator / Discriminator Generator / Discriminator ともに Transformer だけで構成されている
Transformer Encoder Block Multi-Head Self Attention → MLP を繋げて 1つのブロックにする
Multi-Head Self Attention と MLP の前に Layer Normalization を挟む
Memory-Friendly Generator 画像サイズは NLP でいう文の長さ (単語数) に相当する。 32x32 の低解像度でも 1024
単語の文となってしまい Attention の計算量がかさむ。 Transformer Encoder を何回か通す → UpScaling (pixel shuffle) →これを繰り返し、目的の画像サイズまで大きくしていく ←各 pixel が NLP でいう word に相当する
Discriminator 画像を 8x8 のパッチに分割 →Transformer Encoder を通す →最終層で特徴を集約して real /
fake 判定
シンプルな TransGAN Transformer の Generator はよい Transformer の Discriminator はダメ
データ拡張 データ拡張 (DiffAug) を導入することで IS も FID も改善
Self-Supervised Auxiliary Task 補助タスクとして、Generator に画像の高解像度化タスクも解かせる 低解像度画像 高解像度化された画像 MSE loss
Locality-Aware Initialization query 位置 (赤) に対して参照できる key の範囲を制限する 学習初期では狭く、後期では広い範囲を参照する
モデルサイズの効果 モデルサイズが大きいほど強い
既存手法との比較 CIFAR-10、STL-10 で SoTA またはそれに匹敵する程度の性能が出た
出力画像例
結論 ・Transformer のみで構成された GAN である TransGAN を提案した ・学習を工夫することで CNN ベースの
GAN に匹敵する性能が出せた ・今後自然言語処理分野のテクニックを取り入れることで性能向上ができるかも?
None
Network Architecture
学習の計算量
Settings
More Decks by kiyo
See All by kiyo
Agent Skill Acquisition for Large Language Models via CycleQD
kiyohiro8
0
53
Active Retrieval Augmented Generation
kiyohiro8
3
990
Reinforcement Learning: An Introduction 輪読会 第5回
kiyohiro8
0
490
Reinforcement Learning: An Introduction 輪読会 第3回
kiyohiro8
0
660
CycleGAN and InstaGAN
kiyohiro8
0
1.6k
Bridging_by_Word__Image-Grounded_Vocabulary_Construction_for_Visual_Captioning.pdf
kiyohiro8
0
1k
Attention on Attention for Image Captioning
kiyohiro8
1
590
Progressive Growing of GANs for Improved Quality, Stability, and Variation
kiyohiro8
1
200
Graph-Based Global Reasoning Networks
kiyohiro8
0
1.5k
Other Decks in Technology
See All in Technology
Context parameters で作る!はじめての型クラス
kworkdev
PRO
1
150
AIネイティブ組織の作り方。1人のPOとAIから始める、自社での実験
ama_ch
2
1.2k
Shared Signals Framework 仕様解説
oidfj
0
480
HTTP通信に使おうとすると実はめんどくさいfile_get_contents
maguroalternative
0
200
AI時代における医療情報システムのセキュリティ / Security of Healthcare IT Systems in the AI Era
henryofficial
0
190
E2E Test というハーネス — AI時代の自動テスト民主化
daishukojima
10
5.4k
アラートを見直していたら営業組織への理解にちょっとだけ繋がった話
z63d
1
210
市販IoT機器や自作IoT機器とHomeAssistantを駆使して家の電気代をできる限り見える化する方法の考案
harutiro
0
370
マネージャーをエスパーにしない マネジメントされる側から始める、働きやすい現場づくり
comi190327
1
740
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
17
120k
MCPでネットワーク障害調査を自動化する前に直すべき3つのこと
yama3133
1
580
_マネジメントする人される人ナイト_2026__良いチームを作っていきたい_お気持ち_.pdf
xkxaxkx
0
780
Featured
See All Featured
Building Adaptive Systems
keathley
44
3.3k
Unsuck your backbone
ammeep
672
58k
The browser strikes back
jonoalderson
0
2k
We Analyzed 250 Million AI Search Results: Here's What I Found
joshbly
2
2.1k
Digital Ethics as a Driver of Design Innovation
axbom
PRO
2
530
The Limits of Empathy - UXLibs8
cassininazir
2
790
Max Prin - Stacking Signals: How International SEO Comes Together (And Falls Apart)
techseoconnect
PRO
0
530
Getting science done with accelerated Python computing platforms
jacobtomlinson
2
580
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
37
6.7k
Imperfection Machines: The Place of Print at Facebook
scottboms
270
14k
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
3
1.4k