Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Free-Form Image Inpainting with Gated Convolution
Search
Masanori YANO
September 13, 2019
Science
0
900
Free-Form Image Inpainting with Gated Convolution
論文LT会で作成した「Free-Form Image Inpainting with Gated Convolution」の説明資料です。
Masanori YANO
September 13, 2019
Tweet
Share
More Decks by Masanori YANO
See All by Masanori YANO
Novelty Detection Via Blurring
msnr
0
450
Y-Net: Joint Segmentation and Classification for Diagnosis of Breast Biopsy Images
msnr
0
510
Pyramid-Based Fully Convolutional Networks for Cell Segmentation
msnr
0
480
Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection
msnr
0
600
Move Evaluation in Go Using Deep Convolutional Neural Networks
msnr
1
780
AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search
msnr
0
1.1k
Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning
msnr
0
440
SRCNN: Image Super Resolution Using CNN
msnr
0
550
One-Class Convolutional Neural Network
msnr
0
1.2k
Other Decks in Science
See All in Science
位相的データ解析とその応用例
brainpadpr
1
550
構造設計のための3D生成AI-最新の取り組みと今後の展開-
kojinishiguchi
0
490
科学で迫る勝敗の法則(名城大学公開講座.2024年10月) / The principle of victory discovered by science (Open lecture in Meijo Univ. 2024)
konakalab
0
190
伊豆赤沢海洋深層水中からメラニン分解能を有する微生物の探索
eltociear
0
120
Spectral Sparsification of Hypergraphs
tasusu
0
160
Science of Scienceおよび科学計量学に関する研究論文の俯瞰可視化_ポスター版
hayataka88
0
120
Machine Learning for Materials (Lecture 6)
aronwalsh
0
500
Improving Search @scale with efficient query experimentation @BerlinBuzzwords 2024
searchhub
0
240
Sarcoptic Mange
uni_of_nomi
1
110
Coqで選択公理を形式化してみた
soukouki
0
180
インフラだけではない MLOps の話 @事例でわかるMLOps 機械学習の成果をスケールさせる処方箋 発売記念
icoxfog417
2
520
Direct Preference Optimization
zchenry
0
270
Featured
See All Featured
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
33k
Adopting Sorbet at Scale
ufuk
73
9k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
41
2.1k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
504
140k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.9k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
KATA
mclloyd
29
13k
GraphQLとの向き合い方2022年版
quramy
43
13k
Transcript
画像処理&機械学習 論文LT会 #7 Free-Form Image Inpainting with Gated Convolution 2019年9月13日(金)
矢農 正紀 (Masanori YANO)
論文 2 標題: Free-Form Image Inpainting with Gated Convolution 論文のURL:
https://arxiv.org/abs/1806.03589 公式ページ: http://jiahuiyu.com/deepfill2/ ⇒ 画像のInpainting(修復)の手法に関する論文 著者の所属は、イリノイ大学及びAdobe Research 選んだ理由 ・画像を生成する観点で、Inpaintingの手法に関心あり ・ICCV 2019採択の論文で、本論文の手法が引用されていた ・NVIDIAのP-Convを長いこと理解できなかった ・本論文の説明と参考文献[4]で、ようやくP-Convを把握
Inpaintingとは 3 [入力] マスクを含む画像 [出力] マスクを除去した画像 ⇒ 本論文では、マスク(白塗り)は 任意の形状に対応し、加えて ユーザーのスケッチ(黒い線)も
ガイダンス的な情報として活用
Inpaintingのアプローチ 4 [1] GLCIC(Globally and Locally Consistent Image Completion) Dilated
Convolutionを含むCNN + GAN [2] P-Conv(Image Inpainting for Irregular Holes Using Partial Convolutions) Partial Convolutionを用いたU-Net構造のCNN [3] 本論文(Free-Form Image Inpainting with Gated Convolution) Gated ConvolutionのCNN(Dilatedも使用) + SN-PatchGAN ⇒ 「エンコーダ→デコーダ」のCNNで修復するところは共通 スキップ接続あり
P-Conv(Partial Convolution) 5 マスクを考慮して畳み込み、マスクは更新で縮める ・入力画像とは別に、マスクのチャネルを使用 1=マスクされていない、0=マスクされている ・入力画像は、マスクを考慮して畳み込み ・マスクは、定数のカーネルで畳み込んで 0以外は1に ⇒
次第に縮んでいく バイアス項は 簡単のため省略
Gated Convolution 6 二種類の重みを使って、マスクの畳み込みも学習 はReLUなどの活性化関数、はシグモイド関数 (活性化関数を通した結果と、0~1のシグモイド関数とのアダマール積) バイアス項は 簡単のため省略
本論文のネットワークアーキテクチャ 7 SN-PatchGANと呼称 ・Generatorは、Gated Convolutionを中心としたCNN ・Discriminatorは、CNNで畳み込まれた特徴量で個別判定 - カーネルサイズ5・ストライド2で畳み込み - Spectral
Normalizationを使用するSN-GANベース 学習のためのマスクやスケッチは、アルゴリズムで自動生成
まとめ 8 本論文はGated ConvolutionとSN-PatchGANを提案 ・任意の形状のマスクやスケッチに対応できた事例を提示 ・定量的な評価は、バリデーション画像のlossの平均を比較 ・50人のユーザーに、本物の画像と修復画像を見せて評価も - 修復画像の88.7%を「リアル」と判定(本物は94.3%) 所感
・Inpaintingの論文は、成功事例の画像がインパクト大 ・一方で、だめな事例については 後続の論文で初めて見ることも ・新しい手法やアーキテクチャは 違うタスクに適用できるかも
参考文献 9 [1] GLCIC(Globally and Locally Consistent Image Completion) http://iizuka.cs.tsukuba.ac.jp/projects/completion/
[2] P-Conv(Image Inpainting for Irregular Holes Using Partial Convolutions) https://arxiv.org/abs/1804.07723 [3] Onion-Peel Networks for Deep Video Completion https://arxiv.org/abs/1908.08718 ↑ Gated Convolutionを知るきっかけとなったICCV 2019論文(動画の修復) [4] DeepCreamPyで学ぶモザイク除去 https://note.mu/koshian2/n/naa60d5c9ebba ↑ P-ConvやU-Netの実装コードを含む、わかりやすい解説