Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Free-Form Image Inpainting with Gated Convolution
Search
Masanori YANO
September 13, 2019
Science
0
850
Free-Form Image Inpainting with Gated Convolution
論文LT会で作成した「Free-Form Image Inpainting with Gated Convolution」の説明資料です。
Masanori YANO
September 13, 2019
Tweet
Share
More Decks by Masanori YANO
See All by Masanori YANO
Novelty Detection Via Blurring
msnr
0
410
Y-Net: Joint Segmentation and Classification for Diagnosis of Breast Biopsy Images
msnr
0
490
Pyramid-Based Fully Convolutional Networks for Cell Segmentation
msnr
0
440
Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection
msnr
0
570
Move Evaluation in Go Using Deep Convolutional Neural Networks
msnr
1
760
AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search
msnr
0
1.1k
Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning
msnr
0
420
SRCNN: Image Super Resolution Using CNN
msnr
0
510
One-Class Convolutional Neural Network
msnr
0
1.1k
Other Decks in Science
See All in Science
解説!データ基盤の進化を後押しする手順とタイミング
shomaekawa
1
280
qeMLパッケージの紹介
bob3bob3
0
1.2k
Snowflake上でRを使う: RStudioセットアップとShinyアプリケーションのデプロイ
ktatsuya
0
260
Improving Search @scale with efficient query experimentation @BerlinBuzzwords 2024
searchhub
0
200
Mechanistic Interpretability の紹介
sohtakahashi
0
160
Machine Learning for Materials (Lecture 9)
aronwalsh
0
170
2024-06-16-pydata_london
sofievl
0
370
Презентация программы магистратуры СПбГУ "Искусственный интеллект и наука о данных"
dscs
0
210
Direct Preference Optimization
zchenry
0
230
作業領域内の障害物を回避可能なバイナリマニピュレータの設計 / Design of binary manipulator avoiding obstacles in workspace
konakalab
0
120
Xpenologyなるアングラプロジェクト周りについて語るやつ
sushi514
0
880
Machine Learning for Materials (Lecture 7)
aronwalsh
0
770
Featured
See All Featured
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
353
29k
Building an army of robots
kneath
301
42k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
The Brand Is Dead. Long Live the Brand.
mthomps
52
36k
[RailsConf 2023] Rails as a piece of cake
palkan
35
4.4k
Building Effective Engineering Teams - LeadDev
addyosmani
47
2.2k
Build The Right Thing And Hit Your Dates
maggiecrowley
28
2.2k
Being A Developer After 40
akosma
72
580k
Infographics Made Easy
chrislema
238
18k
Into the Great Unknown - MozCon
thekraken
20
1.3k
Embracing the Ebb and Flow
colly
81
4.3k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
245
1.2M
Transcript
画像処理&機械学習 論文LT会 #7 Free-Form Image Inpainting with Gated Convolution 2019年9月13日(金)
矢農 正紀 (Masanori YANO)
論文 2 標題: Free-Form Image Inpainting with Gated Convolution 論文のURL:
https://arxiv.org/abs/1806.03589 公式ページ: http://jiahuiyu.com/deepfill2/ ⇒ 画像のInpainting(修復)の手法に関する論文 著者の所属は、イリノイ大学及びAdobe Research 選んだ理由 ・画像を生成する観点で、Inpaintingの手法に関心あり ・ICCV 2019採択の論文で、本論文の手法が引用されていた ・NVIDIAのP-Convを長いこと理解できなかった ・本論文の説明と参考文献[4]で、ようやくP-Convを把握
Inpaintingとは 3 [入力] マスクを含む画像 [出力] マスクを除去した画像 ⇒ 本論文では、マスク(白塗り)は 任意の形状に対応し、加えて ユーザーのスケッチ(黒い線)も
ガイダンス的な情報として活用
Inpaintingのアプローチ 4 [1] GLCIC(Globally and Locally Consistent Image Completion) Dilated
Convolutionを含むCNN + GAN [2] P-Conv(Image Inpainting for Irregular Holes Using Partial Convolutions) Partial Convolutionを用いたU-Net構造のCNN [3] 本論文(Free-Form Image Inpainting with Gated Convolution) Gated ConvolutionのCNN(Dilatedも使用) + SN-PatchGAN ⇒ 「エンコーダ→デコーダ」のCNNで修復するところは共通 スキップ接続あり
P-Conv(Partial Convolution) 5 マスクを考慮して畳み込み、マスクは更新で縮める ・入力画像とは別に、マスクのチャネルを使用 1=マスクされていない、0=マスクされている ・入力画像は、マスクを考慮して畳み込み ・マスクは、定数のカーネルで畳み込んで 0以外は1に ⇒
次第に縮んでいく バイアス項は 簡単のため省略
Gated Convolution 6 二種類の重みを使って、マスクの畳み込みも学習 はReLUなどの活性化関数、はシグモイド関数 (活性化関数を通した結果と、0~1のシグモイド関数とのアダマール積) バイアス項は 簡単のため省略
本論文のネットワークアーキテクチャ 7 SN-PatchGANと呼称 ・Generatorは、Gated Convolutionを中心としたCNN ・Discriminatorは、CNNで畳み込まれた特徴量で個別判定 - カーネルサイズ5・ストライド2で畳み込み - Spectral
Normalizationを使用するSN-GANベース 学習のためのマスクやスケッチは、アルゴリズムで自動生成
まとめ 8 本論文はGated ConvolutionとSN-PatchGANを提案 ・任意の形状のマスクやスケッチに対応できた事例を提示 ・定量的な評価は、バリデーション画像のlossの平均を比較 ・50人のユーザーに、本物の画像と修復画像を見せて評価も - 修復画像の88.7%を「リアル」と判定(本物は94.3%) 所感
・Inpaintingの論文は、成功事例の画像がインパクト大 ・一方で、だめな事例については 後続の論文で初めて見ることも ・新しい手法やアーキテクチャは 違うタスクに適用できるかも
参考文献 9 [1] GLCIC(Globally and Locally Consistent Image Completion) http://iizuka.cs.tsukuba.ac.jp/projects/completion/
[2] P-Conv(Image Inpainting for Irregular Holes Using Partial Convolutions) https://arxiv.org/abs/1804.07723 [3] Onion-Peel Networks for Deep Video Completion https://arxiv.org/abs/1908.08718 ↑ Gated Convolutionを知るきっかけとなったICCV 2019論文(動画の修復) [4] DeepCreamPyで学ぶモザイク除去 https://note.mu/koshian2/n/naa60d5c9ebba ↑ P-ConvやU-Netの実装コードを含む、わかりやすい解説