Generative Image Inpainting with Contextual Attention

書誌情報
CVPR2018
TItle: Generative Image Inpainting with Contextual Attention
Author: Yu, Jiahui and Lin, Zhe and Yang, Jimei and Shen, Xiaohui and Lu, Xin and Huang, Thomas S
arXiv：https://arxiv.org/pdf/1801.07892.pdf
Github：https://github.com/JiahuiYu/generative_inpainting

論文読みのスライドです．GANについても一から説明しています．以下に対象論文の詳細をあげておきます．
※知識不足のため，間違っている点もあるかと思いますので，見る方は参考程度にお願いいたします．

Transcript

1. 8 1 / 1 1 / 1 6 3 16 -2 1
2. UR ▶ P ▶ C 8H J , 8 ,C 8 CH C H CH LHI8A HH CH C ▶ S ▶ - 8 I 6I . C - 68C 8 I 1 C 1 C .I 2 8G 1 I8C ▶ TV ▶ C J G H ,AA C G 8H 8C8 8 8 C ▶ 0 G 8 ▶ H ▶ /0
3. ▶ // / G 3 / / A I 1 G 336 3 8G 2
4. 8 4 - ECA 6E A 8 4E8 3AC - 4 8 - 4 E EE8 E A .A 8 - CAG8 8 8C4E G8 - 4 E /8E AC A4C 8 EA 8 8E AC C6 E86E C8 A54 4 A64 34 8C E8 / 1 4C 4 6A E8 C86A EC 6E A A - 4 8 - 4 E E A E8IE 4 EE8 E A A E8IE 4 EE8 E A 2 8 - 4 E /8E AC I 8C 8 E A 6 A
5. 8 8 ▶ L v sqLp 8 16 / 8 1 -6 - 18 8 6-C1 xi ▶ 6 -6 -8 /-6 - -66C / 8 1 1/ 8 / 8 6 - 8 82 hwt g luNP 8 A115G ▶ xiNPmr W yoNP81 A 5 d bace 2 -6 C 8 - 8 82nk P
6. PS L N - 3 - 3 C GI A / C 2 / a W 3A C 8 C A 1 3C 3 6 5 C 6 43 3 6 . 53 2 / C FC 3 CC C G
7.   
   
    
8. ▶ I 2 / 1 8 6
9. /( 1( ▶ 9 ▶ I 9 6 ( 2 ( ▶ 8 9 /( ( 1 ( )
10.  
    
     
11.  
    
       
12. /
13. + GAN 36 1 5/ CNN (Conlutional neural network
    
14. 1 1kernel scan 5 46 / Scan1 8
15. ▶ GDCA ▶ GD 6 5 28 ▶ C ▶ 1 1 8 5 / 1 2/
16. ▶ 1 / 1 AG8 ▶ A 5 N B 5 CD A 5D 6
17. ▶ / ▶ 1 / /
18. ( ▶ LN A M ) 66 G E ▶ 66 56 / 6 5 1 8 5 / 6
19. -)( ▶ 966/ 5 /6 8 1 8
20. 2 )/ ▶ 1 )/ 0 6 6 08 5 6 6 6 ▶ 0 - DG A J (
21. ( ▶ ( 1 5 58 8 1 5 1 - 5 8 5 65 5 ▶ -) ca K N D K ▶ EKdb R Wdb K W DK
     MG → 1 8 / 28 58 1 8 A
22. )( ) ▶ -55 56 2 /256- ▶ 8 G 1 A
23. 5 ▶ ▶ 1 - 1 ) 1- 2 1 -6 5 ▶ k ▶ < 3 ▶ ) 1/ - 2 /- 2 1 = ▶ 3 - f 8 ▶ 8 3 8 8 (
24. ▶ G N8 ▶ P 128 4 A 5 1 /6 A - 1815 1
25. ▶ 8 G 6 ▶ 6 ▶ ▶ ▶ 1 - /2 / 2 A 5
26.   
    
     
27. k ▶ - 18 8 8 6 e iG L 1 7 21 1 1 7 ▶ - 16 d hi C c g . 1 8 6 21 1 1 7 +// / ▶ 1 PI 1 1 I A 1 hi b aN C ) (
28. I 1 16 1 6 6 ▶ P M 6 8 2 6 1 56 1 2 / 2 6
29. t 9 2 /. 35 13 13/9 ▶ er ▶ 5 h 5 MP m n ▶ m I a d 5 Mg 8 ▶ p i iM c ▶ n o 6 3 2 5 M m M ▶ p i iM
30. 3 / 01 0 0 3 ▶ ▶ 651 I 1 8
31. I 3 / /1 / 3 1 1 ▶ P ▶ 8 1 1 ▶ M6 M 5
32. 6 13 /15/1 6 5 5 ▶ P ▶ M I 1 2 3 5 8 ▶
33. I 8 1 6 8 6 / 6 / ▶ 6 / 6 / 3 65 6 3 ▶ 5 31 C M
34. C A 6 3 4 4 4 3 - ▶ 58/ 5 1 8 5 4 464 8 ▶ 45 1 8 85 48
35. 5-21 68-363 362 ▶ - -6 /- 3 / 3536- ▶ 68-363 362GD 3 / 3536- L AI
36. D / 35 3 6 3/ 1 - 1 / I A G 8
37. G 8 / 35 3 6 3/8 - 1 7 N I A L
38. n 8 31 5 5 5 3 - ▶ 5 1 / 5 ▶ a D eN / 5 c ▶ 1 A5 1 C / 1/ 1 C1 i 5 1 / 5 dm ▶ 6I G 5 1 k hg f l L NM 5 1 / 5
39. -1 5 - 5 8 51 ▶ 3-8 / 65 6398 65
40. -10 68- 6 61 ▶ 4- 0/ 6 4 6 ▶ N 6 4 6N A ▶ I30 604N AD G ▶ aG LI
41. 5-1 68- 6 61 ▶ G G M / 4- / 6 4 6N ▶ - 8 4G LI A C
42.  
    
     
43. ▶ -/ - - 8 8 4 6 I ▶ 1 I ▶ - 3 6
44. /1 -
45. 4 6 4 /13 4 - 1 - 8
46. 8 7 1 3 41 461 / - 4 4
47. 8 6 1 3 -/ 3 1 1 -3 341 Input Image & Mask
48. 1 3 41 461 / - 4 4 8 9 Network
49. 1 3 1 0 61 / - 5 8
50. 6 1 3 -/ 35 1 1 -3 3 1 8 Network
51. 1 23 1 612/ 2 - 52 8
52. /5 ▶ /5 4 / ▶ 8 M /5 4 / ▶ ▶ ▶ 1 6 C D
53. 6 8 3 /5 81 5 - -
54. S / 1 / 1 / / ▶ 8 5 /1 8 I 8 8 8 6
55. 6 57 1 1 / 1/ 1
56. 5 6 / 1 / 1 //
57. 6 5 1 1 / 1/ 1
58. 8 5 1605 10 5 6 5 10 1 ▶ 0 05 0 1 0 / O S I 0
59. / 1 / 1 // ▶ 6 8 5 6 / 1 1 //
60. M 5 8/ 1 / 8 6 86 8/ 1 ▶ M ▶ 6 O 6/ / 1 2 ▶ O 6/ / 1 B I
61. l n 9. 3.5 03 /8= 10 1/8 =/ 38 58 ▶ n ▶ ,. kg c L 8 3 3 .5 6. 1 S 8 e ▶ aim IM 5 ▶ 5 d 93 15M o
62. 5684 - 1/
63. 568 / 1 / 
    
64. 568 /1 1 11 /1- /
65. 7 78 77 7 ▶ 1/5 8 B C 61 LM A M 5 BB 75 87
66. A ) 8* (* 1 6 8 CB 5* / 1 1
67. 8 1 6 5 / 1 9 C 1 15 A
68. 5 05 C 57 75 6 /A 85 1 75 6 / C C 57 75 05 8 57
69. 5 1 / ▶ 67 ▶ 8
70. F 27 78 1 77 27/ 2 ▶ A ▶ 5 5 82 / 1B 5 82 C B ▶ A / 1 A 77 27/ 2 6 5
71. A C3 1 ▶ 8 / 5 67
72. C 1 / Foreground 8 Background 4 6 Foreground 7 5 8A
73. /1 -
74. G ▶ A 6 8 5 - / 1 7
75.  
    
     
76. 5 /1 ▶
77. 9 7 5 68 ▶ , / 1 ,
78. 2 0 /1 ▶
79. 1 / ▶
80. 21/5 ▶
81. 5 83 6 ▶ 1 / -
82. / ▶
83. 1/5 ▶ ( )
84. 8/ ▶ 1 56
85. B 8 ▶ 5 76/ F 6 1 5 5/
86. ▶ 6 6 5 / 1 M / 6/ I 8 B 8 P BFB
87. 5 9 ▶ ▶ 2 / 81 6 8 8 ▶ ▶ 2 / 81 6 8
88. N ▶ ▶ 6 8 / -1 0 5 1 5 9 ▶
89. T a ▶ // ▶ 5 a6 ▶ 8 1 ▶ 9 8 V
90. ia 1 6 2 56 8 ▶ /1N N NMr ia d N c e 9 M G Ll o ▶ N uL s b ▶ N N ▶ / 256 6 2 1 55N n ▶ Nt y LA
91.  
    
     
92. A ▶ C 5 8 /GI ▶ 4 6 - 84 - - -6 8 - 2 /- 5 8 / ▶ 4 8- 89 1 88- 8 4
93. 8 ▶ 5 ▶ IF /1 / / 11 / 9A 6