敵対的データ拡張による自動線画化

本研究では，ラフスケッチの自動線画化を効果的に学習するための統合的なフレームワークを提案する．提案手法では，線画化ネットワークおよび線画識別ネットワークを構築し，線画識>
別ネットワークは本物の線画と線画化ネットワークによって作られた線画を区別するように，線画化ネットワークは出力した線画を識別ネットワークが区別できないように学習を行う．この
アプローチには2つの利点がある．一つ目は，識別ネットワークは線画の「構造」を学習できるため，線画化ネットワークがより精細で本物に近い線画を出力できるようになる．二つ目は，>
対応関係のないラフスケッチと線画を学習に取り入れることができ，実世界の多様な教師なしデータを線画化ネットワークに学習させることができる点である．本学習フレームワークを用い
ることで，最新の線画化手法よりも精細で多様な線画化が可能となる．さらに提案手法では，入力画像を用いてモデルをさらに学習することで，入力画像に対する線画化ネットワークの最適
化を行うことができる．また，提案手法により，逆問題，すなわち線画から鉛筆画への変換も学習できることを示す．

Transcript

1. 敵対的データ 拡張によ る 自動線画化 シモセラ エド ガー*、 飯塚 里志*、 石川 博　 （*筆頭著者に相当） 2018 年 6 月 22 日 （金） 早稲田大学
2. 線画化と いう 反復作業 2
3. 提案手法 • 線画化の教師なし と 教師あり 学習フ レ ームワ ーク • 鉛筆画の生成 入力 [Simo-Serra+ 2016] 提案手法 © 窪之内 英策 3
4. こ れま での研究 ・ 線画化 • ２ ３ 層の全層畳み込みニュ ーラ ルネッ ト ワ ーク • エンコ ーダ ・ デコ ーダ型 Flat-convolution Up-convolution 2 × 2 4 × 4 8 × 8 4 × 4 2 × 2 × × Down-convolution 4
5. こ れま での研究 ・ 線画化 • ２ ３ 層の全層畳み込みニュ ーラ ルネッ ト ワ ーク • エンコ ーダ ・ デコ ーダ型 • データ セッ ト が大事 • 専門家知識必要 通常のデータ 作成 逆方向データ 作成 4
6. こ れま での研究 ・ 線画化 • ２ ３ 層の全層畳み込みニュ ーラ ルネッ ト ワ ーク • エンコ ーダ ・ デコ ーダ型 • データ セッ ト が大事 • 専門家知識必要 • 皆さ んのラ フ スケッ チが想像以上… 4
7. データ セッ ト のビアス 学習データ のペア 一般のラ フ スケッ チ 5
8. データ セッ ト のビアス 学習データ のペア 一般のラ フ スケッ チ • 教師あり データ （線画と ラ フ スケッ チのペア） ： ρx,y • 線画データ ： ρx • ラ フ スケッ チデータ ： ρy 5
9. Generative Adversarial Network (GAN) 6
10. Generative Adversarial Network (GAN) 6
11. Generative Adversarial Network (GAN) 6
12. Generative Adversarial Network (GAN) 6
13. Generative Adversarial Network (GAN) 6
14. Generative Adversarial Network (GAN) 6
15. Generative Adversarial Network (GAN) 6
16. Generative Adversarial Network (GAN) 6
17. Generative Adversarial Network (GAN) 6
18. Generative Adversarial Network (GAN) • D(·) は識別でき る よ う に最大化 max D Ey∗∼ρy 本物データ log D(y∗) + Ez∼N(0,1) 乱数 log(1 − D(G(z))) 6
19. Generative Adversarial Network (GAN) • D(·) は識別でき る よ う に最大化 • G(·) は D(·) を 騙すよ う に最小化 min G Ez∼N(0,1) 乱数 log(1 − D(G(z))) 6
20. Generative Adversarial Network (GAN) • D(·) は識別でき る よ う に最大化 • G(·) は D(·) を 騙すよ う に最小化 • 順番で同時に学習 min G max D Ey∗∼ρy 本物データ log D(y∗) + Ez∼N(0,1) 乱数 log(1 − D(G(z))) 6
21. モデル • S(·) ： 線画化モデル • 23 層全層畳み込みニュ ーラ ルネッ ト ワ ーク を 使用 [Simo-Serra+ 2016] • エンコ ーダ ・ ディ コ ーダ型 • D(·) ： 識別モデル • 6 層畳み込みニュ ーラ ルネッ ト ワ ーク • 本物の線画と 線画化さ れたラ フ スケッ チを 識別 Flat-convolution Up-convolution 2 × 2 4 × 4 8 × 8 4 × 4 2 × 2 × × Down-convolution 7
22. 提案手法 min S 教師あり E(x,y∗)∼ρx , y 通常教師あり ロ ス S(x) − y∗ 2 入力 通常ロ ス 8
23. 提案手法 min S max D 教師あり E(x,y∗)∼ρx , y    通常教師あり ロ ス S(x) − y∗ 2 + 教師あり 敵対的ロ ス α log D(y∗) + α log(1 − D(S(x)))    入力 通常ロ ス + 敵対的ロ ス 8
24. 提案手法 min S max D 教師あり E(x,y∗)∼ρx , y    通常教師あり ロ ス S(x) − y∗ 2 + 教師あり 敵対的ロ ス α log D(y∗) + α log(1 − D(S(x)))    + β 線画 Ey∼ρy [ log D(y) ] + β ラ フ スケッ チ Ex∼ρx [ log(1 − D(S(x))) ] 教師なし 敵対的ロ ス 入力 通常ロ ス + 敵対的ロ ス + 教師なし ロ ス 8
25. 学習 • 教師あり データ ： 通常ロ ス＋ 敵対的ロ ス • 教師なし データ ： 敵対的ロ ス Supervised Data MSE Adversarial 9
26. 学習 • 教師あり データ ： 通常ロ ス＋ 敵対的ロ ス • 教師なし データ ： 敵対的ロ ス Line Drawings Rough Sketches Adversarial 9
27. 学習 Rough Sketches Supervised Data Discriminator Network Line Drawings Simplification Network Real Real Fake Fake Target Label MSE loss 9
28. こ れま での研究 ・ 教師なし 学習 入力 従来手法 提案手法 © 窪之内 英策 10
29. 鉛筆画の生成 11
30. 鉛筆画の生成 入力 従来手法 イ ラ スト レ ータ ① イ ラ スト レ ータ ② 11
31. ま と めに http://hi.cs.waseda.ac.jp/~esimo/research/sketch_master/ • 教師なし と 教師あり 学習フ レ ームワ ーク • 鉛筆画の生成 © シモセラ エド ガー 12