3つの手書きスケッチ関連研究紹介＠CVPR2017

DMVことDwango Media Villageの古澤です。
Twitter: https://twitter.com/Dwango_DMV
HP:https://dmv.nico

今回は、2017年7月に行われたConference on Computer Vision and Pattern Recognition 2017(CVPR2017)にて発表された
手書きスケッチに関する最新の研究3本を紹介します。

Transcript

1. CVPR2017読み会 株式会社ドワンゴ Dwango Media Village 1 ３つの手書きスケッチ関連研究紹介 古澤 知英
2. 手書きスケッチ関連研究を３本紹介 2 Scribbler: Controlling Deep Image Synthesis With Sketch and Color Deep＋色ストロークを使ったスケッチか らフォトリアリスティックな画像合成 Joint Gap Detection and Inpainting of Line Drawings Deepを使って線画の跡切れの自動補間 論文 Figure 1.より http://hi.cs.waseda.ac.jp/~iizuka/projects/inpainting/ja/より
3. Scribbler: Controlling Deep Image Synthesis With Sketch and Color 3 写真とスケッチのペアを学習し、色ストロークでオブジェクトの色を指定することでスケッチを色付けする ポイント ソースをグレースケール画像に焦点を当てたものが多い中、スケッチに対して画像合成を行った CNNで自動でしか色が決められなかったが、任意のものの色を任意の色に指定できるようにした Patsorn Sangkloy, Jingwan Lu, Chen Fang, Fisher Yu, James Hays 論文 Figure 1.より
4. Scribbler: Controlling Deep Image Synthesis With Sketch and Color 4 データベース 170万枚枚 学習データペア スケッチは最初XDoGを使って写真から生成 それから右のような画像を合わせて準備 カラーストローク対応用の学習データペア カラーストロークに対応するために、学習時にカラーストロークも生成して用いた ネットワーク ３段階のダウンサンプリング ７つのレジディアルブロック ３つのアップサンプリングからなるエンコードデコーダ GAN 論文 Figure 2.より 論文 Figure 4.より
5. Scribbler: Controlling Deep Image Synthesis With Sketch and Color 生成結果 5 結果 ストロークがないものを見ると彩度の 低そうな色を選んでいることがわかる カラーストロークの色を反映できている 評価 評価が特になかった、珍しいと思った リミテーション 色の滲み出し問題 (the color leaking problem)が発生することがある 色ストロークとadversarial lossの最小化のコントロールが難しい データセットの問題で訓練中と同様のスケールのオブジェクトしか塗れ ない 論文 Figure 7.より http://scribbler.eye.gatech.edu/img/results/stroke2photo_gen.pngより
6. Joint Gap Detection and Inpainting of Line Drawings 6 Deepを使って線画の跡切れの自動補間 ポイント 全自動で行われる 線の太さなどがinputに対して自然なものが生成される とても小さなデータセットでこれらのことを実現した Kazuma Sasaki Satoshi Iizuka Edgar Simo-Serra Hiroshi Ishikawa http://hi.cs.waseda.ac.jp/~iizuka/projects/inpainting/ja/より
7. Joint Gap Detection and Inpainting of Line Drawings 7 手法 ネットワーク 16段のConvolutional層とUpsampling層４層のみからなる データベース わずか６０枚 学習データペア 元のデータセットから意図的に欠損がある線画を用意 10～50pixの正方形10～20か所の欠損を含む欠損あり線画 論文 Figure 2.より
8. Joint Gap Detection and Inpainting of Line Drawings 8 結果 従来手法は欠損箇所をマスク（図中の紫領域）を使って指定 する必要があるが，提案手法では欠損箇所を自動で検出し補完 を行うことができている 評価 20人にユーザテスト ✓ どれが自然にみえるか ⚫ 5点満点中4.2(過去手法は2.5,とか2.8) ✓ クオリティに関する５段階評価 ⚫ 5点満点3.5～4.5(過去手法は1.8～3.8とか) 計算時間に関する評価 ✓ 512x512でCPUだと0.334s、GPUだと0.006sくらい ✓ Image Meldingよりははるかに早い ✓ CPUではPatch MatchでMask50%のとき同様くらい(GPUは圧勝) リミテーション 複数の線などが複雑に入り組んでいる場合は難しい 論文 Figure 5.より 論文 Figure 10.より