3つの手書きスケッチ関連研究紹介@CVPR2017

Be02a5ccde5138d3edcf47bdda7c5f75?s=47 Chie.F
June 26, 2017

 3つの手書きスケッチ関連研究紹介@CVPR2017

DMVことDwango Media Villageの古澤です。
Twitter: https://twitter.com/Dwango_DMV
HP:https://dmv.nico

今回は、2017年7月に行われたConference on Computer Vision and Pattern Recognition 2017(CVPR2017)にて発表された
手書きスケッチに関する最新の研究3本を紹介します。

Be02a5ccde5138d3edcf47bdda7c5f75?s=128

Chie.F

June 26, 2017
Tweet

Transcript

  1. 2.

    手書きスケッチ関連研究を3本紹介 2 Scribbler: Controlling Deep Image Synthesis With Sketch and

    Color Deep+色ストロークを使ったスケッチか らフォトリアリスティックな画像合成 Joint Gap Detection and Inpainting of Line Drawings Deepを使って線画の跡切れの自動補間 論文 Figure 1.より http://hi.cs.waseda.ac.jp/~iizuka/projects/inpainting/ja/より
  2. 3.

    Scribbler: Controlling Deep Image Synthesis With Sketch and Color 3

    写真とスケッチのペアを学習し、色ストロークでオブジェクトの色を指定することでスケッチを色付けする ポイント ソースをグレースケール画像に焦点を当てたものが多い中、スケッチに対して画像合成を行った CNNで自動でしか色が決められなかったが、任意のものの色を任意の色に指定できるようにした Patsorn Sangkloy, Jingwan Lu, Chen Fang, Fisher Yu, James Hays 論文 Figure 1.より
  3. 4.

    Scribbler: Controlling Deep Image Synthesis With Sketch and Color 4

    データベース 170万枚枚 学習データペア スケッチは最初XDoGを使って写真から生成 それから右のような画像を合わせて準備 カラーストローク対応用の学習データペア カラーストロークに対応するために、学習時にカラーストロークも生成して用いた ネットワーク 3段階のダウンサンプリング 7つのレジディアルブロック 3つのアップサンプリングからなるエンコードデコーダ GAN 論文 Figure 2.より 論文 Figure 4.より
  4. 5.

    Scribbler: Controlling Deep Image Synthesis With Sketch and Color 生成結果

    5 結果 ストロークがないものを見ると彩度の 低そうな色を選んでいることがわかる カラーストロークの色を反映できている 評価 評価が特になかった、珍しいと思った リミテーション 色の滲み出し問題 (the color leaking problem)が発生することがある 色ストロークとadversarial lossの最小化のコントロールが難しい データセットの問題で訓練中と同様のスケールのオブジェクトしか塗れ ない 論文 Figure 7.より http://scribbler.eye.gatech.edu/img/results/stroke2photo_gen.pngより
  5. 6.

    Joint Gap Detection and Inpainting of Line Drawings 6 Deepを使って線画の跡切れの自動補間

    ポイント 全自動で行われる 線の太さなどがinputに対して自然なものが生成される とても小さなデータセットでこれらのことを実現した Kazuma Sasaki Satoshi Iizuka Edgar Simo-Serra Hiroshi Ishikawa http://hi.cs.waseda.ac.jp/~iizuka/projects/inpainting/ja/より
  6. 7.

    Joint Gap Detection and Inpainting of Line Drawings 7 手法

    ネットワーク 16段のConvolutional層とUpsampling層4層のみからなる データベース わずか60枚 学習データペア 元のデータセットから意図的に欠損がある線画を用意 10~50pixの正方形10~20か所の欠損を含む欠損あり線画 論文 Figure 2.より
  7. 8.

    Joint Gap Detection and Inpainting of Line Drawings 8 結果

    従来手法は欠損箇所をマスク(図中の紫領域)を使って指定 する必要があるが,提案手法では欠損箇所を自動で検出し補完 を行うことができている 評価 20人にユーザテスト ✓ どれが自然にみえるか ⚫ 5点満点中4.2(過去手法は2.5,とか2.8) ✓ クオリティに関する5段階評価 ⚫ 5点満点3.5~4.5(過去手法は1.8~3.8とか) 計算時間に関する評価 ✓ 512x512でCPUだと0.334s、GPUだと0.006sくらい ✓ Image Meldingよりははるかに早い ✓ CPUではPatch MatchでMask50%のとき同様くらい(GPUは圧勝) リミテーション 複数の線などが複雑に入り組んでいる場合は難しい 論文 Figure 5.より 論文 Figure 10.より