$30 off During Our Annual Pro Sale. View Details »

3つの手書きスケッチ関連研究紹介@CVPR2017

Chie.F
June 26, 2017

 3つの手書きスケッチ関連研究紹介@CVPR2017

DMVことDwango Media Villageの古澤です。
Twitter: https://twitter.com/Dwango_DMV
HP:https://dmv.nico

今回は、2017年7月に行われたConference on Computer Vision and Pattern Recognition 2017(CVPR2017)にて発表された
手書きスケッチに関する最新の研究3本を紹介します。

Chie.F

June 26, 2017
Tweet

More Decks by Chie.F

Other Decks in Research

Transcript

  1. CVPR2017読み会
    株式会社ドワンゴ Dwango Media Village
    1
    3つの手書きスケッチ関連研究紹介
    古澤 知英

    View Slide

  2. 手書きスケッチ関連研究を3本紹介
    2
    Scribbler: Controlling Deep Image Synthesis
    With Sketch and Color
    Deep+色ストロークを使ったスケッチか
    らフォトリアリスティックな画像合成
    Joint Gap Detection and Inpainting of Line Drawings
    Deepを使って線画の跡切れの自動補間
    論文 Figure 1.より
    http://hi.cs.waseda.ac.jp/~iizuka/projects/inpainting/ja/より

    View Slide

  3. Scribbler: Controlling Deep Image Synthesis With Sketch and Color
    3
    写真とスケッチのペアを学習し、色ストロークでオブジェクトの色を指定することでスケッチを色付けする
    ポイント
    ソースをグレースケール画像に焦点を当てたものが多い中、スケッチに対して画像合成を行った
    CNNで自動でしか色が決められなかったが、任意のものの色を任意の色に指定できるようにした
    Patsorn Sangkloy, Jingwan Lu, Chen Fang, Fisher Yu, James Hays
    論文 Figure 1.より

    View Slide

  4. Scribbler: Controlling Deep Image Synthesis With Sketch and Color
    4
    データベース
    170万枚枚
    学習データペア
    スケッチは最初XDoGを使って写真から生成
    それから右のような画像を合わせて準備
    カラーストローク対応用の学習データペア
    カラーストロークに対応するために、学習時にカラーストロークも生成して用いた
    ネットワーク
    3段階のダウンサンプリング
    7つのレジディアルブロック
    3つのアップサンプリングからなるエンコードデコーダ
    GAN
    論文 Figure 2.より
    論文 Figure 4.より

    View Slide

  5. Scribbler: Controlling Deep Image Synthesis With Sketch and Color
    生成結果
    5
    結果
    ストロークがないものを見ると彩度の
    低そうな色を選んでいることがわかる
    カラーストロークの色を反映できている
    評価
    評価が特になかった、珍しいと思った
    リミテーション
    色の滲み出し問題 (the color leaking problem)が発生することがある
    色ストロークとadversarial lossの最小化のコントロールが難しい
    データセットの問題で訓練中と同様のスケールのオブジェクトしか塗れ
    ない
    論文 Figure 7.より
    http://scribbler.eye.gatech.edu/img/results/stroke2photo_gen.pngより

    View Slide

  6. Joint Gap Detection and Inpainting of Line Drawings
    6
    Deepを使って線画の跡切れの自動補間
    ポイント
    全自動で行われる
    線の太さなどがinputに対して自然なものが生成される
    とても小さなデータセットでこれらのことを実現した
    Kazuma Sasaki Satoshi Iizuka Edgar Simo-Serra Hiroshi Ishikawa
    http://hi.cs.waseda.ac.jp/~iizuka/projects/inpainting/ja/より

    View Slide

  7. Joint Gap Detection and Inpainting of Line Drawings
    7
    手法
    ネットワーク
    16段のConvolutional層とUpsampling層4層のみからなる
    データベース
    わずか60枚
    学習データペア
    元のデータセットから意図的に欠損がある線画を用意
    10~50pixの正方形10~20か所の欠損を含む欠損あり線画
    論文 Figure 2.より

    View Slide

  8. Joint Gap Detection and Inpainting of Line Drawings
    8
    結果
    従来手法は欠損箇所をマスク(図中の紫領域)を使って指定
    する必要があるが,提案手法では欠損箇所を自動で検出し補完
    を行うことができている
    評価
    20人にユーザテスト
    ✓ どれが自然にみえるか
    ⚫ 5点満点中4.2(過去手法は2.5,とか2.8)
    ✓ クオリティに関する5段階評価
    ⚫ 5点満点3.5~4.5(過去手法は1.8~3.8とか)
    計算時間に関する評価
    ✓ 512x512でCPUだと0.334s、GPUだと0.006sくらい
    ✓ Image Meldingよりははるかに早い
    ✓ CPUではPatch MatchでMask50%のとき同様くらい(GPUは圧勝)
    リミテーション
    複数の線などが複雑に入り組んでいる場合は難しい
    論文 Figure 5.より 論文 Figure 10.より

    View Slide