3つの手書きスケッチ関連研究紹介＠CVPR2017

DMVことDwango Media Villageの古澤です。
Twitter: https://twitter.com/Dwango_DMV
HP:https://dmv.nico

今回は、2017年7月に行われたConference on Computer Vision and Pattern Recognition 2017(CVPR2017)にて発表された
手書きスケッチに関する最新の研究3本を紹介します。

Transcript

1. CVPR2017読み会
   株式会社ドワンゴ Dwango Media Village
   1
   ３つの手書きスケッチ関連研究紹介
   古澤 知英
   

   View Slide

2. 手書きスケッチ関連研究を３本紹介
   2
   Scribbler: Controlling Deep Image Synthesis
   With Sketch and Color
   Deep＋色ストロークを使ったスケッチか
   らフォトリアリスティックな画像合成
   Joint Gap Detection and Inpainting of Line Drawings
   Deepを使って線画の跡切れの自動補間
   論文 Figure 1.より
   http://hi.cs.waseda.ac.jp/~iizuka/projects/inpainting/ja/より
   

   View Slide

3. Scribbler: Controlling Deep Image Synthesis With Sketch and Color
   3
   写真とスケッチのペアを学習し、色ストロークでオブジェクトの色を指定することでスケッチを色付けする
   ポイント
   ソースをグレースケール画像に焦点を当てたものが多い中、スケッチに対して画像合成を行った
   CNNで自動でしか色が決められなかったが、任意のものの色を任意の色に指定できるようにした
   Patsorn Sangkloy, Jingwan Lu, Chen Fang, Fisher Yu, James Hays
   論文 Figure 1.より
   

   View Slide

4. Scribbler: Controlling Deep Image Synthesis With Sketch and Color
   4
   データベース
   170万枚枚
   学習データペア
   スケッチは最初XDoGを使って写真から生成
   それから右のような画像を合わせて準備
   カラーストローク対応用の学習データペア
   カラーストロークに対応するために、学習時にカラーストロークも生成して用いた
   ネットワーク
   ３段階のダウンサンプリング
   ７つのレジディアルブロック
   ３つのアップサンプリングからなるエンコードデコーダ
   GAN
   論文 Figure 2.より
   論文 Figure 4.より
   

   View Slide

5. Scribbler: Controlling Deep Image Synthesis With Sketch and Color
   生成結果
   5
   結果
   ストロークがないものを見ると彩度の
   低そうな色を選んでいることがわかる
   カラーストロークの色を反映できている
   評価
   評価が特になかった、珍しいと思った
   リミテーション
   色の滲み出し問題 (the color leaking problem)が発生することがある
   色ストロークとadversarial lossの最小化のコントロールが難しい
   データセットの問題で訓練中と同様のスケールのオブジェクトしか塗れ
   ない
   論文 Figure 7.より
   http://scribbler.eye.gatech.edu/img/results/stroke2photo_gen.pngより
   

   View Slide

6. Joint Gap Detection and Inpainting of Line Drawings
   6
   Deepを使って線画の跡切れの自動補間
   ポイント
   全自動で行われる
   線の太さなどがinputに対して自然なものが生成される
   とても小さなデータセットでこれらのことを実現した
   Kazuma Sasaki Satoshi Iizuka Edgar Simo-Serra Hiroshi Ishikawa
   http://hi.cs.waseda.ac.jp/~iizuka/projects/inpainting/ja/より
   

   View Slide

7. Joint Gap Detection and Inpainting of Line Drawings
   7
   手法
   ネットワーク
   16段のConvolutional層とUpsampling層４層のみからなる
   データベース
   わずか６０枚
   学習データペア
   元のデータセットから意図的に欠損がある線画を用意
   10～50pixの正方形10～20か所の欠損を含む欠損あり線画
   論文 Figure 2.より
   

   View Slide

8. Joint Gap Detection and Inpainting of Line Drawings
   8
   結果
   従来手法は欠損箇所をマスク（図中の紫領域）を使って指定
   する必要があるが，提案手法では欠損箇所を自動で検出し補完
   を行うことができている
   評価
   20人にユーザテスト
   ✓ どれが自然にみえるか
   ⚫ 5点満点中4.2(過去手法は2.5,とか2.8)
   ✓ クオリティに関する５段階評価
   ⚫ 5点満点3.5～4.5(過去手法は1.8～3.8とか)
   計算時間に関する評価
   ✓ 512x512でCPUだと0.334s、GPUだと0.006sくらい
   ✓ Image Meldingよりははるかに早い
   ✓ CPUではPatch MatchでMask50%のとき同様くらい(GPUは圧勝)
   リミテーション
   複数の線などが複雑に入り組んでいる場合は難しい
   論文 Figure 5.より 論文 Figure 10.より
   

   View Slide