Siggraph Asia 2018 論文紹介（Two-stage Sketch Colorization）

DwangoMediaVillageの廣芝です。
Siggraph Asia 2018で気になった論文を紹介します。

今回は半自動着色タスクの論文です。
去年のSiggraph Asiaに投稿した論文が引用されていて、気になったので読んでみました。

既存のイラスト着色手法は、色が滲んでしまう問題があります。
この問題を、大雑把に塗るステップ（ドラフト）と、洗練して塗るステップ（改善）に分けることで解決しました。
既存の手法よりきれいに着色できると報告されています。

Transcript

1. Two-stage Sketch Colorization
   Hiroshiba Kazuyuki
   （Siggraph Asia 2018 論文紹介）
   

   View Slide

2. Two-stage Sketch Colorization
   ● 着色は大事な行程だが、時間がかかる。半自動化することでコスト削減を狙える。
   ● プロジェクトページ http://www.cse.cuhk.edu.hk/~ttwong/papers/colorize/colorize.html
   ● 著者
   LVMIN ZHANG*, Soochow University
   CHENGZE LI*, The Chinese University of Hong Kong
   TIEN-TSIN WONG, The Chinese University of Hong Kong
   YI JI, Soochow University
   CHUNPING LIU, Soochow University
   ● style2paintsの方々
   ● 新規性
   ○ 既存のイラスト着色手法は、色が滲んでしまう問題がある
   ○ 大雑把に塗るステップ（ドラフト）と、洗練して塗るステップ（改善）に分けた
   ○ 既存の手法よりきれいに着色できた
   ● 面白いなと思ったところ
   ○ ディープラーニング着色手法の色が滲む問題を、
   別のディープラーニング着色手法を重ねがけすることで解決した点
   

   View Slide

3. インタフェース
   1. 線画を入力する
   2. ドラフト用の色ヒントを入力する
   3. ドラフトの着色結果を得る
   4. 改善用の色ヒントを入力する
   5. 最終的な着色結果を得る
   （論文中のFig. 2がわかりやすかった）
   

   View Slide

4. 手法：ドラフト着色モデル
   ● データ
   ○ Danbooru2017データセット　←　！？
   ○ カラー画像から線画を作り、線画・カラー画像のペアを入出力として学習
   ○ カラー画像の一部をヒントとして入力
   ● 目的関数
   ○ 生成画像と正解画像の誤差
   ○ GAN（生成画像と正解画像の見分けがつかないようにする）
   ○ 色の分散の正負反転
   ● モデル
   ○ 多層CNN
   

   View Slide

5. ● データ
   ○ カラー画像から線画とドラフト画像を作る
   ○ ドラフト画像はわざと乱雑性を上げる
   ■ 別の画像の一部をランダムに貼り付ける
   ■ ランダムに変形させる
   ■ ランダムにスプレーをかける
   ○ カラー画像の一部をヒントとして入力
   ○ 事前学習モデルを使ってドラフト画像の特徴量を作り、これも入力
   ● 目的関数
   ○ 生成画像と正解画像の誤差
   ○ GAN（生成画像と正解画像の見分けがつかないようにする）
   手法：改善着色モデル
   

   View Slide

6. ● 論文中のFig. 8の比較図がわかりやすかった
   ○ プロジェクトページ http://www.cse.cuhk.edu.hk/~ttwong/papers/colorize/colorize.html
   ● 一番右が提案手法
   ● 左から２番めの色ヒントを入力
   ● ちなみに左から３番めは僕たち
   DowagoMediaVillageの研究結果（Siggraph Asia 2017）
   ○ https://nico-opendata.jp/ja/casestudy/comicolorization/index.html
   ○ 僕たちの手法でも色ヒント入力できるけど、このサンプルでは入力されてなかった
   結果
   

   View Slide

7. ● グラデーションや影が表現できている
   ● 定性評価も既存手法を上回った
   結果
   

   View Slide