Siggraph Asia 2018 論文紹介(Two-stage Sketch Colorization)

Siggraph Asia 2018 論文紹介(Two-stage Sketch Colorization)

DwangoMediaVillageの廣芝です。
Siggraph Asia 2018で気になった論文を紹介します。

今回は半自動着色タスクの論文です。
去年のSiggraph Asiaに投稿した論文が引用されていて、気になったので読んでみました。

既存のイラスト着色手法は、色が滲んでしまう問題があります。
この問題を、大雑把に塗るステップ(ドラフト)と、洗練して塗るステップ(改善)に分けることで解決しました。
既存の手法よりきれいに着色できると報告されています。

830aad2f9b1bff6485ccde5accb63bd8?s=128

Dwango Media Village

January 16, 2019
Tweet

Transcript

  1. 2.

    Two-stage Sketch Colorization • 着色は大事な行程だが、時間がかかる。半自動化することでコスト削減を狙える。 • プロジェクトページ http://www.cse.cuhk.edu.hk/~ttwong/papers/colorize/colorize.html • 著者

    LVMIN ZHANG*, Soochow University CHENGZE LI*, The Chinese University of Hong Kong TIEN-TSIN WONG, The Chinese University of Hong Kong YI JI, Soochow University CHUNPING LIU, Soochow University • style2paintsの方々 • 新規性 ◦ 既存のイラスト着色手法は、色が滲んでしまう問題がある ◦ 大雑把に塗るステップ(ドラフト)と、洗練して塗るステップ(改善)に分けた ◦ 既存の手法よりきれいに着色できた • 面白いなと思ったところ ◦ ディープラーニング着色手法の色が滲む問題を、 別のディープラーニング着色手法を重ねがけすることで解決した点
  2. 4.

    手法:ドラフト着色モデル • データ ◦ Danbooru2017データセット ← !? ◦ カラー画像から線画を作り、線画・カラー画像のペアを入出力として学習 ◦ カラー画像の一部をヒントとして入力 •

    目的関数 ◦ 生成画像と正解画像の誤差 ◦ GAN(生成画像と正解画像の見分けがつかないようにする) ◦ 色の分散の正負反転 • モデル ◦ 多層CNN
  3. 5.

    • データ ◦ カラー画像から線画とドラフト画像を作る ◦ ドラフト画像はわざと乱雑性を上げる ▪ 別の画像の一部をランダムに貼り付ける ▪ ランダムに変形させる

    ▪ ランダムにスプレーをかける ◦ カラー画像の一部をヒントとして入力 ◦ 事前学習モデルを使ってドラフト画像の特徴量を作り、これも入力 • 目的関数 ◦ 生成画像と正解画像の誤差 ◦ GAN(生成画像と正解画像の見分けがつかないようにする) 手法:改善着色モデル
  4. 6.

    • 論文中のFig. 8の比較図がわかりやすかった ◦ プロジェクトページ http://www.cse.cuhk.edu.hk/~ttwong/papers/colorize/colorize.html • 一番右が提案手法 • 左から2番めの色ヒントを入力

    • ちなみに左から3番めは僕たち DowagoMediaVillageの研究結果(Siggraph Asia 2017) ◦ https://nico-opendata.jp/ja/casestudy/comicolorization/index.html ◦ 僕たちの手法でも色ヒント入力できるけど、このサンプルでは入力されてなかった 結果