$30 off During Our Annual Pro Sale. View Details »

Siggraph Asia 2018 論文紹介(Two-stage Sketch Colorization)

Siggraph Asia 2018 論文紹介(Two-stage Sketch Colorization)

DwangoMediaVillageの廣芝です。
Siggraph Asia 2018で気になった論文を紹介します。

今回は半自動着色タスクの論文です。
去年のSiggraph Asiaに投稿した論文が引用されていて、気になったので読んでみました。

既存のイラスト着色手法は、色が滲んでしまう問題があります。
この問題を、大雑把に塗るステップ(ドラフト)と、洗練して塗るステップ(改善)に分けることで解決しました。
既存の手法よりきれいに着色できると報告されています。

Dwango Media Village

January 16, 2019
Tweet

More Decks by Dwango Media Village

Other Decks in Research

Transcript

  1. Two-stage Sketch Colorization
    Hiroshiba Kazuyuki
    (Siggraph Asia 2018 論文紹介)

    View Slide

  2. Two-stage Sketch Colorization
    ● 着色は大事な行程だが、時間がかかる。半自動化することでコスト削減を狙える。
    ● プロジェクトページ http://www.cse.cuhk.edu.hk/~ttwong/papers/colorize/colorize.html
    ● 著者
    LVMIN ZHANG*, Soochow University
    CHENGZE LI*, The Chinese University of Hong Kong
    TIEN-TSIN WONG, The Chinese University of Hong Kong
    YI JI, Soochow University
    CHUNPING LIU, Soochow University
    ● style2paintsの方々
    ● 新規性
    ○ 既存のイラスト着色手法は、色が滲んでしまう問題がある
    ○ 大雑把に塗るステップ(ドラフト)と、洗練して塗るステップ(改善)に分けた
    ○ 既存の手法よりきれいに着色できた
    ● 面白いなと思ったところ
    ○ ディープラーニング着色手法の色が滲む問題を、
    別のディープラーニング着色手法を重ねがけすることで解決した点

    View Slide

  3. インタフェース
    1. 線画を入力する
    2. ドラフト用の色ヒントを入力する
    3. ドラフトの着色結果を得る
    4. 改善用の色ヒントを入力する
    5. 最終的な着色結果を得る
    (論文中のFig. 2がわかりやすかった)

    View Slide

  4. 手法:ドラフト着色モデル
    ● データ
    ○ Danbooru2017データセット ← !?
    ○ カラー画像から線画を作り、線画・カラー画像のペアを入出力として学習
    ○ カラー画像の一部をヒントとして入力
    ● 目的関数
    ○ 生成画像と正解画像の誤差
    ○ GAN(生成画像と正解画像の見分けがつかないようにする)
    ○ 色の分散の正負反転
    ● モデル
    ○ 多層CNN

    View Slide

  5. ● データ
    ○ カラー画像から線画とドラフト画像を作る
    ○ ドラフト画像はわざと乱雑性を上げる
    ■ 別の画像の一部をランダムに貼り付ける
    ■ ランダムに変形させる
    ■ ランダムにスプレーをかける
    ○ カラー画像の一部をヒントとして入力
    ○ 事前学習モデルを使ってドラフト画像の特徴量を作り、これも入力
    ● 目的関数
    ○ 生成画像と正解画像の誤差
    ○ GAN(生成画像と正解画像の見分けがつかないようにする)
    手法:改善着色モデル

    View Slide

  6. ● 論文中のFig. 8の比較図がわかりやすかった
    ○ プロジェクトページ http://www.cse.cuhk.edu.hk/~ttwong/papers/colorize/colorize.html
    ● 一番右が提案手法
    ● 左から2番めの色ヒントを入力
    ● ちなみに左から3番めは僕たち
    DowagoMediaVillageの研究結果(Siggraph Asia 2017)
    ○ https://nico-opendata.jp/ja/casestudy/comicolorization/index.html
    ○ 僕たちの手法でも色ヒント入力できるけど、このサンプルでは入力されてなかった
    結果

    View Slide

  7. ● グラデーションや影が表現できている
    ● 定性評価も既存手法を上回った
    結果

    View Slide