Siggraph Asia 2018 論文紹介（Two-stage Sketch Colorization）

DwangoMediaVillageの廣芝です。
Siggraph Asia 2018で気になった論文を紹介します。

今回は半自動着色タスクの論文です。
去年のSiggraph Asiaに投稿した論文が引用されていて、気になったので読んでみました。

既存のイラスト着色手法は、色が滲んでしまう問題があります。
この問題を、大雑把に塗るステップ（ドラフト）と、洗練して塗るステップ（改善）に分けることで解決しました。
既存の手法よりきれいに着色できると報告されています。

Transcript

1. Two-stage Sketch Colorization Hiroshiba Kazuyuki （Siggraph Asia 2018 論文紹介）
2. Two-stage Sketch Colorization • 着色は大事な行程だが、時間がかかる。半自動化することでコスト削減を狙える。 • プロジェクトページ http://www.cse.cuhk.edu.hk/~ttwong/papers/colorize/colorize.html • 著者 LVMIN ZHANG*, Soochow University CHENGZE LI*, The Chinese University of Hong Kong TIEN-TSIN WONG, The Chinese University of Hong Kong YI JI, Soochow University CHUNPING LIU, Soochow University • style2paintsの方々 • 新規性 ◦ 既存のイラスト着色手法は、色が滲んでしまう問題がある ◦ 大雑把に塗るステップ（ドラフト）と、洗練して塗るステップ（改善）に分けた ◦ 既存の手法よりきれいに着色できた • 面白いなと思ったところ ◦ ディープラーニング着色手法の色が滲む問題を、 別のディープラーニング着色手法を重ねがけすることで解決した点
3. インタフェース 1. 線画を入力する 2. ドラフト用の色ヒントを入力する 3. ドラフトの着色結果を得る 4. 改善用の色ヒントを入力する 5. 最終的な着色結果を得る （論文中のFig. 2がわかりやすかった）
4. 手法：ドラフト着色モデル • データ ◦ Danbooru2017データセット　←　！？ ◦ カラー画像から線画を作り、線画・カラー画像のペアを入出力として学習 ◦ カラー画像の一部をヒントとして入力 • 目的関数 ◦ 生成画像と正解画像の誤差 ◦ GAN（生成画像と正解画像の見分けがつかないようにする） ◦ 色の分散の正負反転 • モデル ◦ 多層CNN
5. • データ ◦ カラー画像から線画とドラフト画像を作る ◦ ドラフト画像はわざと乱雑性を上げる ▪ 別の画像の一部をランダムに貼り付ける ▪ ランダムに変形させる ▪ ランダムにスプレーをかける ◦ カラー画像の一部をヒントとして入力 ◦ 事前学習モデルを使ってドラフト画像の特徴量を作り、これも入力 • 目的関数 ◦ 生成画像と正解画像の誤差 ◦ GAN（生成画像と正解画像の見分けがつかないようにする） 手法：改善着色モデル
6. • 論文中のFig. 8の比較図がわかりやすかった ◦ プロジェクトページ http://www.cse.cuhk.edu.hk/~ttwong/papers/colorize/colorize.html • 一番右が提案手法 • 左から２番めの色ヒントを入力 • ちなみに左から３番めは僕たち DowagoMediaVillageの研究結果（Siggraph Asia 2017） ◦ https://nico-opendata.jp/ja/casestudy/comicolorization/index.html ◦ 僕たちの手法でも色ヒント入力できるけど、このサンプルでは入力されてなかった 結果
7. • グラデーションや影が表現できている • 定性評価も既存手法を上回った 結果