Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Smart Inker: ラフスケッチのペン入れ支援

Smart Inker: ラフスケッチのペン入れ支援

本研究では,深層学習を応用して対話的にラフスケッチのペン入れができるツール,スマートインカー(Smart Inker)を提案する.スマートインカーは,途切れた線を自然につなぎ,不要な線を効率的に消すことが可能な``スマート''ツール機能をもち,自動出力された線画を効果的に修正することができる.このような機能を実現するため,本手法ではデータ駆動型のアプロ
ーチを取る.スマートインカーは全層畳み込みニューラルネットワークにもとづいており, このネットワークはユーザ編集とラフスケッチ両方を入力とし正確な線画を出力できるように学>
習させている.これにより,様々な種類の複雑なラフスケッチに対して高精度かつリアルタイムの編集が可能となる.これらのツールの学習のため,提案手法では2つの重要な技術を考案す>
る.すなわち,ユーザ編集をシミュレーションして学習データを作成するデータ拡張手法, および線画のベクタデータにより学習した細線化ネットワークを用いた線画標準化手法である.>これらの手法とスケッチに特化したデータ拡張を組み合わせることで, 実際のユーザ編集データを用意することなく様々な編集パターンを含む学習データを大量に作成でき,効果的にそれ>
ぞれのネットワークを学習させることができる.実際に提案ツールを用いてラフスケッチにペン入れをするユーザテストを行った結果,商用のイラスト制作ソフトに比べ提案ツールは簡単かつ短時間で線画作成が可能となり, イラスト作成経験がほとんどないユーザでもきれいな線画を作成できることが確かめられた

More Decks by シモセラ エドガー

Other Decks in Research

Transcript

  1. 対話的なペン入れ • 3 つのツ ールを 提案 • 重要なポイ ント •

    線画標準化でデータ セッ ト を 活用でき る • ユーザー編集のシミ ュ ーレ ーショ ンで学習 • ユーザーテスト で評価 Input rough sketch Output Smart Inker Canvas Inker Pen Inker Brush Smart Eraser ©Krenz Cushart 5
  2. 学習フ レ ームワ ーク 1. 線画標準化でデータ の活用 2. ユーザーの編集を シミ

    ュ ーレ ート Train User Edit Simulation Smart Inker Training Data Line Normalization 0 0 Dataset 7
  3. 学習フ レ ームワ ーク 1. 線画標準化でデータ の活用 2. ユーザーの編集を シミ

    ュ ーレ ート 訓練データペア 線 画 ラ フ ス ケ ッ チ 7
  4. 学習フ レ ームワ ーク 1. 線画標準化でデータ の活用 2. ユーザーの編集を シミ

    ュ ーレ ート 訓練データペア 線 画 ラ フ ス ケ ッ チ サンプリング 7
  5. 学習フ レ ームワ ーク 1. 線画標準化でデータ の活用 2. ユーザーの編集を シミ

    ュ ーレ ート 訓練データペア 線 画 ラ フ ス ケ ッ チ サンプリング 編集とノイズを追加 7
  6. 学習フ レ ームワ ーク 1. 線画標準化でデータ の活用 2. ユーザーの編集を シミ

    ュ ーレ ート 入力 全自動 編集 ベースラ イ ン 提案手法 7
  7. ユーザーテスト PT Ours 0 1000 2000 3000 Time (s) 時間

    入力 初心者 プロ ユーザー①編集 ユーザー① ユーザー②編集 ユーザー② 10
  8. ユーザーテスト PT Ours 0 200 400 600 800 1000 Time

    (s) 時間 入力 初心者 プロ ユーザー①編集 ユーザー① ユーザー②編集 ユーザー② ©Krenz Cushart 10
  9. ま と めに http://hi.cs.waseda.ac.jp/~esimo/research/sketch_master/ • ペン入れフ レ ームワ ーク •

    線画標準化でデータ セッ ト を 活用 • ユーザー編集を シミ ュ ーレ ート で学習 © シモセラ エド ガー 12