Style Transfer Overview in 5 minutes

スタイル変換（Style Transfer）の手法の概観

Transcript

1. 5分でStyle Transferの手法を紹介してみる
2. 0. こういうの
3. 0. こういうの
4. 1. （教師あり）学習の基本 1. 学習対象のパラメータθをランダムに初期化 2. θを使って何かを計算（変換後画像を出力） 3. 出力の誤差を計算 4. 誤差を元にθを更新 5. 2-4を繰り返して、誤差が小さくなるθを探索 誤差を適切に定義したい
5. 2. 誤差関数を定義 A Neural Algorithm of Artistic Style (Gatys et al. 2015) 内容を維持しつつ、スタイルの差も小さくする Ltotal=α Lcontent( p, x)+β Lstyle(a, x)
6. 2. 誤差関数を定義 • コンテンツ誤差 – ピクセルレベルで比較してもうまくいかない – VGG（物体認識用に訓練されたネットワーク）の中間層の 出力を使って特徴量ベクトルを計算 – 出力のユークリッド距離を計算 • スタイル誤差 – VGGの中間層の出力の特徴量ベクトルを計算 – スタイルは低次の統計量で表現される、らしい – 相関（グラム行列）の差が小さければスタイルが近いと仮定 – グラム行列の差のフロベニウスノルムを計算
7. 3. 最適化によるスタイル変換 1. 乱数で画像を初期化（一様分布） 2. 誤差を計算 3. 画像のピクセル値を調整 誤差関数はBPによって微分可能 4. 2-3を繰り返す
8. 4. パッチベースの手法 Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis (Li et al, 2016) • スタイル誤差の計算方法が異なる 1. スタイル画像について、VGGの中間層の出力を用意（パッ チ） 2. 生成画像について、VGGの中間層の出力を計算 3. 1のパッチ群の最近傍との二乗誤差を計算 → 結果的に、スタイル画像からパッチを切り貼りしたように なる
9. 5. 手法の比較 • グラム行列による手法（Parametric） – 元のスタイル画像にない線が現れる（creative） – 実画像をスタイルに使うと、崩れる • パッチベースの手法（Non-Parametric） – Markov Random Field – オリジナルの線が出ない（表現力に乏しい） – 大きく失敗するケースが少ない
10. 6. 改善手法の紹介 • 高速化 Perceptual Losses for Real-Time Style Transfer and Super-Resolution (Johnson et al, 2016) Texture Networks: Feed-forward Synthesis of Textures and Stylized Images (Ulyanov et al, 2016) Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks (Li et al, 2016) – スタイルごとに、変換画像を生成するニューラル ネットワークを学習 – 誤差関数は、ほぼそのまま – 処理は高速だが、出力は最適化版より劣る
11. 6. 改善手法の紹介 • 任意のスタイルなど Fast Patch-based Style Transfer of Arbitrary Style (Chen et al, 2016) A Learned Representation For Artistic Style (Dumoulin et al, 2016) – スタイル画像ごとにNNを計算するのは無駄 • グラム行列以外のスタイル誤差計算 Demystifying Neural Style Transfer (Li et al, 2017) – グラム行列は天下り的すぎる！ – 他のカーネルでもOK
12. 6. 改善手法の紹介 • 多分最先端 Improved Texture Networks: Maximizing Quality and Diversity in Feed-forward Stylization and Texture Synthesis (Ulyanov et al, 2017)
13. 7. 現状 • 2015 – DNNによるスタイル変換手法 • 2016 – 手法改善（高速化など）、動画適用 – 色調保存 etc • 2017 – 高速化によるデメリットの減少 – スタイルの本質に迫る研究へ・・