Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
Colorful Image Colorization @tereka114
Slide 2
Slide 2 text
自己紹介 1. 山本 大輝 2. Acroquest Technology株式会社 3. Software Engineer 4. Twitter:@tereka114 5. Blog：のんびりしているエンジニアの日記 1. 「http://nonbiri-tereka.hatenablog.com/」
Slide 3
Slide 3 text
年末といえば・・・
Slide 4
Slide 4 text
そう
Slide 5
Slide 5 text
Advent Calendarですね
Slide 6
Slide 6 text
Advent Calendar
Slide 7
Slide 7 text
今日は何の日でしょう？
Slide 8
Slide 8 text
今日は何の日でしょう？ Today!!
Slide 9
Slide 9 text
目次 1. はじめに 2. 論文概要 3. 論文の提案 4. 実験 5. 実験結果 6. まとめ
Slide 10
Slide 10 text
1Pでわかる論文概要 1. 白黒画像をDeep Learning（CNN）で彩色する論文 2. Lを入力とし、ab空間を求めて再構築。 3. Class Rebalanceを考慮した誤差関数を使う。
Slide 11
Slide 11 text
どんな論文か？
Slide 12
Slide 12 text
どんな論文か？
Slide 13
Slide 13 text
どんな論文か？
Slide 14
Slide 14 text
従来までのColorizationとの違い 1. 従来と異なるところ 1. シーケンシャルなモデル（Single Streamと表現） 1. Dilated convolutionを使った。 2. 誤差関数を改良した。 1. クラスリバランスな誤差関数を使った
Slide 15
Slide 15 text
論文の提案 1. 色推定部はクラス分類を実施した。 1. 従来手法は回帰式や通常の分類 2. レア度を考慮した式を構築 2. 頻出度合いに応じた重み付けを実施した。 1. クラスリバランスな式を構築、検証
Slide 16
Slide 16 text
ネットワーク構成 L空間 ab空間 Conv + ReLU + BatchNorm
Slide 17
Slide 17 text
問題 1. ネットワークの入力と教師は次の通り 1. 入力画像はL Channelの画像 2. 教師はab空間の画像 2. L空間の画像を与えた時にab空間はどのようになっ ているかを答えるネットワーク
Slide 18
Slide 18 text
CIE Lab空間 1. CIE Lab色空間は人間の視覚を近似するよう設計さ れている。 1. 人間の知覚に最も合う空間 2. L:明度、a,b：カラー軸 引用「http://www.adobe.com/jp/support/techguides/color/colormodels/cielab.html」 これを推定する。
Slide 19
Slide 19 text
誤差関数の発展 1. 連続値を使用した誤差関数 1. L2誤差関数 2. 多クラス分類を使った誤差関数 3. Class Rebalancingを利用した誤差関数（提案） 1. 2にClassRebalancing項を加えた。
Slide 20
Slide 20 text
L2 誤差関数 1. 色空間を連続値として扱い、誤差を計算した。 2. L2 誤差関数は曖昧さに 対して、ロバストではない。
Slide 21
Slide 21 text
クラス分類の誤差関数 1. 多クラス分類の誤差関数を使い計算を試みた。 1. Lab空間のグリッドをサイズ10ずつで分割した。 2. 分割結果はQ=313となり、この空間を推定する。 Qの分布
Slide 22
Slide 22 text
Why class rebalance 1. 自然画像はabの値が偏る。 1. 自然画像は壁や背景、塗装が多い。 1. 一色でカラーリングされている箇所が該当しそう。 2. Pixelの出現頻度に応じて重みを付ける。 1. リバランスする為の重みをつける。
Slide 23
Slide 23 text
Class rebalancing 1. 提案手法であるClass reblancingは次式 通常のクラス分類と同様 クラスリバランシング これを求める。
Slide 24
Slide 24 text
Class rebalancing 通常のクラス分類と同様 クラスリバランシング L値によって分布が異なる。
Slide 25
Slide 25 text
Class rebalancing 1. 提案手法であるClass reblancingは次式 通常のクラス分類と同様 クラスリバランシング これを求める。
Slide 26
Slide 26 text
Rebalancing rebalancingで使うWeight 313 0.5
Slide 27
Slide 27 text
求めるべきYを推定 1. 分布（Z）を求めたので最後はYを推定する。 2. Tの変化により、分布が変化する。 1. T=1の場合：変化なし 2. T=0に近い場合：ピークが強調される。 3. T=0の場合：1hotになる。 これをどうするか
Slide 28
Slide 28 text
Tの値による推移
Slide 29
Slide 29 text
Tの値による推移 大体このあたりが 違う。
Slide 30
Slide 30 text
彩色成功例 提案手法
Slide 31
Slide 31 text
彩色失敗例
Slide 32
Slide 32 text
実験内容 1. 実験データはImageNetを利用し、trainとvalidation はそのデータを使っている。 2. 評価手法はAMT、VGG top1、AuCのスコアを使い、 評価している。
Slide 33
Slide 33 text
評価手法 1. AMT（Amazon Mechanical Turk） 1. AMTを使って生成とGround Truth画像を2枚見せ、どちら がよりリアルかを判定する。 2. VGG Top1 1. クラス分類の正答率を計算 3. AuC 1. ab空間のエラー閾値が一定以下かを計算する。
Slide 34
Slide 34 text
結果 最も良い
Slide 35
Slide 35 text
GTと生成手法で並べた
Slide 36
Slide 36 text
昔からある白黒画像を入力した
Slide 37
Slide 37 text
まとめ 1. グレー画像からカラー画像へ変換するタスクを解 いた。 2. クラスリバランスを行った。 3. よりリアルな彩色が可能となった。