深層学習の基礎と導入に向けて

近年の画像処理等の発展の原動力は深層学習である。 従来の人間が設計した処理パイプラインと異なり、 深層学習は入力を目的の出力に変換する任意の関数を訓練データから学習することができる。 この講演では、数学や必要なハードウェアについての解説を含めた初歩からの深層学習の基礎を、具体的な例を交えて紹介する。

Transcript

1. 深層学習の基礎と 導入に向けて シモセラ エド ガー 2018 年 3 月 20 日 （火） 早稲田大学
2. 自己紹介 • 2015 年 7 月に BarcelonaTech で博士号を 取得 • 2015 年 8 月から 2017 年 3 月ま で早稲田大学の研究院助教 • 2017 年 4 月から 同大学の研究院講師 • 2018 年 4 月から 科学技術振興機構のさ き がけ専任研究者 1
3. 目次 1. 深層学習の歴史 2. 深層学習の基礎 • モデル • データ • 学習 3. 必要な環境 • ハッ ド ウ ェア • フ レ ームワ ーク 4. 例１ ： ラ フ スケッ チの線画化 5. 例２ ： 白黒写真の色付け ε ! 2
4. 深層学習の歴史
5. 深層学習の歴史 • 1957 Perceptron Mark I Perceptron 機 3
6. 深層学習の歴史 • 1957 Perceptron • 1980 Neocognitron Fukushima, K. “Neocognitron: a self organizing neural network model for a mechanism of pattern recognition unaffected by shift in position.” Biological cybernetics, 1980. 3
7. 深層学習の歴史 • 1957 Perceptron • 1980 Neocognitron • 1986 Backpropagation Rumelhart et al. “Learning Representations by Back-Propagating Errors.” Nature, 1986. 3
8. 深層学習の歴史 • 1957 Perceptron • 1980 Neocognitron • 1986 Backpropagation • 1998 LeNet LeCun et al. “Gradient-based learning applied to document recognition.” Proceedings of the IEEE, 1998. 3
9. 深層学習の歴史 • 1957 Perceptron • 1980 Neocognitron • 1986 Backpropagation • 1998 LeNet • 2012 AlexNet • 2014 GoogleNet / VGG Krizhevsky et al. “Imagenet classification with deep convolutional neural networks.” Advances in neural information processing systems, 2012. 3
10. 深層学習の歴史 • 1957 Perceptron • 1980 Neocognitron • 1986 Backpropagation • 1998 LeNet • 2012 AlexNet • 2014 GoogleNet / VGG • 2016 AlphaGo • … Silver et al. “Mastering the game of Go with deep neural networks and tree search.” Nature, 2016. 3
11. 深層学習の歴史 • 深層学習は現代の人工ニュ ーラ ルネッ ト ワ ーク • なぜ深層学習？ • 様々 の問題に対応 • 圧倒的な性能 Jia Deng (2016). ILSVRC2016 object localisation: introduction, results. 3
12. 深層学習の歴史 • 深層学習は現代の人工ニュ ーラ ルネッ ト ワ ーク • なぜ深層学習？ • 様々 の問題に対応 • 圧倒的な性能 • なぜ今色々 使える ？ • GPU によ る 計算効率 • 大規模なデータ セッ ト Jia Deng (2016). ILSVRC2016 object localisation: introduction, results. 3
13. 深層学習の基礎
14. 教師あり 学習 顔 顔ではない 訓練データ "顔" または "顔ではない" 4
15. 深層学習 • f (x) = σ(Wx) の層を 重ねて構造 • パラ メ ータ を 学習 • ハイ パーパラ メ ータ を 手動で設定 5
16. 従来の機械学習 • 手動で決めた特徴の入力 • 機械学習モデルは特徴から 出力への変換を 学習 • 特徴によ る 精度が制限 特徴抽出 機械学習 入力 出力 6
17. 従来の機械学習 • 手動で決めた特徴の入力 • 機械学習モデルは特徴から 出力への変換を 学習 • 特徴によ る 精度が制限 特徴抽出 機械学習 入力 出力 • 深層学習は特徴抽出と 機械学習モデルを 一緒に学習する • ヒ ュ ーリ スティ ッ ク を 避け、 データ 依存になる 深層学習 入力 出力 6
18. 深層学習のよ く ある 問題 • データ を 集める • 量、 室、 アノ テーショ ン… 入 正 7
19. 深層学習のよ く ある 問題 • データ を 集める • 量、 室、 アノ テーショ ン… • モデル構造を 決める • CNN、 深さ 、 レ イ ヤの種類… 入 正 出 CNN 7
20. 深層学習のよ く ある 問題 • データ を 集める • 量、 室、 アノ テーショ ン… • モデル構造を 決める • CNN、 深さ 、 レ イ ヤの種類… • モデルの学習 • 学習週報、 学習率、 バッ チサイ ズ… ロス 逆 習 入 正 出 CNN 7
21. 深層学習のよ く ある 問題 • データ を 集める • 量、 室、 アノ テーショ ン… • モデル構造を 決める • CNN、 深さ 、 レ イ ヤの種類… • モデルの学習 • 学習週報、 学習率、 バッ チサイ ズ… ハイ パーパラ メ ータ を たく さ ん決めないと いけない！ 7
22. 深層学習の例 ・ 分類 • 順伝播 （推定） • 入力に対し て推定する ニューラル ネットワーク 23.8% Music Store 15.3% Basement 7.9% Cathedral 2.1% Airport ... 推定 順伝播 8
23. 深層学習の例 ・ 分類 • 順伝播 （推定） • 入力に対し て推定する • 逆伝播 （学習） • 誤差関数でモデルの出力と 正解データ を 比較 • 誤差関数を 最終化する よ う にモデルのパラ メ ータ を 更新 ニューラル ネットワーク 23.8% Music Store 15.3% Basement 7.9% Cathedral 2.1% Airport ... 推定 順伝播 0.0% Music Store 100% Basement 0.0% Cathedral 0.0% Airport ... 誤差 正解 逆伝播 8
24. 深層学習の基礎 ・ モデル
25. 人工ニュ ーラルネッ ト ワ ーク • レ イ ヤを 重ねて構造 • レ イ ヤは線形変換と 非線形活性化関数 ... ビアス 前層 ニューロン 重み（学習するもの） 非線形活性化関数 9
26. 人工ニュ ーラルネッ ト ワ ーク • レ イ ヤを 重ねて構造 • レ イ ヤは線形変換と 非線形活性化関数 • 行列書ける ベク ト ル計算と し て表現 ... ... 行列 ベクトル 9
27. 非線形活性化関数 • 非線形関数を 近似する 性能 • 色々 な種類、 ReLU がメ イ ン Sigmoid Tanh ReLU シグモイ ド 関数 双曲線正接関数 ラ ンプ関数 σSigmoid(x) = 1 1 + e−x σtanh(x) = ex − e−x ex + e−x σReLU(x) = max(0, x) https://github.com/torch/nn/blob/master/doc/transfer.md 10
28. ソ フ ト マッ ク ス関数 • 出力を 確率分布に変換 • 要素の和が１ • 全要素は正の数 • 分類問題等に適切 σsoftmax (x) = 1 n i=1 exi [ex1 , ex2 , . . . , exn ] 11
29. 畳み込みニュ ーラルネッ ト ワ ーク • 視覚野と 対応する よ う な形で配置 • 空間的にフ ィ ルタ 共有によ る モデルのパラ メ ータ を 減少 • プーリ ングと 畳み込み層によ る 計算効率 INPUT 32x32 Convolutions Subsampling Convolutions C1: feature maps 6@28x28 Subsampling S2: f. maps 6@14x14 S4: f. maps 16@5x5 C5: layer 120 C3: f. maps 16@10x10 F6: layer 84 Full connection Full connection Gaussian connections OUTPUT 10 LeNet-5 [LeCun+ 1998] 12
30. プーリ ング層 • 解像度を 圧縮 • 小さ い移動の不変性 マッ ク ス 平均 Lp y = max x∈P x y = 1 |P| x∈P x y = 1 |P| x∈P xp 1 p 13
31. 畳み込み層 • それぞれのレ イ ヤはいく つかのフ ィ ルタ を 使用 • ハイ パーパラ メ ータ ： カーネル、 パッ ディ ング、 スト ラ イ ド • 重みはカーネルで表現 14
32. 畳み込み層 • それぞれのレ イ ヤはいく つかのフ ィ ルタ を 使用 • ハイ パーパラ メ ータ ： カーネル、 パッ ディ ング、 スト ラ イ ド • 重みはカーネルで表現 • パッ ディ ングで解像度の不変化 出力 入力 14
33. 畳み込み層 • それぞれのレ イ ヤはいく つかのフ ィ ルタ を 使用 • ハイ パーパラ メ ータ ： カーネル、 パッ ディ ング、 スト ラ イ ド • 重みはカーネルで表現 • パッ ディ ングで解像度の不変化 • スト ラ イ ド で解像度の変化 出力 入力 14
34. 畳み込み層 ・ 解像度変換 スト ラ イ ド 数によ る 三種類の畳み込みレ イ ヤー 1. Convolution • カーネル 3 × 3， パディ ング 1 × 1， スト ラ イ ド １ 2. Downsampling Convolution • カーネル 3 × 3， パディ ング 1 × 1， スト ラ イ ド ２ 3. Upsampling Convolution • カーネル 3 × 3， パディ ング 1 × 1， スト ラ イ ド 1/2 Down-convolution Flat-convolution Up-convolution stride stride stride 15
35. CNN レ イ ヤについて • 畳み込み層 • 空間配置を 保護 • パラ メ ータ が少ない • 解像度変換可 • プーリ ングレ イ ヤ • 小さ い移動の不変性 • スト ラ イ ド がある 畳み込み層のほう がいい • 全結合層 • 入力が固定サイ ズ • パラ メ ータ が多い • 画像を 出力する と 不必要 16
36. 残差の学習 • 関数 f (x) の代わり に残差関数 ∆f (x) を 学習 ∆f (x) = f (x) − x Neural Network Input Output 17
37. 残差の学習 • 関数 f (x) の代わり に残差関数 ∆f (x) を 学習 ∆f (x) = f (x) − x • 仮定 ： 出力は入力に類似 • 重みは 0 だと 恒等写像 Neural Network Input Output 17
38. 残差の学習 • 関数 f (x) の代わり に残差関数 ∆f (x) を 学習 ∆f (x) = f (x) − x • 仮定 ： 出力は入力に類似 • 重みは 0 だと 恒等写像 • ILSVRC2015 の画像分類コ ンペティ ショ ン優勝 He et al. Deep Residual Learning for Image Recognition. CVPR, 2016. 17
39. 全層畳み込みニュ ーラルネッ ト ワ ーク • 畳み込み層だけ使用 • 任意の解像度を 処理可 • エンコ ーダディ ーコ ーダ型 • メ モリ ーを 減ら す • 空間解像度を 上げる Flat-convolution Up-convolution 2 × 2 4 × 4 8 × 8 4 × 4 2 × 2 × × Down-convolution 18
40. 空間解像度 • 出力の一個の画素を 計算する ための入力範囲 • レ イ ヤ、 カーネルや解像度によ っ て決定 • 画像処理問題に重要 Object Ω Ω Spatial Support Ω Ω 19
41. モデルの容量について • タ スク を 覚えら れる 能力 • モデルのパラ メ ータ によ っ て決定 • 普段 100 万以上 • 学習難度と 関係 • 使用メ モリ や計算時間を 増加 20
42. モデルの容量について • タ スク を 覚えら れる 能力 • モデルのパラ メ ータ によ っ て決定 • 普段 100 万以上 • 学習難度と 関係 • 使用メ モリ や計算時間を 増加 少モデル (少ないレ イ ヤやチャ ンネル) • 小容量 • 学習が簡単 • 訓練データ が少なく ても いい 大モデル (多いレ イ ヤやチャ ンネル) • 大容量 • 学習が困難 • 大規模データ が必要 20
43. ディ ープラ ーニングの基礎 ・ データ
44. ディ ープラーニングに向いている 問題について • データ が重要 • ディ ープラ ーニングは万能ではない • 問題を 選ぶのが大事 21
45. ディ ープラーニングに向いている 問題について • データ が重要 • ディ ープラ ーニングは万能ではない • 問題を 選ぶのが大事 • 適切な問題について • 入力と 出力のサイ ズが決ま っ ている か、 情報処理の問題 • 正解が一つの問題 （人間ができ る ） • データ を 集めら れる 21
46. 向いている 問題 ・ 画像分類 • 画像分類 • 入力 ： 画像 • 出力 ： ク ラ スの確率 • ディ ープラ ーニングの代表的な問題 • 入力と 出力のサイ ズが決ま っ ている • 大規模なデータ がある （ImageNet） Krizhevsky et al. ImageNet Classification with Deep Convolutional Neural Networks. NIPS, 2012. 22
47. 向いている 問題 ・ 画像分類 • 画像分類 • 入力 ： 画像 • 出力 ： ク ラ スの確率 • ディ ープラ ーニングの代表的な問題 • 入力と 出力のサイ ズが決ま っ ている • 大規模なデータ がある （ImageNet） Krizhevsky et al. ImageNet Classification with Deep Convolutional Neural Networks. NIPS, 2012. 22
48. 向いている 問題 ・ 領域分割 • 領域分割 • 入力 ： 画像 • 出力 ： 画像の各領域のク ラ ス確率 • データ 作成が難し い • ク ラ スの数が少ない • ImageNet の学習済みモデルを 利用可 Chen et al. The Role of Context for Object Detection and Semantic Segmentation in the Wild. CVPR, 2014. 23
49. 向いている 問題 ・ 領域分割 • 領域分割 • 入力 ： 画像 • 出力 ： 画像の各領域のク ラ ス確率 • データ 作成が難し い • ク ラ スの数が少ない • ImageNet の学習済みモデルを 利用可 Noh et al. Learning Deconvolution Network for Semantic Segmentation. ICCV, 2015. 23
50. 向いている 問題 ・ 超解像度 • 超解像度 • 入力 ： 画像 • 出力 ： 高解像度な画像 • データ を 集めやすい • ほと んど解決し た問題 • 画像処理問題の扱い Kim et al. Accurate Image Super-Resolution Using Very Deep Convolutional Networks. CVPR, 2016 24
51. 向いていない問題 ・ 画像補完 • 画像補完 • 入力 ： 画像＋ マスク • 出力 ： 画像 • 画像を 作り 出すのが苦手 • 高解像度が苦手 • 決ま っ た形の出力が苦手 N. Komodakis and G. Tziritas. Image completion using efficient belief propagation via priority scheduling and dynamic pruning. IEEE Trans. Image Processing, 2007. 25
52. 向いていない問題 ・ 画像補完 • 画像補完 • 入力 ： 画像＋ マスク • 出力 ： 画像 • 画像を 作り 出すのが苦手 • 高解像度が苦手 • 決ま っ た形の出力が苦手 Pathak et al. Context Encoders: Feature Learning by Inpainting. CVPR, 2016. 25
53. 向いていない問題 ・ 画像補完 • 画像補完 • 入力 ： 画像＋ マスク • 出力 ： 画像 • 画像を 作り 出すのが苦手 • 高解像度が苦手 • 決ま っ た形の出力が苦手 Iizuka et al. Globally and Locally Consistant Image Completion. SIGGRAPH, 2017. 25
54. 向いていない問題 ・ 画像生成 • 画像生成 • 入力 ： ラ ンダムノ イ ズ • 出力 ： 画像 • 教師なし 学習が苦手 • 出力のサイ ズが固定 • 解像度が低い Salimans et al. Improved Techniques for Training GANs. NIPS, 2016. 26
55. 向いていない問題 ・ 画像生成 • 画像生成 • 入力 ： ラ ンダムノ イ ズ • 出力 ： 画像 • 教師なし 学習が苦手 • 出力のサイ ズが固定 • 解像度が低い Salimans et al. Improved Techniques for Training GANs. NIPS, 2016. 26
56. ディ ープラーニングに向いている 問題のま と め 向いている 問題 • データ が多い • 正解データ が決ま っ ている • 入力と 出力のサイ ズが固定 さ れている • 学習済みのモデルを 利用で き る 向いていない問題 • データ が少ない • 教師なし 学習 • 入力か出力が固定さ れてい ない • ユーザーの編集 • 高解像度 27
57. データ について • どれほど必要？ • 情報の流れについて考えなければなら ない • ク ラ スラ ベルの情報が少ない　→　 100 万枚以上使用 • 領域分割ラ ベルの情報が多い　→　 1 万枚未満 Cat vs 28
58. データ について • どれほど必要？ • 情報の流れについて考えなければなら ない • ク ラ スラ ベルの情報が少ない　→　 100 万枚以上使用 • 領域分割ラ ベルの情報が多い　→　 1 万枚未満 • 品質が大事 Cat Cat Lin et al. Microsoft COCO: Common Objects in Context. arXiv, 2014. 28
59. データ について • どれほど必要？ • 情報の流れについて考えなければなら ない • ク ラ スラ ベルの情報が少ない　→　 100 万枚以上使用 • 領域分割ラ ベルの情報が多い　→　 1 万枚未満 • 品質が大事 • データ 増加 • 反転、 回転、 明度、 コ ント ラ スト 、 スケーリ ング… 28
60. データ 収集について • 公開データ セッ ト (ImageNet, Places2, …) • 著作権問題 • 相応し いデータ セッ ト の存在 • 公開データ (Flickr, Twitter, …) • 著作権問題 • ラ ベルがない • 自分のデータ を 集める • 時間と お金がかかる • 正確なラ ベルが難し い • 多量なデータ が必要 29
61. データ 収集について • 公開データ セッ ト (ImageNet, Places2, …) • 著作権問題 • 相応し いデータ セッ ト の存在 • 公開データ (Flickr, Twitter, …) • 著作権問題 • ラ ベルがない • 自分のデータ を 集める • 時間と お金がかかる • 正確なラ ベルが難し い • 多量なデータ が必要 データ 自体に価値がある ！ ！ ！ 29
62. 深層学習の基礎 ・ 学習
63. 学習の基礎 1. データ セッ ト を 訓練用と 検証用と テスト 用に分け 1.1 訓練用データ でモデルの重みを 学習さ せ 1.2 検証用データ でハイ パパラ メ ータ を 決め 1.3 テスト 用データ は最後の評価のためのみ！ 30
64. 学習の基礎 1. データ セッ ト を 訓練用と 検証用と テスト 用に分け 1.1 訓練用データ でモデルの重みを 学習さ せ 1.2 検証用データ でハイ パパラ メ ータ を 決め 1.3 テスト 用データ は最後の評価のためのみ！ 2. データ セッ ト を ラ ンダムな順番に 3. バッ チで学習さ せ 3.1 小さ すぎる と 不安定 3.2 大き すぎる と 遅く てさ ら に精度がさ がる 3.3 問題によ っ て違う （分類〜128、 領域分割〜8） 30
65. 学習の基礎 1. データ セッ ト を 訓練用と 検証用と テスト 用に分け 1.1 訓練用データ でモデルの重みを 学習さ せ 1.2 検証用データ でハイ パパラ メ ータ を 決め 1.3 テスト 用データ は最後の評価のためのみ！ 2. データ セッ ト を ラ ンダムな順番に 3. バッ チで学習さ せ 3.1 小さ すぎる と 不安定 3.2 大き すぎる と 遅く てさ ら に精度がさ がる 3.3 問題によ っ て違う （分類〜128、 領域分割〜8） 4. 誤差逆伝播法でロ ス関数を 最小化 5. 二点の問題点 5.1 アンダーフ ィ ッ ティ ング 5.2 オーバーフ ィ ッ ティ ング （過学習） 30
66. 誤差逆伝播法 • パラ メ ータ の更新 ： wi j ← wi j − λ ∂L ∂wi j • 誤差が出力から 入力ま で逆伝播さ せる ∂L ∂wi j = ∂L ∂xn ∂xn ∂xn−1 . . . ∂xi ∂wi j ニューラル ネットワーク 23.8% Music Store 15.3% Basement 7.9% Cathedral 2.1% Airport ... 推定 順伝播 0.0% Music Store 100% Basement 0.0% Cathedral 0.0% Airport ... 誤差 正解 逆伝播 31
67. 誤差関数 • 平均二乗誤差 (Mean Squared Error ま たは MSE) • y: モデルの出力 • y∗: 正解 L(y, y∗) = 1 n n i=1 (yi − y∗ i )2 • 負の対数尤度 (Negative Log-Likelihood ま たは NLL) • y: モデルの出力 （対数尤度） • l: 正解ラ ベル L(y, l) = −yl 32
68. モデルパラメ ータ の更新 • 確率的勾配降下法 (Stochastic Gradient Descent ま たは SGD) • 一つのハイ パーパラ メ ータ で重みを 更新: wi j ← wi j − λ ∂L ∂wi j 33
69. モデルパラメ ータ の更新 • 確率的勾配降下法 (Stochastic Gradient Descent ま たは SGD) • 一つのハイ パーパラ メ ータ で重みを 更新: wi j ← wi j − λ ∂L ∂wi j • 慣性 (Momentum) • wi j ← wi j − vt vt = γvt−1 + λ ∂L ∂wi j • Adagrad • 重みにつき 更新率が異なる • RMSprop • Adagrad の最新版 • Adam • 慣性やバイ アスの調整 • Adadelta • ラ ーニングレ ート を 自動設定 33
70. モデルパラメ ータ の更新 Alec Radford さ んのアニメ ーショ ン 33
71. モデルパラメ ータ の更新 Alec Radford さ んのアニメ ーショ ン 33
72. モデルパラメ ータ の更新 ・ 一番いい？ • 大概、 どち ら も 精度が高い • ラ ーニングレ ート が重要 • 個人的に、 Adadelta を 使用 SGD 慣性 Adadelta Adam 超解像度 領域分割 色付け 画像生成 [Dong+ 2014] [Nor+ 2015] [Iizuka+ 2016] [Radford+ 2016] 34
73. 汎化能力 Generalizing Training • Dropout [Srivastava et al. 2014] • 学習の間にノ ード を ラ ンダムにゼロ にする • モデルは特定なノ ード に依存し ない • バッ チ正規化 (Batch Normalization) [Ioffe and Szegedy 2015] • 各層の出力を N(0, 1) に正規化 • モデル中に使用 • データ 増加 • 反転 • 小さ い回転 • ク ロ ッ プ 35
74. 学習の問題点 • 学習の間のロ スを 監視 イテレーション モデル１ 訓練用データのロス 36
75. 学習の問題点 • 学習の間のロ スを 監視 • も っ と も 低いロ スが必ずし も 一番いいモデルではない！ ！ ！ イテレーション モデル１ 訓練用データのロス 訓練用データのロス モデル２ 36
76. 学習の問題点 • 学習の間のロ スを 監視 • も っ と も 低いロ スが必ずし も 一番いいモデルではない！ ！ ！ • 検証用データ の精度を 使おう イテレーション モデル１ 訓練用データのロス モデル１ 検証用データの精度 訓練用データのロス モデル２ 検証用データの精度 モデル２ 36
77. 学習の問題点 • 学習の間のロ スを 監視 • も っ と も 低いロ スが必ずし も 一番いいモデルではない！ ！ ！ • 検証用データ の精度を 使おう • アンダーフ ィ ッ ティ ング • モデルの重みが足り ない • 解決方法 ： 重みを 増やす イテレーション 訓練用データのロス ロスが高い イテレーション 検証用データの精度 訓練用データの精度 精度が同じ 36
78. 学習の問題点 • 学習の間のロ スを 監視 • も っ と も 低いロ スが必ずし も 一番いいモデルではない！ ！ ！ • 検証用データ の精度を 使おう • アンダーフ ィ ッ ティ ング • モデルの重みが足り ない • 解決方法 ： 重みを 増やす • オーバーフ ィ ッ ティ ング • データ が足り なく て汎化性能がさ がる • 解決方法 ： dropout、 データ 増加… イテレーション 訓練用データのロス ロスが低い イテレーション 検証用データの精度 訓練用データの精度 精度が大分違う 36
79. 学習済みのフ ィ ルタ • 低レ ベル ： 角、 縁、 色… • 中レ ベル ： テク スチャ … • 高レ ベル ： 犬の顔、 鳥の足… Layer 1 Layer 2 Layer 3 Layer 4 Low-Level Mid-Level High-Level Visualizing and Understanding Convolutional Networks [Zeiler and Fergus 2014] 37
80. フ ァ イ ンチュ ーニング • 大規模データ でモデルを 学習 ... ... ... Input Output Training 38
81. フ ァ イ ンチュ ーニング • 大規模データ でモデルを 学習 • 最終層を 新し い層に入れ替え ... ... Input Output New! 38
82. フ ァ イ ンチュ ーニング • 大規模データ でモデルを 学習 • 最終層を 新し い層に入れ替え • 新し いデータ で学習を 続く • 小さ いデータ セッ ト で性能向上 • 覚えたこ と を 忘れさ せないよ う に小さ い学習率 • 最終層の学習率が大き い ... ... ... Input Output Small Dataset Training 38
83. ディ ープラ ーニングの基礎 ・ ま と め
84. ま と め • データ • 学習始ま る 前に解析 • データ 増加 • モデル • バッ チ正規化 • 最初に解像度減ら す • 学習 • 過学習に気を つける • 検証用データ を 使用 • 解像度が下げていく • 学習 • オーバーフ ィ ッ ティ ングに気を つける • 学習中ロ スや検証用データ の精度を 監視 39
85. 必要な環境 ・ ハッ ド ウ ェ ア
86. ハッ ド ウ ェ アについて • 基本的に Nvidia の GPU がマイ ン • GPU があればある ほどいい • 分散コ ンピュ ーティ ング • ハイ パーパラ メ ータ ・ チュ ーニング • GPU の選択肢 1. ク ラ ウ ド コ ンピュ ーティ ング 2. Nvidia Tesla （サーバー用） 3. Nvidia GeForce （民生用） • 現在値段が不安 40
87. ク ラ ウ ド コンピュ ーティ ング • 長所 • 使う 分だけ払う • サーバー室不必要 • 短所 • 値段が不安定 • データ セッ ト の移動が大変 NIPS の締切の前　@Reza_Zadeh 41
88. サーバー設置 • 電源工事が必要 （サーバー一台は 200V/30A ま で） • サーバー室の重要点 • ラ ッ ク 型 • 無停電電源装置 • 温度管理 • ネッ ト の速度 （NAS 等に） 42
89. サーバー設置 • 電源工事が必要 （サーバー一台は 200V/30A ま で） • サーバー室の重要点 • ラ ッ ク 型 • 無停電電源装置 • 温度管理 • ネッ ト の速度 （NAS 等に） • サーバーの重要点 • データ セッ ト 読み込むため専用 SSD • データ 増加等のための CPU • RAM の速度 42
90. サーバー設置 42
91. Tesla 対 GeForce 注意 ： Nvidia のラ イ センスによ る データ センタ ーに Tesla のみ使 用可 • Tesla • V100、 P100、 K80、 … + 高性能 + 低発熱量 - 値段が高い - 不必要機能 （FP64） • GeForce • 1080、 Titan X、 … + 安い （約３ 割） - 高発熱量 - 壊れやすい 43
92. 必要な環境 ・ フ レ ームワ ーク
93. 基本環境 • 基本的全部 Linux （Ubuntu の LTS 等） • 線型代数学ラ イ ブラ リ ： OpenBlas / Intel MKL • Nvidia の深層学習ラ イ ブラ リ CUDNN • Python の環境 ： Anaconda、 Docker、 … • 深層学習フ レ ームワ ーク 44
94. 深層学習フ レ ームワ ーク （その１ ） • Caffe • C 言語 （python も 可） • 硬いが、 速く て効率的 • Caffe2 に置き 換え 45
95. 深層学習フ レ ームワ ーク （その１ ） • Caffe • C 言語 （python も 可） • 硬いが、 速く て効率的 • Caffe2 に置き 換え • PyTorch / Chainer • Python 言語 • 動的にグラ フ を 定義 • 研究に焦点を 当て 45
96. 深層学習フ レ ームワ ーク （その１ ） • Caffe • C 言語 （python も 可） • 硬いが、 速く て効率的 • Caffe2 に置き 換え • PyTorch / Chainer • Python 言語 • 動的にグラ フ を 定義 • 研究に焦点を 当て • Tensorflow • Python 言語 • 静的と 動的なグラ フ • 生産に焦点を 当て 45
97. 深層学習フ レ ームワ ーク （その２ ） • Caffe2 • C++言語 • PyTorch を 補足 46
98. 深層学習フ レ ームワ ーク （その２ ） • Caffe2 • C++言語 • PyTorch を 補足 • Torch • Lua 言語 • ラ イ ブラ リ が少ない • PyTorch に置き 換え 46
99. 深層学習フ レ ームワ ーク （その２ ） • Caffe2 • C++言語 • PyTorch を 補足 • Torch • Lua 言語 • ラ イ ブラ リ が少ない • PyTorch に置き 換え • ま だたく さ んある ！ 46
100. ONNX: Open Neural Network Exchange • モデルのフ ォ ーマッ ト • 複数のフ レ ームワ ーク に対応 • python でモデルを 学習し 、 C++でアンド ロ イ ド 等にデプロ イ • ま だ全部のレ イ ヤに対応し ていない 学習 モデル モデル デプロイ 47
101. 例１ ： データ の重要性 （自動線画化）
102. ラフ スケッ チの線画化 48
103. ラフ スケッ チの線画化 入力 ： ラ フ スケッ チ 出力 ： 線画 49
104. ラフ スケッ チの線画化 ラ フ スケッ チ 線画 ラ フ スケッ チ 線画 50
105. 最初の結果 • 簡単なモデルを 定義 • データ を ち ょ っ と 揃えて学習さ せてみる と 51
106. 最初の結果 • 簡単なモデルを 定義 • データ を ち ょ っ と 揃えて学習さ せてみる と ぼける • ラ フ スケッ チと 正解データ を 合わせてみる と 51
107. 逆方向データ 制作 • データ の品質が重要 • ラ フ を 線画化する と 合わない （通常のデータ 作成） • 線画を ラ フ 化する と ぴっ たり （逆方向データ 作成） 通常のデータ 作成 逆方向データ 作成 52
108. ラフ スケッ チデータ セッ ト • 68 枚のラ フ スケッ チと 線画のペア • 5 人のイ ラ スト レ ータ ー • 424 × 424 画素の画像パッ チを 使用 ・・・ Extracted patches Sketch dataset ・・・ 53
109. データ 拡大 • 68 枚のデータ セッ ト では足り ない • 訓練データ の画像を スケーリ ング • 学習する 間にラ ンダムに回転と 反転 • 入力画像を さ ら に加工 ： ト ーン調整、 ぶれ、 ノ イ ズ 入力 ト ーン調整 ぶれ ノ イ ズ 54
110. 全層畳み込みニュ ーラルネッ ト ワ ーク スト ラ イ ド 数によ る 三種類の畳み込みレ イ ヤー 1. Flat-convolution 1.1 カーネル 3 × 3， パディ ング 1 × 1， スト ラ イ ド １ 2. Down-convolution 2.1 カーネル 3 × 3， パディ ング 1 × 1， スト ラ イ ド ２ 3. Up-convolution 3.1 カーネル 4 × 4， パディ ング 1 × 1， スト ラ イ ド 1/2 Down-convolution Flat-convolution Up-convolution stride stride stride 55
111. モデル • 23 層 • 出力の解像度は入力と 同じ • エンコ ーダー ・ ディ ーコ ーダー型 • メ モリ ーを 減ら す • 空間解像度を 上げる Flat-convolution Up-convolution 2 × 2 4 × 4 8 × 8 4 × 4 2 × 2 × × Down-convolution 56
112. 学習 • 全層ラ ンダムの重みから 学習 • 損失関数と し て重みつき 平均二乗誤差を 使用 • バッ チ正規化 [Ioffe and Szegedy 2015] が必要 • ADADELTA [Zeiler 2012] で最小化 入力 出力 正解 57
113. 実験環境 • Intel Core i7-5960X CPU (3.00GHz) • NVIDIA GeForce TITAN X GPU • 学習時間は約 3 週間 • GPU を 使う と 一秒以内で処理可能 解像度 画素数 CPU (秒) GPU (秒) 加速 320 × 320 102,400 2.014 0.047 42.9× 640 × 640 409,600 7.533 0.159 47.4× 1024 × 1024 1,048,576 19.463 0.397 49.0× 58
114. 比較 入 力 Potrace Adobe Live Trace 提 案 手 法 59
115. 比較 入 力 Potrace Adobe Live Trace 提 案 手 法 59
116. 結果 60
117. 結果 60
118. 例２ ： モデルの重要性 （自動色付け）
119. 自動色付け Colorado Park, 1941 年 Textile Mill, 1937 年 Berry Field, 1909 年 Hamilton, 1936 年 61
120. データ について • 簡単に作れる • 現代のカラ ー写真を 白黒にする • MIT の Places データ セッ ト を 使用 [Zhou et al. 2014] Abbey Airport terminal Aquarium Baseball field Dining room Forest road Gas station Gift shop ⋯ ⋯ 62
121. 問題の難度 • パッ チを だけ見る と 空と 天井を 区別し にく い • モデルを 改良する 必要 正解データ 普通の CNN 63
122. 問題の難度 • パッ チを だけ見る と 空と 天井を 区別し にく い • モデルを 改良する 必要 ？ 正解データ 普通の CNN 63
123. 問題の難度 • パッ チを だけ見る と 空と 天井を 区別し にく い • モデルを 改良する 必要 正解データ 普通の CNN 提案手法 63
124. モデルの改造 • モデルは色を 予想し 、 白黒写真に加える • 問題はパッ チの情報が足り ない 彩度マッ プ 中レベル特徴抽出 ネッ ト ワーク 色付け ネッ ト ワーク 輝度マッ プ （入力画像） 低レベル特徴抽出 ネッ ト ワーク 64
125. モデルの改造 • モデルは色を 予想し 、 白黒写真に加える • 問題はパッ チの情報が足り ない • 解決方法 ： 大域特徴を 利用 • 提案の統合レ イ ヤでパッ チと 大域特徴を 結合 彩度マッ プ 中レベル特徴抽出 ネッ ト ワーク 色付け ネッ ト ワーク 輝度マッ プ （入力画像） 低レベル特徴抽出 ネッ ト ワーク 大域特徴抽出ネッ ト ワーク 統合レイヤ 64
126. 統合レ イ ヤ • 大域特徴と 局所特徴を 統合する 層 • W、 b を 学習さ せる • 大域特徴を 局所特徴に練り 込む • どんな解像度でも 対応 大域特徴抽出ネッ ト ワーク 統合レイヤ ... ... ... 色付け ネッ ト ワーク 中レベル特徴抽出 ネッ ト ワーク 統合レイヤ 65
127. モデルと 学習 • 全層を ラ ンダムから 学習 • ADADELTA を 使用 彩度マッ プ 中レベル特徴抽出 ネッ ト ワーク 色付け ネッ ト ワーク 輝度マッ プ （入力画像） 低レベル特徴抽出 ネッ ト ワーク 大域特徴抽出ネッ ト ワーク 統合レイヤ 66
128. モデルと 学習 • 全層を ラ ンダムから 学習 • ADADELTA を 使用 • ２ つのロ スを 使用 • MSE ロ スで色付けを 学習さ せ • 分類誤差で大域特徴の学習を 支援 彩度マッ プ 中レベル特徴抽出 ネッ ト ワーク 色付け ネッ ト ワーク 輝度マッ プ （入力画像） 低レベル特徴抽出 ネッ ト ワーク 大域特徴抽出ネッ ト ワーク 統合レイヤ 20. 60% 庭園 16. 13% アーチ 13. 50% 修道院 7. 07% 植物園 6. 53% ゴルフ場 推定シーン 分類 ネッ ト ワーク 66
129. 結果 67
130. 比較 入力画像 [Larsson+ ’16] [Zhang+ ’16] [Iizuka+ ’16] 68
131. 比較 入力画像 [Larsson+ ’16] [Zhang+ ’16] [Iizuka+ ’16] 68
132. 比較 入力画像 [Larsson+ ’16] [Zhang+ ’16] [Iizuka+ ’16] 68
133. ま と め • 自動線画化 • モデルが簡単 • データ 作成が難し い Flat-convolution Up-convolution 2 × 2 4 × 4 8 × 8 4 × 4 2 × 2 × × Down-convolution • 自動色付け • 大規模なデータ • 普通のモデルがあま り う ま く いかない 彩度マッ プ 中レベル特徴抽出 ネッ ト ワーク 色付け ネッ ト ワーク 輝度マッ プ （入力画像） 低レベル特徴抽出 ネッ ト ワーク 大域特徴抽出ネッ ト ワーク 統合レイヤ 20. 60% 庭園 16. 13% アーチ 13. 50% 修道院 7. 07% 植物園 6. 53% ゴルフ場 推定シーン 分類 ネッ ト ワーク 69
134. おわり に • 理論も 経験も 大事 • ３ つのこ と について考えないと いけない • データ を 調べる こ と • モデルの構想 • 学習の実装 70
135. おわり に • 理論も 経験も 大事 • ３ つのこ と について考えないと いけない • データ を 調べる こ と • モデルの構想 • 学習の実装 • ディ ープラ ーニングは機械学習の民主化 • でき ないこ と ができ る よ う になっ た • 研究ペースが恐ろ し い 70
136. おわり に • 理論も 経験も 大事 • ３ つのこ と について考えないと いけない • データ を 調べる こ と • モデルの構想 • 学習の実装 • ディ ープラ ーニングは機械学習の民主化 • でき ないこ と ができ る よ う になっ た • 研究ペースが恐ろ し い • いろ いろ 試し て経験積も う 70
137. 補助資料 • シモセラ エド ガー http://hi.cs.waseda.ac.jp/˜esimo/ • 自動線画化を 試す http://hi.cs.waseda.ac.jp:8081/ • 自動色付けを 試す http://hi.cs.waseda.ac.jp:8082/