モデルアーキテクチャ観点からのDeep Neural Network高速化

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. 今⽇のおはなし（本発表⼀番のマサカリ場） 2 CUDA cuDNN NVIDIA GPU GPU WebGL WebGPU TPU Video Core IV ？？？？？？ TensorFlow, Chainer, … deeplearn .js WebDNN ？？？？？？ @9_Jes さんアプリケーションレイヤ @Kiikurage さん @notogawa さん @kazunori_279 さん @Venginner さん @iwiwi さん @yu4u

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Convolutionの計算量 5 W H W H N M K K •  ⼊⼒レイヤサイズ：H x W x N •  畳み込みカーネル：K x K x N x M [conv K x K, M]と表記 (e.g. [conv 3x3, 64]) •  出⼒レイヤサイズ：H x W x M •  畳み込みの計算量：H・W・N・K2・M ※バイアス項無視、padding = “same”

Slide 6

Slide 6 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Convolutionの計算量 6 W H W H N M K K •  ⼊⼒レイヤサイズ：H x W x N •  畳み込みカーネル：K x K x N x M [conv K x K, M]と表記 (e.g. [conv 3x3, 64]) •  出⼒レイヤサイズ：H x W x M •  畳み込みの計算量：H・W・N・K2・M ※バイアス項無視、padding = “same” 画像スケール、チャネル数、カーネルサイズの2乗に⽐例

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. 畳み込みカーネルの空間的Factorization !  ⼤きな畳込みカーネルを複数の⼩さな畳込みカーネルに置き換える ⁃  conv 5x5 と conv 3x3 - conv 3x3 は同じreceptive ﬁeldを持つ ⁃  計算量は 25:18 ⁃  ⼩さな畳み込みを重ねるパターンはactivation層の数も多いため表現能⼒の向上が期待できる !  例 ⁃  AlexNet：conv 11x11 - conv 5x5 - conv 3x3 - … ↓ ⁃  VGGNet：conv 3x3 - conv 3x3 - conv 3x3 - … 9 conv 5x5 conv 3x3 - conv 3x3

Slide 10

Slide 10 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. 畳み込みカーネルの空間的Factorization !  conv 3x3 vs conv 1x3 - conv 3x1 ⁃  計算量は 9:6 !  例： Inception v6→v7 10 conv 3x3 conv 1x3 - conv 3x1 hap://lsun.cs.princeton.edu/slides/ChrisJan.pdf

Slide 11

Slide 11 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. 畳込みカーネルの空間⽅向とチャネル⽅向のFactorization !  通常の畳込みカーネルをdepthwise / pointwise convolutionに分離 !  Depthwise (separable) convolution ⁃  Input tensorに対しチャネル毎に畳み込み ⁃  計算量：H・W・N・K2・M (M=N) H・W・K2・N !  Pointwise convolution ⁃  ただのconv 1x1, M ⁃  計算量：H・W・N・K2・M (K=1) H・W・N・M !  Depthwise + pointwise ⁃  計算量：H・W・N・(K2 + M) ≒ H・W・N・M (M >> K2) 11 W H W H N 1 1 M W H W H N K K N

Slide 12

Slide 12 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Dilated convolution !  カーネルの重みに規則的に0を⼊れてカーネルサイズを拡張 !  ⼩さいカーネルと同じ計算量＋パラメータで広いreceptive ﬁeldを持つ ⁃  Feature mapの解像度を⾼く保ちたいsegmentationや超解像で良く使われる !  例 ⁃  Dilated Residual Networks, CVPRʼ17. ⁃  WaveNet - A Generative Model for Raw Audio 12 conv 5x5 conv 3x3, dilaJon = 2

Slide 13

Slide 13 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. 実際の処理速度は？？ !  PyTorchとKeras (TensorFlow backend) で簡単な実験 ⁃  特定の種類のconvolutionのみを含む16層CNNを構築 •  Batch normalizationやactivation層はなし ⁃  ⼊⼒tensorを 32x32x32x64（バッチサイズ32、チャネル数64） ⁃  ランダムな⼊⼒を100回forwardした時間を計測 ⁃  環境：Ubuntu 16.04, CPU: i7-7700 3.60GHz、 GPU: GeForce GTX1080 （TensorFlowはAVX2等を使うようにコンパイルしていない） !  Summary 13

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. PyTorch CPU !  Depthwise convolutionとdilated convolution以外は実処理時間と理論計算量が⼀致 !  どちらもメモリの局所性がないため？ ⁃  教えて中村さん！ !  PyTorchのdepthwise convolutionはめっちゃ遅い ⁃  Grouped convolutionでグループ数＝チャネル数でやってるため 16

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. 中間的なFactorization !  Eﬃcient and Accurate Approximations of Nonlinear Convolutional Networks, CVPRʼ15. !  Conv k x k, d を Conv k x k, dʼ - Conv 1 x 1, d に分解 ⁃  学習済みのカーネルを、出⼒feature mapの誤差を最⼩に保つように最適化問題を解くことで分解 ⁃  計算量：dk2c → dʼk2c + ddʼ = dʼ(k2c + d) ≒ dʼk2c 20

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Eﬃcient microarchitecture (module) !  Convをスタックするマクロアーキテクチャ (~VGGNet) からマイクロアーキテクチャをスタックする時代へ (GoogLeNet, ResNet~) !  様々なマイクロアーキテクチャ (module or building block) ⁃  mlpconv (Network in Network) ⁃  Inception module (GoogLeNet) ⁃  Residual block, bottleneck block (ResNet) ⁃  ResNeXT ⁃  DenseBlock (DenseNet) ⁃  Fire module (SqueezeNet) ⁃  Separable conv (Xception, MobileNets) ⁃  Neural architecture search (meta learning) !  ダイレクトに計算量を減らすというよりは精度と計算量のトレードオフを改善する ⁃  実⽤上は精度を担保して、どれだけ計算量を減らせるか 22

Slide 23

Slide 23 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Residual Networks, ResNet（参考） 23 基本形 conv 3x3, 64 conv 3x3, 128 conv 3x3, 256 conv 3x3, 512 global average pooling FC x N1 x N2 x N3 x N4 56x56 28x28 14x14 7x7 出⼒画像サイズ Building block / Residual unit •  パラメータの違うResidual unitを重ねていく •  Batch normalizaJon •  画像サイズを半分＋フィルタ数を倍に •  最後はglobal average pooling

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Fire module (SqueezeNet) !  戦略 ⁃  3x3の代わりに1x1のフィルタを利⽤する ⁃  3x3への⼊⼒となるチャネル数を少なくする !  ちなみに⾮常に⼈気のあるモデルだと思われるが… ⁃  ResNetやInception後の論⽂なので、そこからの差異が⼩さいとのことで、ICLRʼ17でrejectとなっている 25 conv 1x1, s1x1 conv 3x3, e1x1 conv 3x3, e3x3 concat Fire module 32 128 128 256 256 Squeeze layer Expand layer conv 3x3, 256の Factorizeと⾒ることもできる

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Depthwise separable convolution !  Xception !  MobileNets !  Xceptionはdepthwise/pointwise convの間にReLUがない ⁃  実験でないほうが良いことを⽰している !  Xceptionはidentity mappingがある 27 Depthwise conv 3x3 Pointwise conv 3x3 Batch normalization ReLU Separable conv 3x3 ReLU (Maxpool 3x3, stride=2) Conv 1x1, stride=2 Separable conv 3x3 Depthwise conv 3x3 Batch normalization ReLU Batch normalization Pointwise conv 3x3 ReLU

Slide 28

Slide 28 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Learning Transferable Architectures for Scalable Image Recognition, arXiv:1707.07012. !  moduleアーキテクチャをRNNで最適化 28 !  ⼤枠のアーキテクチャは決まっている •  (ReducJon cell + Normal cell × N) × K !  ReducJon cell：feature mapをダウンサンプル !  利⽤可能な要素は下記

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huﬀman Coding, ICLRʼ16 !  重みレベルのpruning 33 •  通常通り重みを訓練 •  しきい値以下の重みをprune（0にする） •  0の重みはそのままにﬁne-tuneする

Slide 34

Slide 34 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huﬀman Coding, ICLRʼ16 34 •  ⾮ゼロ要素を7.5%にまで削減 •  但し、ほとんどFC層 ↑モダンなモデル (ResNet~) はglobal average poolingを使うのでここまでパラメータの多いFC層がない

Slide 35

Slide 35 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. （余談）Global average pooling !  Network In Network, ICLRʻ14. で提案された !  Feature mapサイズの average pooling !  オリジナルの論⽂では N をクラス数にすることで、 global average poolingの出⼒がそのままprediction結果となる ⁃  その後の使われ⽅としては、後段に出⼒がクラス数のFC層を使う !  何れにせよ、パラメータ数の多いFC層が不要 35 W H N N 1 1

Slide 36

Slide 36 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huﬀman Coding, ICLRʼ16 !  んで早くなるの？ ⁃  早くなる、FCはね！（←cuSPARSE等のsparse⾏列演算ライブラリを利⽤） !  Sparseな重みのconvolutionは？ 36

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. チャネル毎に⼊⼒を平均0分散1に正規化、γとβでscale & shit Learning Eﬃcient Convolutional Networks through Network Slimming, ICCV'17. !  チャネルレベルのpruning !  各チャネルの出⼒をscalingする変数 γ を導⼊、Σi |γi | をロスとして学習 ⁃  γ はbatch normalizationに導⼊する（というか最初からある） ⁃  Batch normalizationの正規化が必須 !  学習後、γi が⼩さいチャネルi を削除し、ﬁne-tune 38 チャネルi Batch normalizaJon

Slide 39

Slide 39 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Learning Eﬃcient Convolutional Networks through Network Slimming, ICCV'17. !  正則化の効果により、pruning後に精度も上がる！ !  感想 ⁃  学習した後にpruningするより筋が良い ⁃  シンプル＆Batch normalizationで実現するの、素敵 ⁃  SOTA精度のモデルをベースにして検証して欲しい ⁃  ResNetのようなskip connectionがあるとややこしい 39

Slide 40

Slide 40 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. L0 ではなくLasso に緩和して解く Channel Pruning for Accelerating Very Deep Neural Networks, ICCVʼ17. !  チャネルレベルのpruning !  あるfeature mapのチャネルについて、次のレイヤのfeature mapをなるべく復元できるようなチャネルを選択し、残りを削除 !  VGG：5倍速, 精度0.3%↓、ResNet：2倍速, 精度1.4%↓ 40

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Quantization !  重みを量⼦化することでモデルのメモリを削減 ⁃  半精度を利⽤するとかでなければソフト的には⾼速化ではない（デモサイト等でのモデルのダウンロード速度は早くなるが） !  量⼦化の種類 ⁃  Scalar quantization（各次元毎に量⼦化 •  Binary •  Uniform（centroidが⼀定間隔 •  Adaptive（centroidの間隔をkmeans等で学習 ⁃  Product quantization（ベクトルを分割して個別に量⼦化 ⁃  Residual quantization（量⼦化→残差を量⼦化 ⁃  Hierarchical quantization（量⼦化→残差を量⼦化 ⁃  Vector quantization !  量⼦化効率（centroid数 vs 量⼦化誤差） ⁃  binary < scalar < product < residual, hierarchical < vector 42 違いは後段の量⼦化コードブックが単⼀かどうか

Slide 43

Slide 43 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Quantization !  重みを量⼦化することでモデルのメモリを削減 ⁃  半精度を利⽤するとかでなければソフト的には⾼速化ではない（デモサイト等でのモデルのダウンロード速度は早くなるが） !  量⼦化の種類 ⁃  Scalar quantization（各次元毎に量⼦化 •  Binary •  Uniform（centroidが⼀定間隔 •  Adaptive（centroidの間隔をkmeans等で学習 ⁃  Product quantization（ベクトルを分割して個別に量⼦化 ⁃  Residual quantization（量⼦化→残差を量⼦化 ⁃  Hierarchical quantization（量⼦化→残差を量⼦化 ⁃  Vector quantization !  量⼦化効率（centroid数 vs 量⼦化誤差） ⁃  binary < scalar < product < residual, hierarchical < vector 43 Deep learningのコンテキストではあまりない

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huﬀman Coding, ICLRʼ16 !  0でない重みをadaptive scalar quantization !  重みを量⼦化した状態のままﬁne-tuneできる！！ 45

Slide 46

Slide 46 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huﬀman Coding, ICLRʼ16 46 重みのIDをハフマン符号化⾮ゼロ要素間のgapをハフマン符号化 !  VGG16が552MB → 11.3MB ⁃  伸張に時間は必要そう

Slide 47

Slide 47 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Binary neural networks !  神資料があるのでまとめだけ… ⁃  https://www.slideshare.net/kentotajiri/ss-77136469 47 •  ⼊⼒も重みもバイナリ化することで⾼速化が可能 •  ソフト的にも実装が可能 •  サポートしているメジャーなフレームワークがない •  精度がまだ低い

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Distilling the Knowledge in a Neural Network, NIPSʼ14 Deep Learning Workshop. !  アンサンブルモデルや⼤きなモデルから、⼩さなモデルへの knowledge transfer ⁃  精度を保ちながら⼩さなモデルを学習 49 1. アンサンブルモデルや⼤きなモデルを学習 2. 学習済みモデルを利⽤して⼩さなモデルを学習

Slide 50

Slide 50 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. Distilling the Knowledge in a Neural Network, NIPSʼ14 Deep Learning Workshop. 50 … … 学習画像学習済みモデル学習するモデル … 正解ラベル（ハードターゲット）通常T = 1のsotmaxのTを⼤きくしたソフトターゲットを利⽤ … ソフトターゲットソフトターゲットハードターゲット正解ラベルと学習モデル出⼒の両⽅を利⽤推論時はT=1とする（argmaxは同じだが…

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Copyright © DeNA Co.,Ltd. All Rights Reserved. まとめ !  フレームワークより上のレイヤで意味があるのは ⁃  Factorization ⁃  Eﬃcient microarchitecture (module) ⁃  Pruning •  チャネルレベル（、レイヤレベル） ⁃  Quantization •  半精度（、バイナリ） ⁃  Distillation ⁃  Early termination !  精度重視のモデルで学習し、効率的なmoduleにdistillationし、 pruningし、バイナリ化し、early terminationする → Eﬃcient module + distillation + channel-level pruning 56