ML_Loft_4_エッジ推論.pdf

by Shintarou Okada

Slide 1

Slide 1 text

岡田真太郎 - Preferred Networks エンジニアエッジ推論の前にやること

Slide 2

Slide 2 text

エッジ推論の速度を決定する3つの要素入力画像サイズデバイスモデル FPN BboxHead MaskHead ResNet50

Slide 3

Slide 3 text

モデル INPUT 計算量入力画像サイズ

Slide 4

Slide 4 text

モデル INPUT モデル INPUT INPUT 計算量 0.7倍モデルそのままタテ・ヨコ 0.7倍するだけで入力画像サイズ

Slide 5

Slide 5 text

INPUT INPUT INPUT 計算量 0.7倍計算量半分！モデルそのままタテ・ヨコ 0.7倍するだけで入力画像サイズモデルモデル

Slide 6

Slide 6 text

入力画像サイズ INPUT INPUT INPUT 0.7倍精度は大丈夫？計算量半分！

Slide 7

Slide 7 text

逆に聞くけどそのタスクに精度と速度はどれくらい必要なんですか？？？？？？？？？？？エッジ推論の前に，さっさとハイエンドのデバイス（例えばNVIDIAのGPU）使ってわざと精度落としたり速度遅くしてモデルの必要性能の下限を明らかにしましょう!!

Slide 8

Slide 8 text

精度と速度はトレードオフエッジ推論は原則として精度か速度が落ちるどれくらいの精度と速度が必要なのかを見極めるのが重要精度速度タスクに必要な精度と速度

Slide 9

Slide 9 text

精度速度精度と速度はトレードオフエッジ推論は原則として精度か速度が落ちるどれくらいの精度と速度が必要なのかを見極めるのが重要

Slide 10

Slide 10 text

この領域にあればタスクがこなせる精度速度精度と速度はトレードオフエッジ推論は原則として精度か速度が落ちるどれくらいの精度と速度が必要なのかを見極めるのが重要

Slide 11

Slide 11 text

精度速度オリジナルのモデル on NVIDIA GPU 精度と速度はトレードオフエッジ推論は原則として精度か速度が落ちるどれくらいの精度と速度が必要なのかを見極めるのが重要

Slide 12

Slide 12 text

精度速度デバイスを変えると速度が落ちる精度と速度はトレードオフエッジ推論は原則として精度か速度が落ちるどれくらいの精度と速度が必要なのかを見極めるのが重要

Slide 13

Slide 13 text

精度速度入力画像サイズで精度と速度を調整精度と速度はトレードオフエッジ推論は原則として精度か速度が落ちるどれくらいの精度と速度が必要なのかを見極めるのが重要

Slide 14

Slide 14 text

精度速度入力画像サイズで精度と速度を調整精度と速度はトレードオフエッジ推論は原則として精度か速度が落ちるどれくらいの精度と速度が必要なのかを見極めるのが重要再学習の必要なし手軽

Slide 15

Slide 15 text

精度速度精度と速度はトレードオフエッジ推論は原則として精度か速度が落ちるどれくらいの精度と速度が必要なのかを見極めるのが重要モデルを修正するとグラフが全体的に右下に移動する

Slide 16

Slide 16 text

モデル

Slide 17

Slide 17 text

モデル ChainerCVの MaskRCNNFPNResNet50 （＝インスタンスセグメンテーションのモデル）

Slide 18

Slide 18 text

ChainerCVの MaskRCNNFPNResNet50 （＝インスタンスセグメンテーションのモデル）画像は https://www.oreilly.com/ideas/introducing-capsule-networks から引用

Slide 19

Slide 19 text

モデル

Slide 20

Slide 20 text

拡大

Slide 21

Slide 21 text

拡大 FPN BboxHead MaskHead ResNet50

Slide 22

Slide 22 text

FPN BboxHead 拡大 MaskHead ResNet50 どの部分の計算量が多いのか？

Slide 23

Slide 23 text

モデル拡大 FPN BboxHead MaskHead ResNet50 どの部分の計算量が多いのか？掛け算の総量と考えればOK

Slide 24

Slide 24 text

モデルの計算量を算出してくれる Chainer Computational Cost https://github.com/belltailjp/chainer_computational_cost import chainer import numpy as np from chainer_computational_cost import ComputationalCostHook net = chainer.links.VGG16Layers() x = np.random.random((1, 3, 224, 224)).astype(np.float32) with chainer.no_backprop_mode(), chainer.using_config('train', False): with ComputationalCostHook(fma_1flop=True) as cch: y = net(x) cch.show_report(unit='G', mode='md')

Slide 25

Slide 25 text

https://github.com/belltailjp/chainer_computational_cost import chainer import numpy as np from chainer_computational_cost import ComputationalCostHook net = chainer.links.VGG16Layers() x = np.random.random((1, 3, 224, 224)).astype(np.float32) with chainer.no_backprop_mode(), chainer.using_config('train', False): with ComputationalCostHook(fma_1flop=True) as cch: y = net(x) cch.show_report(unit='G', mode='md') Markdown形式で表を出してくれるモデルの計算量を算出してくれる Chainer Computational Cost

Slide 26

Slide 26 text

計算量

Slide 27

Slide 27 text

計算量 Convolutionがモデル全体の計算量を決めることが分かる

Slide 28

Slide 28 text

Convの中でも一部が多くの計算量を占めているたった２つのConvがモデル全体の計算量の 1/3以上を占めている MaskHead FPN ResNet50

Slide 29

Slide 29 text

Convolution Layerの計算量入力チャンネル数: N 出力チャンネル数： N kernelサイズ： k 入出力特徴マップサイズ：（H, W）

Slide 30

Slide 30 text

Convolution Layerの計算量入力チャンネル数: N 出力チャンネル数： N kernelサイズ： k 入出力特徴マップサイズ：（H, W）入力画像サイズが効いてくる部分

Slide 31

Slide 31 text

Convolution Layerの計算量入力チャンネル数: N 出力チャンネル数： N kernelサイズ： k 入出力特徴マップサイズ：（H, W）約0.7倍

Slide 32

Slide 32 text

Convolution Layerの計算量入力チャンネル数: N 出力チャンネル数： N kernelサイズ： k 入出力特徴マップサイズ：（H, W）計算量半分！約0.7倍

Slide 33

Slide 33 text

拡大 FPN BboxHead MaskHead ResNet50

Slide 34

Slide 34 text

拡大 FPN BboxHead MaskHead ResNet50 軽量化全体からすると約25%の削減もちろん精度は変わる軽量化

Slide 35

Slide 35 text

モデルまとめモデルのConvのチャンネル数を減らすと計算量が減る重たいConvはChainer-computational-costで調べられる入力画像サイズの調整と比べると労力がかかる

Slide 36

Slide 36 text

デバイス • NVIDIA GPUは計算量が多いなら効率が良い • Intel GPUがわりと速い • QualcommのSnapdragonはGPUと DSPが使えて，DSPはint8化が必須

Slide 37

Slide 37 text

デバイス • NVIDIA GPUは計算量が多いなら効率が良い • Intel GPUがわりと速い • QualcommのSnapdragonはGPUと DSPが使えて，DSPはint8化が必須計算量/秒のことモデルによって異なることに注意

Slide 38

Slide 38 text

デバイス • NVIDIA GPUは計算量が多いなら効率が良い • Intel GPUがわりと速い • QualcommのSnapdragonはGPUと DSPが使えて，DSPはint8化が必須計算量/秒のことモデルによって異なることに注意モデルの選定では計算量だけでなく対象のデバイスで実行した場合の効率にも注意する必要がある

Slide 39

Slide 39 text

デバイス • NVIDIA GPUは計算量が多いなら効率が良い • Intel GPUがわりと速い • QualcommのSnapdragonはGPUと DSPが使えて，DSPはint8化が必須つまり，入力画像サイズやバッチサイズが大きい / Convのチャンネル数が大きいモデルの場合

Slide 40

Slide 40 text

デバイス • NVIDIA GPUは計算量が多いなら効率が良い • Intel GPUがわりと速い • QualcommのSnapdragonはGPUと DSPが使えて，DSPはint8化が必須裏を返すと，計算量が少ない場合は演算器が無駄になる特にメモリ転送の比率が大きいモデルでは効率が悪い (ShuffleNet, MobileNet系)

Slide 41

Slide 41 text

デバイス • NVIDIA GPUは計算量が多いなら効率が良い • Intel GPUがわりと速い • QualcommのSnapdragonはGPUと DSPが使えて，DSPはint8化が必須

Slide 42

Slide 42 text

デバイス • NVIDIA GPUは計算量が多いなら効率が良い • Intel GPUがわりと速い • QualcommのSnapdragonはGPUと DSPが使えて，DSPはint8化が必須いわゆるIntel Graphics Intel CPUにたいてい付属しているIntel製のGPU Intel製の推論フレームワークOpenVINOが使える

Slide 43

Slide 43 text

デバイス • NVIDIA GPUは計算量が多いなら効率が良い • Intel GPUがわりと速い • QualcommのSnapdragonはGPUと DSPが使えて，DSPはint8化が必須

Slide 44

Slide 44 text

デバイス • NVIDIA GPUは計算量が多いなら効率が良い • Intel GPUがわりと速い • QualcommのSnapdragonはGPUと DSPが使えて，DSPはint8化が必須複数のチップ，ARMのCPUと GPUとDSPが載ったSoC CPUでも推論はできるが非力

Slide 45

Slide 45 text

デバイス • NVIDIA GPUは計算量が多いなら効率が良い • Intel GPUがわりと速い • QualcommのSnapdragonはGPUと DSPが使えて，DSPではint8化が必須いわゆる量子化，精度が保てるかはモデル次第単純なモデルではほぼ問題ない量子化用のツールはSNPEに付属

Slide 46

Slide 46 text

使いたいチップのメーカーが出しているものを使えば大抵OK • NVIDIAならTensorRT • IntelならOpenVINO（a.k.a opencv/dldt） • QualcommならSNPE オペレータ間を埋める必要があれば Menoh/Chainer-Compilerを使う推論用のフレームワークは？

Slide 47

Slide 47 text

使いたいチップのメーカーが出しているものを使えば大抵OK • NVIDIAならTensorRT • IntelならOpenVINO（a.k.a opencv/dldt） • QualcommならSNPE オペレータ間を埋める必要があれば Menoh/Chainer-Compilerを使う推論用のフレームワークは？チップの性能を一番引き出せるのはそのチップメーカー手元でやる小手先の最適化はほぼ無意味

Slide 48

Slide 48 text

• カンタンにできて効果のあることから始めよう • 入力サイズの調整は手軽に精度と速度の調節がしやすい • モデルはConvのチャンネルを減らすと計算量が減る • モデルによって実行効率が異なることに注意 • 些細な最適化にこだわるな（フットワークが重くなる，製品の価値に結びつかない，どうせ無駄になる）全体のまとめ