論文解説 EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention

Presentation for explaining the paper "EfficientViT "presented from Microsoft Research, The Chinese University of Hong Kong.
EfficientViT is designed high recognition performance with high throughput in real devices.

Transcript

1. 論⽂解説 EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention Takehiro Matsuda
2. 2 論⽂情報 タイトル： EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention • 論⽂： https://arxiv.org/abs/2305.07027 • コード： https://github.com/microsoft/Cream/tree/main/EfficientViT • 投稿学会： CVPR2023 • 著者： Xinyu Liu, Houwen Peng, Ningxin Zheng, Yuqing Yang, Han Hu, Yixuan Yuan • 所属： The Chinese University of Hong Kong, Microsoft Research 選んだ理由： • Vision Transformerをエッジデバイスなどで⾼速に実⾏するためにはどのような 構成にすればよいか学ぶことができそう
3. 3 Vision Transformer 画像分野においてもTransformerの利⽤が広がってきた。 ただし、⾼い性能が⽰されているものはサイズが⼤きなモデルが多い。 最近、軽量なVision Transformer modelも提案されてきた。 ただし、model parameter数やFlopsによる計測は、 実際のモデルのinference throughputとずれがあることも多い。 ex.) MobileViT-XSは700M Flopsで、DeiT-Tは1,220M Flopsだが、 Nvidia V100 GPUで実⾏するとDeiT-Tのほうが早い 実際にinferenceを実⾏するときにThroughputが⾼いViTの構造を本⼿法で紹介する。
4. 4 Performance Nvidia V100 GPUにて ImageNet 右上ほど良い性能
5. 5 Good throughput with good recognition l Memory-efficiency l Parameter-efficiency Multi-head self-attention(MHSA)はメモリによる速度制約の影響⼤ parameter reallocation(Pruning) MHSAをFFNで挟むsandwich layout l Computation redundancy Multi-headの類似性を減らす (cascaded group attention[CGA])
6. 6 Memory efficiency Transformerはメモリアクセスに費やす時間の影響が⼤きい。 多くのreshaping, element-wise addition, normalization memory- bound operations Runtime profiling
7. 7 Transformer Attention is All You Need https://arxiv.org/abs/1706.03762 Transformer Architecture Transformer Block Q K V Multi-Head Attention Add & Norm Feed Forward Add & Norm
8. 8 Single Head Self Attention Attention is All You Need https://arxiv.org/abs/1706.03762 Q K V Linear Linear Linear Scaled Dot-Product Attention Multi head attentionの前にSingle Head Attentionの振り返り
9. 9 Multi Head Self Attention Attention is All You Need https://arxiv.org/abs/1706.03762
10. 10 MHSA proportions memory-inefficient layersを減らす構成を考える。 従来のViTではMHSA(Multi Head Self Attention)がFFN(Feed Forward Network)と同等数使われることが多い。 しかし、MHSAはFFNよりmemory-inefficient なoperationsが多い。 MHSAの割合を変えた場合、20~40%の割合のときに性能が良かった。 Swin-T-1.25xで20%のMHSAを採⽤すると、Memory-bound operationsが減少し合計のruntimeは 44.26%になった。
11. 11 Computation Efficiency Self-AttentionをMulti Headにすることで多様な表現になるとされるが、類似性を測ると⾼い。
12. 12 Parameter Efficiency Typical ViTs mainly inherit the design strategies from NLP transformer [71], e.g., using an equivalent width for Q,K,V projections, increasing heads over stages, and setting the expansion ratio to 4 in FFN. Taylor structured pruning*により、パラメータの縮⼩を⾏う。 重要でないchannelsの削除 * Importance Estimation for Neural Network Pruning https://arxiv.org/abs/1906.10771 Swin-T
13. 13 Taylor structured pruning Overview Importance Estimation for Neural Network Pruning https://arxiv.org/abs/1906.10771 重要度の⼩さい層を除去する ある層をなくしたとき(wm =0)の誤差を測れればよいが・・・、 全ての層についてなくしたパターンを計算するのは⼤変。 Taylor展開で近似する。 1st order 2nd order 𝑔! = 𝜕𝐸 𝜕𝜔! 𝐻",$ = 𝜕%𝐸 𝜕𝜔" 𝜕𝜔$ いくつかの層のグループ(S)による重要度計算は下のようになる。
14. 14 Proposed EfficientViT Architecture based on the introduced viewpoints
15. 15 EfficientViT architecture
16. 16 Sandwich layout To build up a memory-efficient block, we propose a sandwich layout that employs less memory-bound self-attention layers and more memory-efficient FFN layers for channel communication. Single attention layer １つのAttention layerをN個のFFNで挟む Token InteractionとしてDWConv (Depthwise Convolution)を使う
17. 17 Cascaded Group Attention チャンネルを分割する(j-th) Group convolutionsからinspired cascaded 後段のheadは前段のhead の結果をもとにrefine localとglobalの関係をjointしてとら えることができ表現⼒が向上する
18. 18 Other layout, implementation • LayerNormでなくBatchNormを採⽤ (前段のConvolutionやLinear層と⼀体化可能) • 活性化関数はReLUを使う。(GELUやHardSwishより早い、deployment platformでサポートされている) Channel, Block, Head数 解像度の⾼い前段はBlock数を少なめにする。 (MobileNet V3やLeViTと同じ考え)
19. 19 Experiments ImageNet-1K • PyTorch 1.11.0, Timm 0.5.4 • 8 Nvidia V100 GPUでscratchで300epochs, batch size 2,048 • AdamW optimizer, cosine learning rate scheduler train inference • GPU: Nvidia V100 • CPU: Intel Xeon E5-2690 v4 @ 2.6-GHz
20. 20 Results of ImageNet
21. 21 Comparison with the large-scale ViTs
22. 22 Performance on mobile devices Apple iPhon11のA13 Bionic chipにおける実⾏(CoreML使⽤) EfficientViT-M4の()内は1,000 epochs with distillationで学習
23. 23 Transfer Learning Results 他のdatasetへのtransfer learningの結果も良好 Stanford CarsのaccuracyがMobileNetのほうが⾼いのは、クラスの微妙な違いが局所的な detailにあり、Convolutionで特徴を捉えるのに向いていた可能性がある。
24. 24 COCO Object Detection COCO val2017のObject Detectionのtaskについても⾼精度の結果を得た。
25. 25 Ablation Study 同等速度では3%精度低下 FFNの数を増やしても精 度低下 Cascade Group Attention が精度にも寄与 有効なパラメータにすること で同等速度に対する精度を上 げることができる。
26. 26 Ablation Study MHSAの次元数についてのStudy