[読み会]Not All Tokens Are Equal: Human-centric Visual Analysis via Token Clustering Transformer

Transcript

1. Not All Tokens Are Equal: Human-centric Visual Analysis via Token Clustering Transformer @1/10 山
2. ࿦จ৘ใ CVPR 20 22
3. ࿦จ֓ཁ Vision Transformer Attention 手
4. ݚڀͷཱͪҐஔ ViT 長 方 行
5. ݚڀͷཱͪҐஔ ViT 長 方 行 目
6. ݚڀͷཱͪҐஔ ViT 長 方 行 人
7. ݚڀͷఏҊ ViT CTM
8. ݚڀͷఏҊ MTA Head
9. ఏҊख๏1ɿClustering-based Token Merge(CTM) Block ( ) 人 心
10. ఏҊख๏1ɿCTM Blockʹ͓͚ΔΫϥελϦϯά Density peaks 用 ρi δi ρi = exp − 1 k ∑ xj ∈KNN(xi ) ||xi − xj ||2 2 xi δi = { minj:ρj >ρi ||xi − xj || 2 if ∃j s.t. ρj > ρi maxj ||xi − xj || 2 otherwise 大 ρi ρj 大 ρi
11. ఏҊख๏1ɿCTM Blockʹ͓͚ΔΫϥελϦϯά 大 心 高 ρi × δi ρi × δi ρi = exp − 1 k ∑ xj ∈KNN(xi ) ||xi − xj ||2 2 xi δi = { minj:ρj >ρi ||xi − xj || 2 if ∃j s.t. ρj > ρi maxj ||xi − xj || 2 otherwise 大 ρi ρj 大 ρi
12. ఏҊख๏1ɿCTM Blockʹ͓͚Δಛ௃ྔͷ݁߹ yi = ∑ j∈Ci epjxj ∑ j∈Ci epj pj Ci yi Query Attention Yongming Rao, Wenliang Zhao, Benlin Liu, Jiwen Lu, Jie Zhou, and Cho-Jui Hsieh. Dynamicvit: E ff i cient vision transformers with dynamic token sparsi fi cation. Adv. Neu- ral Inform. Process. Syst., 2 0 21 .
13. ఏҊख๏1ɿCTM BlockޙͷAttentionͷܭࢉ CTM 用 (Query) K,V 小 Spatial Reductio Attention(Q, K, V) = softmax ( QKT dk + P ) V Attention P
14. ఏҊख๏2ɿMulti-stage Token Aggregation Head ViT 用
15. ఏҊख๏2ɿMulti-stage Token Aggregation Head Transformer 方 Stage 4 Stage 3 Stage 2 Stage 1
16. ఏҊख๏2ɿMulti-stage Token Aggregation Head Transformer 方 Upsample 行
17. ఏҊख๏·ͱΊ 1 2
18. ࣮ݧ 人 3 D 3 D
19. ࣮ݧ݁Ռɿ࢟੎ਪఆλεΫ 手 手
20. ࣮ݧ݁Ռɿ࢟੎ਪఆλεΫ CTM,MTA Head 方
21. ͦΕҎ֎ͷλεΫ 手
22. ࣮ݧɿੜ੒͞ΕͨτʔΫϯͷൺֱ 大 人 手
23. ࣮ݧɿੜ੒͞ΕͨτʔΫϯͷൺֱ 手
24. ·ͱΊͱײ૝ 文 手 目 Human-centric