VLMの推論を高速化する視覚トークン削減の仕組み

社内のCV輪講で使用した資料です。
VLMにおける視覚トークン圧縮の研究について紹介しました。

以下スライド中の参考文献のリンク
[1]: https://arxiv.org/pdf/2304.08485v2
[2]: https://arxiv.org/abs/2210.09461
[3]: https://arxiv.org/abs/2504.05299
[4]: https://arxiv.org/abs/2403.06764
[5]: https://arxiv.org/abs/2412.01818
[6]: https://arxiv.org/abs/2305.06500
[7]: https://arxiv.org/abs/2501.03895
[8]: https://arxiv.org/abs/2410.17247
[9]: https://arxiv.org/abs/2410.04417
[10]: https://arxiv.org/abs/2512.20561
[11]: https://arxiv.org/abs/2412.04467
[12]: https://arxiv.org/abs/2403.15388
[13]: https://arxiv.org/abs/2410.17247
[14]: https://arxiv.org/abs/2405.19315
[15]: https://arxiv.org/abs/2205.13147

Transcript

1. VLMの推論を高速化する 視覚トークン削減の仕組み 2026.8.7 福井 尚卿 GOドライブ株式会社 AI Community
2. はじめに ▪ VLMにおいて、高解像度画像や動画などの大規模な 視覚情報を扱う際、アテンションの計算量がトークン数の 二乗に比例して増加する ▪ 今回はVLMの推論を効率化するための手法のうち、 なるべく精度を落とさずに視覚トークン数を削減する手法 について紹介する 2
3. 基本的なVLMの仕組み • Vision Encoder ◦ 画像から特徴量へ変換する • Projection ◦ 画像特徴量をLLMに入力できる画像トークンへ変換する ◦ シンプルなMLPだったり、動画を扱う場合は圧縮したり • Language Model ◦ 画像トークンとプロンプトトークンをまとめて受け取り テキストを出力する の3つを組み合わせるアーキテクチャが多い （図はLLaVA [1] の論文から） 3
4. 視覚トークン数の削減手法の分類 （1/3） ▪ どうやって視覚トークンを圧縮・削減するか ▪ Merging・Poolingを用いた圧縮 ▪ 隣接するパッチや、類似した特徴を持つ トークンを結合 ▪ ToMe [2] 、SmolVLM [3] など ▪ Pruningを用いた削減 ▪ 冗長な視覚トークンを削減 ▪ FastV [4] 、VisPruner [5] など https://arxiv.org/pdf/2305.06500 ▪ Resamplingを用いた圧縮 ▪ 学習可能トークンを使って固定長に圧縮 ▪ InstructBLIP [6] 、LLaVA-Mini [7] など https://arxiv.org/pdf/2504.05299 4
5. 視覚トークン数の削減手法の分類（2/3） ▪ VLMのどこで削減をするか ▪ Vision Encoder内部 ▪ ToMe [2] など ▪ Projector / Adapter層 ▪ InstructBlip [6] 、VisPruner [5] 、 SmolVLM [3] など https://arxiv.org/pdf/2412.01818 ▪ LLM内部 ▪ FastV [4] 、 PyramidDrop [8] など https://arxiv.org/pdf/2410.17247 5
6. 視覚トークン数の削減手法の分類（3/3） ▪ 何を使って削減するか ▪ 視覚トークン間の類似度 ▪ ToMe [2] など ▪ テキストとの関連性 ▪ InstructBLIP [6] 、 SparseVLM [9] 、FlashVLM [10] など https://arxiv.org/pdf/2512.20561 ▪ LLMのAttentionスコア ▪ FastV [4] 、PyramidDrop [8] など https://arxiv.org/pdf/2403.06764 6
7. 01 Merging・Poolingを用いた 視覚トークン圧縮 7
8. Token Merging（ICLR 2023）[2] ▪ Token Mergingは軽量なマッチングアルゴリズムを 使用して、類似するトークンをVision Encoder内で 段階的に結合する手法 ▪ 類似度計算には各トークンのキー間の類似度を使う ▪ トークン間の特徴量類似度を使わないのは過剰にパラメータ化 されており、ノイズが 多くなっているため 8
9. VisionZip （CVPR 2025） [11] ▪ 2パターンのトークン集約・選択方法を使う ▪ 視覚トークンのアテンションスコアに基づいて、 重要なトークンを選択 ▪ 残りのトークンは類似度でマージ ▪ ToMeと同じようにキーの類似度を使用 9
10. SmolVLM [3] ▪ ViT出力をPixel Shuffleを用いることで画像トークンを圧縮 ▪ 例えばpatch sizeが16のモデルを使うと512x512解像度では 1024トークン消費するが、4x4 Pixel Shuffleを使うと 64トークンまで抑えられる ▪ モデルサイズが小さいほど圧縮率をあげている 10
11. 02 Pruningを用いた視覚トークン削減 11
12. FastV（ECCV 2024）[4] ▪ 一般的なVLMで、視覚トークンは深い層でアテンションを 向けられなくなることが観測されている ▪ 視覚トークンがより深い層の出力生成にほとんど寄与しないこと を示している ▪ そこで、視覚トークンのアテンション割合が低くなる層より前に、 視覚トークンをアテンションスコアに基づいてランク付けし、スコア が低いものを剪定する 12
13. VisPruner（ICCV 2025）[5] ▪ FastVなど、LLM内のアテンションの強度による剪定は 位置バイアスの影響を受けてしまう ▪ テキストトークンは近いビジュアルトークンに対してより高い注 意を示す ▪ 視覚エンコーダのCLSトークンのアテンションに基づいて、 情報量の多い重要なトークンのごく一部を選択し、残りのトークンは 類似性に基づいて削除する 13
14. SparseVLM（ICML 2025）[9] ▪ 視覚トークンと関連性が強いテキストトークンを選択し、選択したテ キストトークンからの寄与によって視覚トークンを剪定する ▪ projector層を通った視覚トークンとテキストトークンは同じ次 元を持っているため、視覚トークンとテキストトークンの関連性 の強さを測定することができる ▪ 剪定した視覚トークンは捨てるのではなく、クラスタリングを用いて まとめる 14
15. LLaVA-PruMerge+（ICCV 2025）[12] ▪ 視覚トークンとCLSトークンの類似性に基づいて重要なトークンを サンプリング ▪ サンプリングされていないトークンにも重要な情報が残っている 可能性があるためクラスタリングして中心のトークンを 重要なトークンに距離の重み付け和を使い集約 ▪ PruMerge+では、視覚トークンを空間的に均一にサンプリングし 重要なトークンに集約 15
16. PyramidDrop（CVPR 2025）[13] ▪ LLaVA-v1.5-7Bでの実験では、浅い層での視覚トークン削除の影響は 削除率にかかわらず大きく、深い層では影響が少ないことがわかった ▪ 最後のテキストトークンと視覚トークンの間のアテンションに 基づいて視覚トークンの一部を削除 ▪ 画像トークン数は深い層にいくにつれ指数関数的に 低下するように設計 16
17. FlashVLM（AAAI 2026 Workshop）[10] ▪ 視覚トークンとテキストトークンの関連度の他に、ViTが持っている 画像内のSaliencyスコアも用いて視覚トークンの重要度を計算する ▪ 剪定された重要でない視覚トークンに関しては類似度ベースで絞り込 み、重要な視覚トークンとconcatする 17
18. 03 Resamplingを用いた視覚トークン圧縮 18
19. InstructBLIP（NeurIPS 2023）[6] ▪ まずは学習可能クエリとテキストトークンの情報を混ぜるために Self Attentionを使い、学習可能クエリを使って視覚トークンから Cross Attentionを使って情報を取り出している 19
20. MQT-LLaVA（NeurIPS 2024）[14] ▪ 学習時に、最初のランダムな個数の学習可能クエリを残すことで、 モデルは最初に近いトークンほど重要な情報を詰め込み、 後ろのトークンになるほど補足的な情報を意味するように学習 （Matryoshka Representation Learning [15] ） ▪ loss計算の際には、様々な個数のクエリでのloss計算を合計する ▪ 推論時に使えるトークン数が可変に 20
21. LLaVA-Mini（ICLR 2025）[7] ▪ 学習可能クエリを使って、視覚トークンを圧縮 ▪ 視覚トークンの情報損失を補うために、Modality Pre-fusionを導入 ▪ LLMから少数の層を取り出し、パラメータはLLMと共有して 視覚トークンとテキストトークンを処理させ、テキストトークン と同じ長さの出力を使う 21
22. 質問意図に基づくLLM文脈ガイダンスを活用した視覚トークン圧縮による高効率VLM ▪ MIRU2026で福井がポスターで発表した研究（詳細は付録に） ▪ VLM中のLLMにテキストのみを入力して得られる隠れ状態を 文脈ガイダンスとして利用し、視覚トークンを圧縮 ▪ 先にテキストのみをLLMに解釈させることで、KVキャッシュ再利用 を活かした高効率な推論パイプラインを実現 • 既存手法と競合する精度 • 視覚トークン数を576 -> 32 の設定で、FLOPsは約1/8、 最初のトークンが出力される までの時間も約半分に 22
23. まとめ・所感 ▪ Pruningベースの手法がメジャーになってきている印象 ▪ 学習不要なものが多い ▪ どこをpruningしたかわかりやすい ▪ 複数の削減方法を組み合わせている手法も ▪ 高性能なオープンモデル（おそらくクローズドモデルにも）には 高度な視覚トークン削減手法はあまり採用されていない ▪ 量子化やシステム的な高速化に比べて伸び代が少ない？ ▪ 単純な削減手法だと精度劣化が大きく、複雑な削減手法だと モデルや最適化が煩雑になる 23
24. 参考文献 (1/2) [1]: https://arxiv.org/pdf/2304.08485v2 [2]: https://arxiv.org/abs/2210.09461 [3]: https://arxiv.org/abs/2504.05299 [4]: https://arxiv.org/abs/2403.06764 [5]: https://arxiv.org/abs/2412.01818 [6]: https://arxiv.org/abs/2305.06500 [7]: https://arxiv.org/abs/2501.03895 [8]: https://arxiv.org/abs/2410.17247 [9]: https://arxiv.org/abs/2410.04417 [10]: https://arxiv.org/abs/2512.20561 24
25. 参考文献 (2/2) [11]: https://arxiv.org/abs/2412.04467 [12]: https://arxiv.org/abs/2403.15388 [13]: https://arxiv.org/abs/2410.17247 [14]: https://arxiv.org/abs/2405.19315 [15]: https://arxiv.org/abs/2205.13147 25
26. 付録：MIRU2026ポスター（IS1-140）内容（1/3） 背景と課題 本研究のアプローチ • VLMの計算コスト増大 ◦ 高解像度画像や動画を扱うVLMでは、視覚トークン数の 増加に伴う推論レイテンシとメモリ消費の悪化が実用上の 課題となっている • LLMの隠れ状態を活用したシンプルな視覚トークン集約 ◦ LLM自身の推論過程から得られる隠れ状態を 文脈ガイダンスとして利用する • 既存手法の課題 ◦ 入力テキストを考慮しない視覚トークン圧縮手法では 回答に必要な局所的な視覚情報が失われやすい ◦ 入力テキストを考慮する圧縮手法ではアーキテクチャの冗 長性や推論時の計算オーバーヘッドが生じる ◦ LLMの内部アテンション情報を使用する手法は FlashAttention等の推論最適化技術と競合しやすい ◦ LLMの内部構造を変更しない設計と KVキャッシュの再利用を組み合わせることで 既存の最適化技術と両立した高速な推論パイプラインを 実現できる ◦ 各種ベンチマーク評価を通じて、事前学習済みモデルを 凍結したまま推論コストの大幅な削減と高い精度の維持 を両立できることを示した 26
27. 付録：MIRU2026ポスター（IS1-140）内容（2/3） 提案手法 Image ❄Vision Encoder Question Text Hidden States Learnable Query Text Projector Key ❄Projector ❄Tokenizer Text Token ❄LLM Visual Token KV Cache Text-to-Query Cross Encoder Visual Token 🔥Vision Token Compression Module Hidden States Value Compressed Token ❄LLM Vision Projector Key Value Query-to-Visual Cross Encoder Shared Weights Answer FFN • 推論時 ◦ 先行入力した質問テキストからLLMの 隠れ状態（文脈特徴量）を抽出 （図の左側） ◦ 文脈特徴量を用いて圧縮モジュール 内の学習可能クエリを条件付けし、 視覚トークンから重要な情報のみを 動的に圧縮（図の Visual Token Compression Module） ◦ 先行入力時に保存したテキストのKV キャッシュを再利用することで、 再計算コストを回避しながら推論 • 学習時 ◦ ベースとなるLLMおよび 視覚エンコーダを凍結して 圧縮モジュールのみを更新する • シンプルな2段階の視覚トークン圧縮機構 • 先にテキストのみをLLMに解釈させることで、KVキャッシュ再利用を活かした高効率な推論パイプラインを実現 • LLMの内部アテンションには一切介入せず既存の推論最適化（FlashAttention等）と互換性がある 27
28. 付録：MIRU2026ポスター（IS1-140）内容（3/3） 定量評価 • 各種ベンチマークでの評価 pope: ハルシネーション評価 vqav2: 一般的な視覚VQA評価 GQA: 物体間の関係性などの 推論評価 TextVQA: 画像内に 含まれる文字情報の 推論評価 MME: 多数のサブ タスクの総合評価 定性評価 • ベースモデル・ToMe・提案手法での出力の比較 Question: What kind of expression does the cat in the photo have? LLaVA-1.5: The cat in the photo has a playful and curious expression, as it is sticking its tongue out while laying on the cushion. This suggests that the cat might be enjoying its time, exploring its surroundings, or simply being a playful and curious feline. ToMe: The cat in the photo has a mean or angry expression on its face. 提案手法: The cat in the photo has a funny or silly expression on its face, as it is sticking out its tongue while laying on the chair. • クエリによる視覚トークン圧縮機構内のattentionの変化 What is the title of the book shown in the image? What is the color of the boy’s hat in the image? • 推論効率の評価 TTFT: Time To First Token, TPOT: Time Per Output Token. Image from VQAv2 dataset [Goyal+, CVPR 2017] 28