ICCV2025論文まとめ: VLMにおけるトークン削減 (KVTP, STTM, METEOR)

VLMのトークン削減論文まとめ
・Keyframe-oriented Vision Token Pruning: Enhancing Efficiency of Large Vision Language Models on Long-Form Video Processing
・Multi-Granular Spatio-Temporal Token Merging for Training-Free Acceleration of Video LLMs
・METEOR: Multi-Encoder Collaborative Token Pruning for Efficient Vision Language Models

Transcript

1. VLMにおけるトークン削減 福沢匠（名工大玉木・丁研）
2. 全体概要 ◼テーマ：Vision-LLMのトークン削減 • モデルサイズの増加に伴って効率化の需要が拡大 • 冗長な視覚トークンを削減する手法が増加 • 共通課題：計算効率向上と性能維持の両立 ◼ICCV2025から3つ論文を紹介 • KVTP: クエリに応じて重要フレームを判断し， フレーム単位でプルーニング率を調整 • STTM: 空間・時間の冗長性を利用したトークンマージ • METEOR: マルチエンコーダ環境で協調的にトークンを段階的プルーニング
3. VLMの基本構成 ◼VisionEncoder + LLMが典型例 • 視覚と言語で トークン数大 • LLMの アテンション のコスト大 Qwen2.5-VL [Bai+, arXiv2025]​
4. VLMの基本構成 ◼VisionEncoder + LLMが典型例 • 視覚と言語で トークン数大 • LLMの アテンション のコスト大 LLaVA [Liu+, NeurIPS2023]​
5. Keyframe-oriented Vision Token Pruning: Enhancing Efficiency of Large Vision Language Models on Long-Form Video Processing Yudong Liu, Jingwei Sun, Yueqian Lin, Jingyang Zhang, Ming Yin, Qinsi Wang, Jianyi Zhang, Hai Li, Yiran Chen, ICCV2025 KVTP
6. 概要 ◼背景と課題 • 長尺動画では重要イベントはごく一部のフレームにしか存在しない • 既存手法： • キーフレーム選択：不要フレームを丸ごと削除 →文脈が失われる ◼提案手法：KVTP • クエリごとの関連度に基づき フレームごとに異なる削減率 を設定 • SparseKV-QA （長尺+スパースイベント） な新ベンチマークを構築
7. モデルの流れ ◼Key frame predictorで重要フレームを予測 • 学習が必要 ◼フレームごとに異なる削減率でマージ • 対象はVision encoderの出力トークン
8. 学習データの作成 ◼既存のVideoQAモデルには重要フレームのアノテーション無し ◼SparseKV-QAを提案 • 既存のVideoQAデータセットに LLaVA [Zhang+, 2024]，GPT-4oを用いて重要区間アノテーションを付与
9. 実験結果（VideoQKタスク） ◼既存のトークン削減法に対して，KVTPを追加して比較 • 追加によって，性能低下が抑えられる • 一方でキーフレーム選択処理によってFLOPsは若干増加
10. Multi-Granular Spatio-Temporal Token Merging for Training-Free Acceleration of Video LLMs Jeongseok Hyun, Sukjun Hwang, Su Ho Han, Taeoh Kim, Inwoong Lee, Dongyoon Wee, Joon-Young Lee, Seon Joo Kim, Minho Shim, ICCV2025 STTM
11. 概要 ◼背景と課題 • 動画には隣接フレーム間・画素領域間で大きな冗長性 • 既存手法は十分に効率化できていない • 既存のトークン削減はクエリ依存が多く，KVキャッシュが再利用不可 ◼提案手法：STTM • クエリ非依存のトークン削減を実現 • KVキャッシュを再利用可能にする • 空間+時間の局所冗長性を利用し，トークンを削減 • 長尺動画や細かな情報が必要なVideoQAタスクでも性能を維持
12. 提案手法 (STTM) ◼LLMの初期層でトークンのマージ • 空間方向，時間方向の順番 • クエリテキスト非依存型 • 学習不要 Video Encoder “What are men purchasing?” Layer i Layer i STTM “wallet”
13. 提案手法 (STTM) ◼空間方向のマージ ◼時間方向のマージ
14. 提案手法 (STTM. 空間方向のマージ) ◼フレームごとに，類似度の高い隣接パッチを階層的にマージ
15. 提案手法 (STTM. 時間方向のマージ) 1. 後ろのフレームから前のフレームに辺を張る • 空間を共有しているトークン間 2. 類似度がしきい値を超えていたらマージ • 複数選択肢がある場合は左上優先 • 例：Lv1→Lv2に2つ以上しきい値が高い 3. 初期フレームまで繰り返す ◼類似度の高い時間的に隣接したパッチをマージ
16. 実験結果（VideoQA） ◼ モデル • LLaVa-Video-7B ◼ 削減率 • 最終的なトークン数を 50%or30%程度に調整 ◼ 各数値は ベースライン（灰色） に対する割合 ◼ Acc: Accuracy ◼ TTFT: 最初のtext token出力までの時間 ◼ Nv: 最終的な視覚トークンの個数
17. METEOR: Multi-Encoder Collaborative Token Pruning for Efficient Vision Language Models Yuchen Liu, Yaoming Wang, Bowen Shi, Xiaopeng Zhang, Wenrui Dai, Chenglin Li, Hongkai Xiong, Qi Tian, ICCV2025 METEOR
18. 概要 ◼背景と課題 • マルチエンコーダ型MLLM（OCR, CLIP系など複数）を組み合わせると 様々なタスクに強くなる • ただし，計算コストが現実的でない ◼提案手法：METEOR • 各エンコーダに最適な削減率を割り当て • エンコーダ間の冗長性を協調的に削減 • 同じ情報を持つトークンを削除 • 実運用可能なマルチエンコーダMLLMを実現 • ※ 動画でなく画像入力
19. モデルの流れ ◼3段階のトークン削減
20. モデルの流れ (Stage I) 複数の画像エンコーダで 独立に入力
21. モデルの流れ (Stage I) レイヤーごとに， 特徴量のランクに応じたトークン削減率の重み付け 全てのエンコーダの𝑏層で 残すトークン数の合計 エンコーダ𝑙の𝑏層の 中間特徴のランク 画像エンコーダの総数 エンコーダ𝑙の𝑏層で 残すトークン数 エンコーダごとのトークン削減
22. モデルの流れ (Stage II) エンコーダ間で重複する トークンを削減 エンコーダ𝑗の 𝑖番目トークンの重複度 エンコーダの走査 トークンの走査 類似度関数 エンコーダ𝑗の 𝑖番目トークンの特徴量 • 𝑅の下位𝑘個を残す
23. モデルの流れ（Stage III） クロスアテンションから，有用な視覚トークンだけを残す (視覚トークンが合流する最初のクロスアテンション層で実行) 1. 各ヘッドごとにテキスト-画像の関連度の強さを測定 テキストトークン𝑖が ヘッドℎで視覚トークンに 払うアテンション 3. 残すトークン数𝐾を決める 4. トークンの削除 - 上位K個を残す 2. テキスト-画像の関連度の強い上位k個のヘッドを選定 テキストと関連度の低い トークンを削減
24. 実験結果 ◼ エンコーダ4つ • Pix2Struct [Lee+, ICML2023] , CLIP [Radford+, ICML2021] EVA02[Sun+, arXiv2023] , ConvNeXT [Liu, CVPR2022] ◼ トークン削減後の数値 • Stage1: 1193 • Stage2: 576 • Stage3: 平均242
25. まとめ ◼Vision-LLMにおける視覚トークンの削減手法を紹介 • モデルの大規模化が進んでおり 計算効率向上への需要が拡大 • 視覚トークンは冗長なトークンが多い • 除去することでアテンションのコストを削減 ◼様々な目的で手法が展開 • KVTP: クエリに応じた適応的なトークン選択 • STTM: 学習不要なトークン削減 • METEOR: マルチエンコーダへの対応