2025-06-12_UTD_VISA_MotionMAE.pdf

Transcript

1. Unbiasing through Textual Descriptions: Mitigating Representation Bias in Video Benchmarks Nina Shvetsova, Arsha Nagrani, Bernt Schiele, Hilde Kuehne, Christian Rupprecht, CVPR2025 福沢匠（名工大玉木・丁研） 2025/08/09
2. 背景と問題設定 ◼動画理解ベンチマークは「表現バイアス」を含む ◼特に多いのがオブジェクトバイアスとシングルフレームバイアス ◼真の時系列理解能力 が過大評価 ◼既存手法 • ActionSwap [Chung+, NeurIPS2022] • SCUBA [Li+, ICCV2023] • 動画加工による アーティファクト発生 やドメインずれ • 現実動画は少ない ActionSwap SCUBA
3. 目的 ◼既存のベンチマークを自動的に分析し 表現バイアスを測定・軽減する手法の提案 • テキスト入力のみで測定 ◼人手アノテーション不要 ◼モデル評価の信頼性向上
4. 提案手法概要 (UTD) ◼VLMで各フレームの詳細なキャプションを生成 ◼LLMで特定の概念を抽出 • 「objects」「activities」「verbs」など ◼抽出したテキスト × 時系列情報の組み合わせでバイアスを測定 ◼オブジェクトバイアスの高いサンプルをテストセットから除外 • UTD-splits作成
5. 対象とするバイアスの3軸 ◼概念バイアス • 特定の情報だけで分類できてしまうか？ • 「objects」「activities」「verbs」などのみ ◼時系列バイアス • フレームだけで十分か？ • 順序情報が必要か？ ◼常識 vs データセットバイアス • 常識バイアス：一般的な知識による推論 • データセットバイアス：訓練セット特有の相関
6. 1.概念バイアスの測定 ◼テキスト埋め込みの生成 • 動画からVLM・LLMで抽出されたテキスト • objects: man, racket • activities: The man holding a racket • verbs: Someone holding a something. • 正解動作ラベルテキスト: Playing tennis ◼ゼロショット分類 • コサイン類似度 • 各概念ごとに精度比較 • Objectsで性能高い → バイアス高い
7. 2.時系列バイアスの測定 ◼時間概念の異なるテキスト埋め込み特徴を作成 • 1フレーム：画像のキャプションを埋め込み化 • 全フレーム平均：1フレームテキスト埋め込みを平均 • 順序付き全フレーム： • 1フレームテキストを時間順序で連結 • この長文をテキスト埋め込みに変換 ◼ゼロショット分類 • 各概念ごとに精度比較 • 1フレーム精度が高い → バイアス高い 中央1フレーム 最高性能1フレーム 順序付き全フレーム 全フレーム平均
8. 3.常識 vs データセットバイアスの測定 ◼「常識的推論」か「訓練データ中の相関」に依存しているのか ◼2つの方法で性能比較 • 常識バイアス • ゼロショットでテキスト埋め込みから予測 • モデルは訓練データ使用しない • データセットバイアス • テキスト埋め込みを入力として，線形分類器を訓練 • 訓練データとラベルの相関を学習 • データセットバイアス性能 >> 常識バイアス性能 → バイアス高い 常識バイアス データセットバイアス
9. バイアス除去ベンチマークの作成 ◼オブジェクトバイアスは最も支配的で 測定・除去が容易 ◼UTD-splitを作成 • オブジェクトバイアスの高いサンプルを除外したテストセット • 6個の動作認識データセットに適用 • 除外割合はデータセットごとに異なる • UTD-balanced • クラス分布を維持したバージョンも作成 除去割合
10. 実験結果 ◼UTD-splitでは多くのモデルで顕著に性能低下 • バイアスに頼っている可能性
11. まとめ ◼ 人手なしで3軸のバイアスを測定可能 • 概念 • 時間 • 常識 vs データセット • 多くのベンチマークが強いオブジェクトバイアスを持つことを確認 ◼ UTD-splitsでより本質的な動画理解能力を評価可能 ◼ 将来 • 時系列理解を重視したベンチマーク構築、他モダリティへの適用
12. Text-to-video retrieval 除去割合
13. ◼ GitHub pagesにて各UTD-split, balancedの動画idが公開 ◼ VLMのサンプルごとの詳細キャプションも利用可能