Adapting MLLMs for Nuanced Video Retrieval(ECCV2026)

MLLMを動画検索に適応する研究

Transcript

1. ECCV2026読み会 Adapting MLLMs for Nuanced Video Retrieval Shunsuke Yokokawa
2. Introduction 2
3. 自己紹介 ECCV参加してきました! <職歴> - ドローン: 9ヶ月 - 自動運転: 7年ちょい <興味のあるテーマ> - AutoResearch(研究の自動化)
4. 自分の論文(FlashBEV) FlashAttentionのアイディアをBEV(Bird Eye View)変換に応用 https://yokosyun.github.io/FlashBEV/ 😎 VRAM: 1/37 😁 Speed: 5倍 FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness FlashBEV: Fast and Memory-Efficient Exact BEV Transformation with IO-Awareness
5. 面白かった論文 (Register Any Point) <点群のRegistration> 従来: 点と点のMatching 提案: 点の移動先を推定 後処理で6D Poseを計算 Register Any Point: Scaling 3D Point Cloud Registration by Flow Matching
6. 紹介したい論文 <タイトル> Adapting MLLMs for Nuanced Video Retrieval <選定理由> 動画検索を理解したい! <発表内容> 動画検索の理解を一緒に高められたら嬉しい!
7. 発表の全体像 Preliminary - (動画)検索手法 - 動画の検索用Embedding Contribution - データの選び方が重要だった
8. Preliminary
9. 動画検索とは? Text検索 検索 動画+Text検索 検索 Adapting MLLMs for Nuanced Video Retrieval
10. 動画検索手法って何が存在するか? Cross-Encoder型 Top-K Dual-Encoder型 (a) Dual-Encoder型 (速い) (b) Cross-Encoder型 (正確) (c) Hybrid型 Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval
11. 動画から検索用Embeddingを抽出する方法 ② Learnable Queries (Q-Former) ① Pooling t1 t2 t3 t4 t5 t1 t2 t3 t4 t5 ③ MLLM + Last Token t1 t2 t3 t4 t5 Vision Encoder Vision Encoder Temporal Pooling Q-Former Projection Mean / Max / Attention Cross-Attention Vision Encoder Learnable Queries Prompt (optional) Pretrained LLM Embedding z [D] Query Embeddings [Q, D] Last Token → z [D] Cosine SImilarity Max Cosine SImilarity / Pool+Cosine Similarity Cosine SImilarity
12. MLLMのLast Tokenに情報を集めたい <‘Explicit One-word Limitation’ (EOL) prompt> “Summarize in on word:”を入力の最後に追加 E5-V: Universal Embeddings with Multimodal Large Language Models
13. MLLMの検索の全体像は? Adapting MLLMs for Nuanced Video Retrieval
14. Baseline ModelのEmbeddingの課題 😢反対の意味なのに分離出来てない 😢TextとVideoが分離してる Adapting MLLMs for Nuanced Video Retrieval
15. 検索用のEmbeddingにする為Contrastive Learningが必要 Adapting MLLMs for Nuanced Video Retrieval
16. Contrastive Learningとは? Positive Pair ：Similarity ↑ Negative Pair：Similarity ↓ Learning Transferable Visual Models From Natural Language Supervision
17. Contribution
18. 課題は? 1. 単語が似ているが意味が違う動画を区別しにくい a. b. 2. 順序: 本を開く vs 本を閉じる 否定: 犬がいる vs 犬がいない 動画と画像のPairが必要 a. b. 集めるのが大変 学習コストが大きい
19. 提案は? Negative文の選び方が重要! 1. 単語がほぼ同じ -> 似てる 2. 意味が反対な文章 -> でも反対 Text-Onlyの学習でも精度が上がった !
20. Negative文の選び方の例 Easy Negative(簡単な反対文)より Hard Negative(難しい反対文)を増やしたい 動作の反転 否定 Anchor 男性が紙を折っている 男性が傘をさしている Easy Negative 女性が料理をしている 女性が自転車にのっている Hard Negative 男性が紙を広げている 男性が傘をさしていない
21. 結果: Text検索 😄 反対の意味が分離出来た Adapting MLLMs for Nuanced Video Retrieval
22. 結果: 動画+Text検索 🔍Prompt: Replace woman with man Baseline Proposed 検索 Adapting MLLMs for Nuanced Video Retrieval
23. 結果: VideoとTextのGapも減った (Textのcontrastive learningしかしてないのに) Adapting MLLMs for Nuanced Video Retrieval
24. 疑問に思った事 なぜText-only Contrastive LearningでModality Gapが縮小するのか？ <適当な仮説> MLLMがParameterを共有しているから?
25. 学んだこと <動画検索> ★ 検索手法 (Cross-Encoder / Dual-Encoder) ★ 検索Embedding (Pooling / Q-Former / MLLM+Last Token) <MLLM> ★ Last Tokenが検索に使えること ★ EOL Prompting(“要約して”)で検索に使い易いEmbeddingになる <論文の主張> ★ Taskに合わせたHard Negative(難しい反対語)を選ぶのが重要 ★ Text onlyでもModality Gapは縮小
26. 参考文献 FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness FlashBEV: Fast and Memory-Efficient Exact BEV Transformation with IO-Awareness Register Any Point: Scaling 3D Point Cloud Registration by Flow Matching Adapting MLLMs for Nuanced Video Retrieval Visual Instruction Tuning(LLaVA) Tarsier2: Advancing Large Vision-Language Models from Detailed Video Description to Comprehensive Video Understanding Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models E5-V: Universal Embeddings with Multimodal Large Language Models(EOL Prompting)