[Journal club] Predict Before You Explore: Predictive Planning with Specialized Memory for Embodied Question Answering

Transcript

1. 慶應義塾大学 杉浦孔明研究室 是方諒介 Predict Before You Explore: Predictive Planning with Specialized Memory for Embodied Question Answering CVPR 2026 Yuan, B., You, S., Bao, B. “Predict Before You Explore: Predictive Planning with Specialized Memory for Embodied Question Answering.” CVPR 2026. Bowen Yuan1, Sisi You1, Bing Bao2 (1Nanjing University of Posts and Telecommunications, 2Hefei University of Technology)
2. 概要 - 2 - 背景 ▪ EQAタスクでは，Reactiveではなく長期的に一貫した探索 および質問応答に必要な視覚的根拠の効率的蓄積が必要 提案：Pred-EQA ▪ 探索ブランチの「予測→修正」に基づく予測的プランニング ▪ 環境の空間構造と質問関連の視覚的根拠を分離するメモリ 結果 ▪ 2種類の自由記述式EQAベンチマークにおいて， 正答率・探索効率の両面で既存手法を上回った
3. 背景：自由記述式のEmbodied Question Answering (EQA) - 3 - ▪ 環境に関する質問が与えられ，ロボットが探索・理解・回答を一体で実施 ▪ VQAとの違い：空間探索・長期的記憶・逐次的意思決定が必要  課題： 回答根拠の効率的な探索 OpenEQA [Majumdar+, CVPR24] → 多肢選択 -> 自由記述への拡張 EXPRESS-Bench [Jiang+, ICCV25] → 視覚的根拠と回答の一貫性も評価
4. 関連研究： Reactiveな探索・メモリからの視覚的根拠検索が課題 - 4 - 手法群 概要 Explore-EQA [Ren+, RSS24] Fine-EQA [Jiang+, ICCV25] Frontier-Based Exploration・プランニングベースの手法  現在観測にReactiveに次の行動を決定→長期的に一貫性がない 3D-Mem [Yang+, CVPR25] GraphEQA [Saxena+, CoRL25] 過去観測を保持するメモリベースの手法  単一メモリに全観測を蓄積→疎な視覚的根拠の検索が困難 Explore-EQA 3D-Mem GraphEQA
5. 提案手法 (1/4)：Predict Before You Explore (Pred-EQA) - 5 - 新規性 1. Predictive Processingに基づくEQAフレームワーク 2. Predictive Planning：探索ブランチの「予測→修正」に基づく予測的プランニング 3. Specialized Memory：環境の空間構造と質問関連の視覚的根拠を分離
6.  既存手法：現在の観測に応じて次のfrontierを選択 (Reactive) ☺ 提案手法：未観測領域に対して仮説を立て，行動により検証・修正のループ Predictive Processing [Dina+, 20] ▪ 目的関数 を最小化 提案手法 (2/4)： Reactive ProcessingからPredictive Processingへ定式化 - 6 - 第1項：環境に関する予測を安定化 第2項：予測を検証して不確実性を減らすよう行動 ：これまでの観測， ：質問， ：行動（探索計画） ：環境の潜在的な意味構造（例：キッチンはどこか）
7. 提案手法 (3/4)：Predictive Hierarchical Planning - 7 - High-level Planner ▪ 質問に関連する視覚的根拠がありそうな探索ブランチ を予測 Low-level Executor ▪ 移動先 を選択しながら を修正 ：過去のsnapshot ：frontier候補 ：質問 ：環境の空間構造的なメモリ
8. Textual Structural Memory ▪ 環境の空間的構造（部屋，移動履歴等） をテキストで保存 Visual Evidence Memory ▪ に関連する視覚的根拠 のみ画像で保存 提案手法 (4/4)：Functionally Specialized Memory - 8 - ：ロボットの観測記述 ：質問 ：Textual Structural Memory
9. 実験設定：2種類の自由記述式EQAベンチマーク - 9 - ① A-EQA (OpenEQA [Majumdar+, CVPR24]) ▪ 評価指標 (GPT-4) - LLM-Match↑：5段階評価のLLM-as-a-Judge - LLM-SPL↑：上記を探索経路長で重み付け ② EXPRESS-Bench [Jiang+, ICCV25] ▪ 視覚的根拠と回答の一貫性（★）も評価 ▪ 評価指標 (GPT-4o-mini) - ↑：★を考慮したLLM-Match - ↑：★を考慮したLLM-SPL - ↑：LLM-Matchと概ね同様（説明略） - ↓：最終探索位置と目標位置の距離 例：”living room”の絵画を参照していない→減点
10. 定量的結果： 正答率・探索効率の両面で既存手法を上回った - 10 - 考察 ✓ 両ベンチマークでProprietary/Open-SourceなVLMに基づく既存手法群を上回った ✓ 特に経路長を考慮した評価指標 (LLM-SPL, ) において性能向上が顕著 ① A-EQA ② EXPRESS-Bench
11. Ablation Study： Predictive Planning / Specialized Memoryが共に性能向上に寄与 - 11 - 考察 ✓ 経路長を考慮した評価指標において，Predictive Planningの寄与が特に大きい ✓ 用いるVLMの種類に依存せず提案モジュールが有効であることを実証
12. 定性的結果：Predictive Planningの可視化 - 12 - 考察  Reactiveなベースライン手法：探索方針が一貫せず冗長な移動が頻発  TODO-list Planning：サブゴール分解は有用だが，観測に基づく柔軟な更新が困難 ☺ 提案手法：探索ブランチの「予測→修正」に基づく経路の効率化 例：”What is hanging from the oven handle?”
13. まとめ - 13 - 背景 ▪ EQAタスクでは，Reactiveではなく長期的に一貫した探索 および質問応答に必要な視覚的根拠の効率的蓄積が必要 提案：Pred-EQA ▪ 探索ブランチの「予測→修正」に基づく予測的プランニング ▪ 環境の空間構造と質問関連の視覚的根拠を分離するメモリ 結果 ▪ 2種類の自由記述式EQAベンチマークにおいて， 正答率・探索効率の両面で既存手法を上回った
14. Appendix
15. 実験設定：評価指標の定義 - 15 - ▪ A-EQA (OpenEQA [Majumdar+, CVPR24]) ▪ EXPRESS-Bench [Jiang+, ICCV25]
16. 定量的結果：質問カテゴリ別 - 16 -
17. Ablation Study - 17 -
18. 定性的結果：探索の冗長性を削減 - 18 -