【ECCV2026:Genception】映像生成に秘められた力

Transcript

1. 名古屋ECCV2026読み会: Genception 東京科学大学 小島 瑞貴
2. 自己紹介 【名前】 小島 瑞貴 【所属】東京科学大学 博士1年 【課外活動】 運営 視覚若手の会LENS 代表 2 幹事
3. 論文情報 Genception: Video Generation Models are General-Purpose Vision Learners Letian Wang, Chuhan Zhang, Rishabh Kabra, Jasper Uijlings, Steven Waslander, Andrew Zisserman, Joao Carreira, Kaiming He, Misha Andriluka, Eduard Gabriel Bazavan, Andrei Zanfir, Cristian Sminchisescu % 3
4. 問題設定 汎用的な視覚モデルの構築 VGGT（三次元復元） SAM3（セグメンテーション） % 高い性能だが，両タスクを「統一的に」扱えない 4
5. 背景: 言語領域での基盤モデル 翻訳 言語基盤モデル 要約 統一 % 種々の言語タスクを基盤モデルが統一！ 5
6. 背景: 言語モデルの学習手続き ❶事前学習 ❷Supervised Fine-Tuning 視覚基盤モデルを作りたい…! 6 ❸選好最適化
7. 前提: 視覚基盤モデルに必要な要件 ❶時空間理解 ❷言語との接続 ❸スケール可能性 これって，映像拡散モデルそのものでは？ 7
8. 前提: 事前学習としての映像拡散モデル ❶時空間理解 ❷言語との接続 ❸スケール可能性 ❶映像生成の特性 ❷テキスト条件付け ❸テキスト-画像ペアのみ 8
9. 提案: Genception ❶ 映像拡散モデルで，事前学習 ❷ 様々な下流タスクで，事後学習 9
10. 提案手法: 下流タスク一覧 奥行き・法線マップ・カメラ姿勢などなど ポイント: 全部RGB形式に統一された出力（キーポイントを除く;後述） 10
11. 提案手法: 事後学習のやりかた 要点 ❶ ノイズなし(t=0)を入力→1-ステップ出力 ❷ タスク定義は，テキストプロンプトにて（最重要ポイント） 【概要図】 11
12. 提案手法: 事後学習のやりかた 要点 ❶ ノイズなし(t=0)を入力→1-ステップ出力 ❷ タスク定義は，テキストプロンプトにて（最重要ポイント） 【概要図】 拡散モデル 12
13. 提案手法: 事後学習のやりかた 要点 ❶ ノイズなし(t=0)を入力→1-ステップ出力 ❷ タスク定義は，テキストプロンプトにて（最重要ポイント） 【概要図】 拡散モデル タスク定義はここ！（例:デプス） 13
14. 定量評価 デプス推定 カメラ姿勢推定 前景抽出 セグメンテーション キーポイント 法線推定 単一モデルで全部（ほぼ）SOTA 14
15. 定性評価
16. 定性評価（セグメンテーション）
17. 定性評価（キーポイント）
18. 定性評価（言語対応付け）
19. まとめ ★論文名: Genception: Video Generation Models areGeneral-Purpose Vision Learners ★目的: 言語のような，汎用的な視覚基盤モデルを作りたい ★言語側の学習: ❶事前学習❷ファインチューニング❸選好最適化 ★視覚モデルに必要な要件: ❶時空間理解 ❷ 言語との接続 ❸スケール可能性 ★Genception(本提案手法): ❶映像拡散モデルで事前学習 ❷様々な下流タスクで事後学習 ★下流タスク: 奥行き・法線・キーポイント・カメラ姿勢などなど ★事後学習のやりかた: ❶ノイズなし1ステップ出力❷言語でタスク指示 ★評価: すべてのタスクで（ほとんど）最高性能