論文紹介：LLMDet (CVPR2025 Highlight)

社内のCV輪講で使用した資料です。
LLMDet: Learning Strong Open-Vocabulary Object Detectors under the Supervision of Large Language Models (CVPR 2025 Highlight)について紹介しました。

以下スライド中の参考文献のリンク
[1]: https://arxiv.org/abs/2112.03857
[2]: https://arxiv.org/abs/2206.05836
[3]: https://arxiv.org/abs/2103.00020
[4]: https://arxiv.org/abs/2303.02489
[5]: https://arxiv.org/abs/2404.09216
[6]: https://arxiv.org/abs/2305.06500
[7]: https://arxiv.org/abs/2303.05499
[8]: https://arxiv.org/abs/2401.02361
[9]: https://huggingface.co/lmms-lab/llava-onevision-qwen2-0.5b-ov
[10]: https://arxiv.org/abs/2304.03752
[11]: https://arxiv.org/abs/2304.08485
[12]: https://huggingface.co/Qwen/Qwen2-VL-72B

Transcript

1. AI 2025.6.27 @tattaka_sun GO株式会社 論文紹介：LLMDet (CVPR2025 Highlight)
2. AI 2 項目 01｜Open-Vocabulary Object Detectionについて 02｜LLMDetのアーキテクチャと学習戦略 03｜性能評価
3. AI 3 01 Open-Vocabulary Object Detection について
4. AI 4 ▪ Open-Vocabulary Object Detection (OVOD) は学習時に見たことの ないカテゴリであっても、推論時にユーザーがテキストで指定した 任意の物体を検出するタスク ▪ Zero-Shot Object Detectionは未知のクラスを検出するがクラスが事前に 定義されていて固定なのに対し、OVODは事前に定義されたクラスに縛られない ▪ モデルは画像内の特定の領域とその領域を説明するテキスト （単語やフレーズ）を正しく対応付けるように学習する Open-Vocabulary Object Detection Visual encoder Det head Bounding boxes Category prediction Image Visual encoder Det head Bounding boxes Image Text encoder prompt Text embeddding Visual embeddding Category prediction Closed Vocabulary Object Detection Open Vocabulary Object Detection
5. AI 5 ▪ CLIP[3]では画像特徴とテキスト特徴を同じ特徴空間に埋め込むように学習 するが、GLIPではテキストプロンプト内のフレーズと画像領域を 対応付けるように学習する ▪ 具体的には、物体検出ラベルを連結した文字列と画像キャプション両方のテ キスト特徴、画像から検出した物体領域の特徴のマッチングを行う 関連研究：GLIP[1]・GLIPv2[2]
6. AI 6 ▪ 物体検出に加え、検出領域に基づいたキャプション生成も同時に学習させる ことで検出性能の向上を図る ▪ GLIPなどは推論時に指定するカテゴリリストに推論結果が依存するが、 CapDetではキャプションを生成することでカテゴリリストに 含まれない状況にも対応できる 関連研究：CapDet[4]
7. AI 7 ▪ CapDetと同じく領域に対するキャプションを生成することができるが、 階層的に領域を説明するキャプションを生成するように学習する ▪ それによって、画像内に未知の物体があったとしても説明の粒度を下げて 検出できるようになる ▪ データセットはInstructBLIP[6]を用いて作成 ▪ 検出器の学習 -> キャプション生成器の学習 -> 全体のfinetuningの多段階で学習 関連研究：DetCLIPv3[5]
8. AI 8 ▪ GroundingベースのOpen-Vocabularyなアプローチ ▪ GLIPなど ▪ ユーザがカテゴリを与えなくてもキャプションを生成することにより 検出できる範囲を増やすOpen-Endedアプローチ ▪ CapDet・DetCLIPv3など ▪ LLMDetは後者のアプローチと同じくキャプション生成タスクを同時 に学習するが、画像レベルの長いキャプションを生成するように 学習することでさらにOVOD性能を向上させる ▪ ただしキャプション生成のベンチマークについては論文では焦点を当てていない 関連研究とLLMDetの位置付け
9. AI 9 02 LLMDetのアーキテクチャと学習戦略
10. AI 10 ▪ Grounding-DINO[7]をベースとして、LLMも同時に追加学習させることで 画像単位の長いキャプションからよりリッチな情報を Detectorに伝搬することができる ▪ モデルを学習するために、画像単位のキャプションとオブジェクト単位のラ ベルの両方を備えたデータセットGroundingCap-1Mを収集 LLMDetの概観
11. AI 11 ▪ Detector ▪ 学習済みMM-Grounding-DINO[8]を使用 ▪ オブジェクトクエリと領域特徴を生成し、これを後段のLLMに供給する ▪ Projector ▪ Detectorの視覚特徴量をLLMの埋め込み空間へとマッピングする ▪ LLM ▪ LLaVA-OneVision-0.5b-ov[9]から初期化されたLLMを使用 ▪ Projectorを介して視覚特徴を受け取り、画像全体に関する詳細なキャプション と、個々の物体領域に関する短いフレーズの両方を生成する LLMDetのアーキテクチャ
12. AI 12 ▪ 第1ステップとして、Detectorから得られる特徴をLLMの 入力埋め込み空間にマッピングするためProjectorのみを学習させる ▪ Detectorからの視覚特徴をProjectorを通してLLMに入力し、 画像レベルのキャプションを生成させるように学習する LLMDetの学習戦略: Alignment Training
13. AI 13 ▪ 第2ステップとしてDetector(Backboneは固定)・Projectorを finetune、LLMをloraで学習する ▪ 従来のGLIPなどで用いるGrounding Lossに加え、 領域/画像単位のキャプション生成を行うタスクを学習する LLMDetの学習戦略: Joint Fine-tuning backprop
14. AI ▪ モデルアーキテクチャはMM-Grounding-DINOと同一なので推論も同 じように、プロンプトのembeddingとの類似度を計算する 推論時の挙動 Match text embedding with visual embedding Category prediction Bounding boxes
15. AI 15 ▪ GroundingCap-1Mの各サンプルは以下の要素で構成される ▪ Image ▪ Short Grounding Text ▪ Short Grounding Textに紐づいたBounding Boxes ▪ 画像全体に対するDetailed Caption ▪ モデル性能の低下を防ぐために ▪ キャプションにはできるだけ多くの詳細を含める ▪ キャプションには画像に関する事実の詳細のみを含める GroundingCap-1Mの構築: データセットのコンセプト
16. AI 16 ▪ COCO・V3Det[10]・GoldG・LCS[11]などBounding Boxesまたは キャプションを含む既存のデータセットから収集 ▪ V3Det・GoldGに関しては ▪ Short Grounding TextはBBoxのラベルを連結して作成 ▪ 詳細なキャプションはLLMを活用して生成 ▪ 画像-キャプションのデータセット（LCS）に関しては キャプションから名詞句を抽出し、MM-Grounding-DINOを用いて 各フレーズのBBoxを生成する GroundingCap-1Mの構築: データの収集方法
17. AI 17 ▪ 図中の”Grounding Text”はGoldG元々のキャプション ▪ Qwen2-VL-72b[12]を用いてオブジェクトの種類、テクスチャ、色、 オブジェクトの部位、オブジェクトの動作、正確な位置の情報が 豊富に含まれるようにキャプション生成を行う GroundingCap-1Mの構築: 画像レベルのキャプション生成
18. AI 18 ▪ データセットからノイズをなるべく除去するように後処理を行う ▪ 推測的な単語を含むサブセンテンスを削除 ▪ “indicating”, “suggesting”, “possibly”など ▪ 意味のないキャプションを除外 ▪ “In the image, a man a man a man...(repeating)”, “Sorry, I can not answer the question.” など ▪ 初回生成時のキャプションが100トークン未満の画像については キャプションを再生成 GroundingCap-1Mの構築: データクリーニング
19. AI 19 03 性能評価
20. AI 20 ▪ 構築したGroundingCap-1Mの画像の大半はMM-Grounding-DINOの事前学習に用いた ものがほとんど ▪ 画像数が増えたことのゲインではなく学習方法を変えたことに よるゲインということが言いたい？ ▪ LVISデータセットを用いた ゼロショット分類のベンチマーク では必要な学習データ量が少ない にもかかわらず良好な性能を示す ▪ DetCLIPv3もかなり良好な パフォーマンスだが、データセット の差分が大きいという主張 ゼロショット分類のパフォーマンス
21. AI 21 ▪ 左の表では、Grounding Lossでの学習・領域/画像単位のキャプション生成 での学習がLVISデータセットを用いたにゼロショット分類それぞれ性能に どれだけ貢献するか示す ▪ 画像レベルの生成と領域レベルの生成の両方を組み合わせるのが効果的 ▪ 右の表では、学習に使用するLLMのサイズはDetectorの性能に そこまで関与しないことがわかる Ablation Study: 学習コンポーネント
22. AI 22 ▪ 学習に用いるキャプション品質のablation study ▪ Qwen2VL-72bによって生成されたキャプションをV3Det、GoldG、 およびLCSの一部のキャプションを含むLLaVA-Onevision-7Bの キャプションに置き換えると0.9% AP悪化 ▪ COCOキャプション、LCSのキャプション、 およびGoldGの短いグラウンディングテキストに置き換えると 0.4% AP 悪化 ▪ キャプションの品質がモデル性能に大きく影響することがわかる Ablation Study: キャプション品質
23. AI 23 ▪ GroundingCap-1Mのものと比較すると比較的粒度が粗い ▪ 領域レベルの簡単なキャプションの方が 画像レベルの詳細なキャプションよりもはるかに多いため 前者に影響されてしまっていると考えられる LLMDetと一緒に学習したLLMから生成されたキャプション
24. AI 24 ▪ 領域レベルの粗いGroundingキャプションと 画像レベルの詳細なキャプションを同時に生成するように LLMを共同学習させることで、より強力な Open-Vocabulary Object Detectionを実現した ▪ データセット構築部分で、いかに高品質なキャプションを用意するか が肝になっている？ ▪ デモ：https://huggingface.co/spaces/mrdbourke/LLMDet-demo まとめ
25. AI 25 [1]: https://arxiv.org/abs/2112.03857 [2]: https://arxiv.org/abs/2206.05836 [3]: https://arxiv.org/abs/2103.00020 [4]: https://arxiv.org/abs/2303.02489 [5]: https://arxiv.org/abs/2404.09216 [6]: https://arxiv.org/abs/2305.06500 [7]: https://arxiv.org/abs/2303.05499 [8]: https://arxiv.org/abs/2401.02361 [9]: https://huggingface.co/lmms-lab/llava-onevision-qwen2-0.5b-ov 参考文献 (1/2)
26. AI 26 [10]: https://arxiv.org/abs/2304.03752 [11]: https://arxiv.org/abs/2304.08485 [12]: https://huggingface.co/Qwen/Qwen2-VL-72B 参考文献 (1/2)