Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[Journal club] Parallel Vertex Diffusion for Un...
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
March 07, 2024
Technology
0
510
[Journal club] Parallel Vertex Diffusion for Unified Visual Grounding
Semantic Machine Intelligence Lab., Keio Univ.
PRO
March 07, 2024
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[RSJ25] Feasible RAG: Hierarchical Multimodal Retrieval with Feasibility-Aware Embodied Memory for Mobile Manipulation
keio_smilab
PRO
0
130
[RSJ25] LILAC: Language‑Conditioned Object‑Centric Optical Flow for Open‑Loop Trajectory Generation
keio_smilab
PRO
0
76
[RSJ25] Multilingual Scene Text-Aware Multimodal Retrieval for Everyday Objects Based on Deep State Space Models
keio_smilab
PRO
0
82
[RSJ25] Everyday Object Manipulation Based on Scene Text-Aware Multimodal Retrieval
keio_smilab
PRO
1
62
[RSJ25] Enhancing VLA Performance in Understanding and Executing Free-form Instructions via Visual Prompt-based Paraphrasing
keio_smilab
PRO
0
110
[Journal club] Generalized Contrastive Learning for Multi-Modal Retrieval and Ranking
keio_smilab
PRO
0
58
[Journal club] Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance
keio_smilab
PRO
0
55
[Journal club] Influence-Balanced Loss for Imbalanced Visual Classification
keio_smilab
PRO
0
18
[Journal club] Learning to Rematch Mismatched Pairs for Robust Cross-Modal Retrieval
keio_smilab
PRO
0
34
Other Decks in Technology
See All in Technology
実践!カスタムインストラクション&スラッシュコマンド
puku0x
0
480
AIエージェントで90秒の広告動画を制作!台本・音声・映像・編集をつなぐAWS最新アーキテクチャの実践
nasuvitz
3
320
DroidKaigi 2025 Androidエンジニアとしてのキャリア
mhidaka
2
380
LLM時代のパフォーマンスチューニング:MongoDB運用で試したコンテキスト活用の工夫
ishikawa_pro
0
170
新規プロダクトでプロトタイプから正式リリースまでNext.jsで開発したリアル
kawanoriku0
1
160
テストを軸にした生き残り術
kworkdev
PRO
0
210
初めてAWSを使うときのセキュリティ覚書〜初心者支部編〜
cmusudakeisuke
1
270
要件定義・デザインフェーズでもAIを活用して、コミュニケーションの密度を高める
kazukihayase
0
120
💡Ruby 川辺で灯すPicoRubyからの光
bash0c7
0
120
OCI Oracle Database Services新機能アップデート(2025/06-2025/08)
oracle4engineer
PRO
0
170
下手な強制、ダメ!絶対! 「ガードレール」を「檻」にさせない"ガバナンス"の取り方とは?
tsukaman
2
450
共有と分離 - Compose Multiplatform "本番導入" の設計指針
error96num
2
1k
Featured
See All Featured
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
920
Practical Orchestrator
shlominoach
190
11k
Agile that works and the tools we love
rasmusluckow
330
21k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Making Projects Easy
brettharned
117
6.4k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
13k
Bash Introduction
62gerente
615
210k
Imperfection Machines: The Place of Print at Facebook
scottboms
268
13k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Transcript
Parallel Vertex Diffusion for Unified Visual Grounding 慶應義塾大学 杉浦孔明研究室 畑中駿平
Cheng, Z. et al. "Parallel Vertex Diffusion for Unified Visual Grounding." AAAI, 2024. Zesen Cheng1 Kehan Li1 Peng Jin1 Xiangyang Ji3 Li Yuan1,2 Chang Liu3† Jie Chen1,2† 1 School of Electronic and Computer Engineering, Peking University 2 Peng Cheng Laboratoy 3 Tsinghua Universiy † Corresponding author AAAI2024
▸ Visual grounding:与えられた参照表現を画像に接地させること ▹ 画像とテキスト間の細かい対応を確立することが可能 [Li+, CVPR22] ▸ Visual groundingは2つのサブタスクに分類
▹ Referring Expression Comprehension (REC) [Hu+, CVPR16]:bboxで予測 ▹ Referring Expression Segmentation (RES) [Hu+, ECCV16]:マスクで予測 2 背景:Visual groundingはvision-language分野のタスクで 重要なタスクである [Hu+, CVPR16] [Hu+, ECCV16]
▸ RECとRESには高い共通点とそれぞれの利点がある ▹ → 2つのタスクを統合することは自然かつ有益 ▸ RECとRESを統合したモデル ▹ E.g. Mask-RCNN
[He+, ICCV17], MAttNet [Yu+, CVPR18], MCN [Luo+, CVPR20], [Li+, NeurIPS21], SeqTR [Zhu+, ECCV22] 3 関連研究: RECとRESを統合したモデルが注目 MCN [Luo+, CVPR20], SeqTR [Zhu+, ECCV22]
▸ SeqTR [Zhu+, ECCV22]:自己回帰モデル (Pix2Seq [Chen+, ICLR21]) によってRECとRESを同時に自己回帰頂点生成問題としてモデル化 ▸ SeqTRの問題点
▹ 頂点列の上流の精度が十分でない場合,誤差が増大する ▹ 高次元になると生成のための反復回数が増加し推論に時間がかかる 4 既存手法の問題点:自己回帰モデルの逐次頂点生成は性能 の上限に制限がある テキスト:“center baseman”
▸ SeqTR [Zhu+, ECCV22]:自己回帰モデル (Pix2Seq [Chen+, ICLR21]) によってRECとRESを同時に自己回帰頂点生成問題としてモデル化 ▸ SeqTRの問題点
▹ 頂点列の上流の精度が十分でない場合,誤差が増大する ▹ 高次元になると生成のための反復回数が増加し推論に時間がかかる 5 既存手法の問題点:自己回帰モデルの逐次頂点生成は性能 の上限に制限がある テキスト:“center baseman” 最初の頂点が右側の野球選手に予測 するとその後のリカバリーが困難
新規性 ▸ Parallel Vertex Diffusion:拡散モデルを用いた並列頂点生成 ▸ Center Anchor Mechanism,Geometry Constraint:収束性を向上
6 提案手法:Parallel Vertex Diffusion
▸ モデルの入力:画像とテキストのペア ▹ ℎ:画像の高さ,𝑤:画像の幅,𝑛:単語数 ▸ Encoder Image ▹ 出力: ▹
Darknet-53 [Redmon+, 18],ResNet [He+, CVPR16] ,Swin Transformer [Liu+, ICCV21] をbackboneとして適用可能 ▸ Encoder Text:BERT [Devlin+, NAACL-HLT19] を適用 ▹ 出力: 7 Cross-modal Feature Extraction:特徴量抽出
▸ 𝑖層目の画像特徴量 と をSeqTRとMSDeformAttn [Zhu+, ICLR21] をベースに融合し を得る ▸ ▹
MLP:全結合層 ▹ 𝜎:活性化関数 ▹ ⨀:アダマール積 8 Cross-modal Feature Extraction:特徴量抽出 SeqTRとおなじ形
▸ CAMの動機:中心点を基準に正規化することで座標回帰の難易度が 下がることが期待される [Tian+, ICCV19] ▸ Center Point Prediction:物体の中央点をヒートマップ で予測
▹ : 正解の中心点の座標(正規化済み) ▹ 𝜎:画像サイズに適した標準偏差 9 Center Anchor Mechanism (CAM) :物体の中心点を予測
▸ CAMの動機:中心点を基準に正規化することで座標回帰の難易度が 下がることが期待される [Tian+, ICCV19] ▸ 正解 および予測されたヒートマップ に対してfocal loss
[Lin+, ICCV17] を用いて学習 10 Center Anchor Mechanism (CAM) :物体の中心点を予測
▸ 拡散モデルは効果的なスケーラブルなモデルとして活用 ▹ E.g. 画像生成タスク [Ramesh+, 22],識別タスク [Chen+, ICCV23] ▹
☺ ノイズの次元を変更するだけで,高次元設定の拡張可能 ▸ 拡散モデルを用いて頂点生成をより高次元かつ並列に行う Parallel Vertex Diffusionの提案 ▹ ※ Pix2Seq-D [Chen+, ICCV23] に基づいて構築(以降Denoiserと称す) 11 Parallel Vertex Diffusion:拡散モデルを用いて頂点を洗練
▸ Step1:ノイズ状態𝑥𝑡 を生成 ▹ 𝜖:標準正規分布 ▹ 𝑡:一様分布 ▹ :単調減少関数 ▹
𝑥0 :初期状態 12 Parallel Vertex Diffusion:拡散モデルを用いて頂点を洗練
▸ Step2:𝑥𝑡 を頂点ベクトル𝑉𝑡 に変換 ▸ Denoiserの頂点の正規化座標が [0, 1] のため[-1, 1]→[0,
1]にスケールダウン ▸ 𝑉𝑡 の次元数は(4 + 2𝑁)である ▹ 𝑁:ポリゴンの頂点数 13 Parallel Vertex Diffusion:拡散モデルを用いて頂点を洗練
▸ Step3:𝑉𝑡 を2次元座標埋め込みにより 𝑄𝑡 に変換 [Meng+, ICCV21] 14 Parallel Vertex
Diffusion:拡散モデルを用いて頂点を洗練
▸ Step4:𝑄𝑡 とクロスモーダル特徴量𝐹𝑐 をtransformer decoderに入力する ▹ 15 Parallel Vertex Diffusion:拡散モデルを用いて頂点を洗練
▸ Step5:transformer decoderの出力に 時間埋め込み特徴量𝜀𝑡 によって正規化 され,その後洗練された頂点ベクトル 𝑉𝑡−1 に射影される 16 Parallel
Vertex Diffusion:拡散モデルを用いて頂点を洗練
▸ Step6:次のノイズ状態𝑥𝑡−1 を取得 するために,DDIMステップ [Song+, ICLR21] によって処理される 17 Parallel Vertex
Diffusion:拡散モデルを用いて頂点を洗練
▸ Point Constraintの損失関数 [Chen+, ICLR23] ▹ :パラメータ化されたDenoiser ▹ 各ノイズ状態𝑥𝑡 は初期状態𝑥0
に近づくこと が求められる 18 Parallel Vertex Diffusion:拡散モデルを用いて頂点を洗練
▸ 頂点生成の主な最適化関数: Point Constraint ▹ ☺ 予測された各頂点をGTに近づけるように修正 ▹ 2つのポリゴン集合間の形状の違いを考慮できていない
▸ Geometry Constraintの導入 ▹ 今回はAngle Summation algorithm [Sutherland+, ACM74] を適用 19 Geometry Constraint:ポリゴン全体の形状を考慮
▸ Angle Summation algorithmによるポリゴン全体の形状を計算 ▸ ある点Pとすべてのポリゴンの頂点との間の角度の和について ▹ (a)360°の場合:点Pはポリゴンの内部に存在 ▹ (b)360°未満の場合:点Pはポリゴンの外部に存在
▸ この操作をすべての点で計算して角度和マップ を得る 20 Geometry Constraint:ポリゴン全体の形状を考慮
▸ Angle Summation Loss (ASL): Angle Summation algorithmを 各時刻𝑡において計算してGTとの差を計算する ▹
:時刻𝑡における角度和マップ 21 Geometry Constraint:ポリゴン全体の形状を考慮
▸ REC・RESタスクの標準データセット ▹ RefCOCO [Yu+, ECCV16],RefCOCO+ [Yu+, ECCV16], RefCOCOg [Mao+,
CVPR16] ▸ 評価尺度 ▹ REC:
[email protected]
▹ RES:overall IoU ▸ 学習設定等 ▹ GPU:4つのNVIDIA V100 ▹ デフォルトの頂点数𝑁 = 36 ▹ バッチサイズ 64,エポック数 100 22 実験設定:3種類の標準データセットで実験
▸ ☺ RECタスクにおいて,特にDarknet-53よりもSwin-baseのほうが より性能が向上し,すべてのデータセットでSOTA 23 定量的結果:REC・RESと主にほとんどのデータセットで SOTAを達成
▸ ☺ RESタスクにおいてもRECタスク同様な結果が得られた ▹ ほとんどすべてのデータセットでSOTAを達成 24 定量的結果:REC・RESと主にほとんどのデータセットで SOTAを達成
▸ 特に,(b)や(d)はSeqTRよりもオクルージョンされた物体の輪郭を とらえることが可能 ▸ ※ 以降,SVG(sequential vertex generation)はSeqTRを指す 25 定性的結果:SeqTRと比較してより洗練されたマスクを生成
▸ Center anchor mechanism(CAM)およびangle summation loss (ASL)をそれぞれ削除 ▹ どちらも削除した場合はvanilla Parallel
Vertex Diffusionとなる ▸ ☺ CAMおよびASLモジュールそれぞれが有効 26 Ablation study:提案モジュールの有効性を確認
27 実験結果:PVDはSeqTRよりも頂点数を増やしても性能向上 し,推論速度も2-5倍ほど速い
Strengths ▸ 要所で図や新規性のmotivationが明記されていて理解しやすい ▸ 拡散モデルの特徴を活かして,スケーラビリティおよび推論速度の向上を実現 ▸ 実験設定が適切かつ豊富で提案手法の有効性を確認している Weaknesses ▸ SeqTRよりも頂点数の増やしているが(最大で2倍の36点),オクルージョンには依然として対応
できていない ▸ 表のキャプションが下側にある・typoが随所見られた(最新版は修正されているかもしれない) Others ▸ SeqTRによる後続研究が活発的である(e.g. PolyFormer [Liu+, CVPR23],Partial-RES [Qu+, CVPR23],PORTER [九曜+, NLP24]) ▸ ベースライン手法も含めて2020年以降のREC/RESモデルのbackboneにDarknet-53 [Redmon+, 18] を適用している手法が多い印象 28 所感
背景 ▸ 自己回帰としての逐次頂点生成モデルは性能の上限が制限される 提案 ▸ 拡散モデルを用いて並列頂点生成モデルPVDの提案 結果 ▸ 性能に加えて,推論速度や複雑さの観点からでも既存手法を上回る 29
まとめ