CVPR2024論文紹介：Segmentation

1. 名古屋CV・PRML勉強会 名城大学 堀田研究室 M1 光岡日菜子 2024/7/20 1
2. 自己紹介 名前：光岡日菜子 - 名城大学 理工学研究科 電気電子工学専攻 M1 - 堀田研究室所属 趣味：MT車/イラスト制作/SNS運営 研究：スタイル変換/Segmentation 2024/7/20 2
3. • CVPR2024論文紹介(segmentation系) ① Open-Set Domain Adaptation for Semantic Segmentation ② Frequency-Adaptive Dilated Convolution for Semantic Segmentation 今日話すこと 2024/7/20 3
4. Open-Set Domain Adaptation for Semantic Segmentation Seun-An Choe, Ah-Hyung Shin, Keon-Hee Park, Jinwoo Choi, Gyeong-Moon Park, Kyung Hee University, Yongin, Republic of Korea 2024/7/20 4
5. • 新たなシナリオ：OSDA-SSを提案 • Targetドメインに未知のクラスが出現する場合を想定 • 未知クラスに対応する手法：BUSを提案 どんな論文？ 2024/7/20 5 白色： Targetドメイ ンにのみ含ま れるクラス
6. Open-Set Domain Adaptation for Semantic Segmentation ・Unsupervised Domain Adaptationの一種 ラベル有Sourceで学習→ラベル無Targetで推論 ・Targetドメインに未知のクラスが出現する OSDA-SS 2024/7/20 6 Source Target(白：未知クラス) 対応できない…
7. 境界付近の確信度の低さ ・Targetのみに出現するクラスではより顕著 未知クラスの形状を正確に予測できない ・サイズに関係なく同じ物体では一貫した予測をしてほしい ・サイズでなく形状に注目させる機構が必要 従来法をOSDA-SSに適用した際の問題点 2024/7/20 7
8. BUS(Boundary and Unknown Shape-Aware) ①学習段階から未知クラス用のHeadを用意 ②DECON Loss ③OpenReMix 提案手法 2024/7/20 8
9. head-expansion baseline ①分類ヘッドを拡張しSourceドメインで学習 ℒ𝑠𝑒𝑔 𝑠 = − σ 𝑗=1 𝐻∙𝑊 σ𝑐=1 𝐶+1 𝑦𝑠 (𝑗,𝑐) log 𝑓𝜃 𝑥𝑠 (𝑗,𝑐) ②Targetドメイン用の疑似ラベル生成 ො 𝑦 𝑡𝑝 (𝑗) = ൝ 𝑐′, if (max 𝑐′ 𝑔𝜙 𝑥𝑡 (𝑗,𝑐) ≥ 𝜏𝑝 ) 𝐶 + 1, othetwise 𝑐′：既知クラス 𝜏𝑝 ：信頼度閾値 学習の流れ 2024/7/20 9 １
10. ③疑似ラベルの信頼度を用いたTargetドメインによる学習 ℒ𝑠𝑒𝑔 𝑡 = − σ 𝑗=1 𝐻∙𝑊 σ𝑐=1 𝐶+1 𝑞𝑡 ො 𝑦 𝑡𝑝 (𝑗,𝑐) log 𝑓𝜃 𝑥𝑡 (𝑗,𝑐) 𝑞𝑡 ：疑似ラベルの信頼度 ④ 𝑔𝜙 をEMAにより更新 𝜙𝑡+1 = 𝛼𝜙𝑡 + 1 − 𝛼 𝜃𝑡 疑似ラベルの品質を担保 学習の流れ 2024/7/20 10 １
11. 未知クラスの境界識別に特化 ①疑似ラベルから未知クラスのMaskを作る 𝑀𝑢 (𝑗) = ൝ 1, if ො 𝑦 𝑡𝑝 (𝑗) = 𝐶 + 1 0, othetwise ②膨張/侵食加工 𝑀𝑁 = ℎ𝑑𝑖𝑙𝑎𝑡𝑖𝑜𝑛 𝑀𝑢 ′ − 𝑀𝑢 ′ 𝑀𝑃 = ℎ𝑒𝑟𝑜𝑠𝑖𝑜𝑛 𝑀𝑢 ′ 𝑀𝑢 ′ = 𝑟(𝑀𝑢 )：random crop Dilation-Erosion-based Contrastive Loss(DECON) 2024/7/20 11 2
12. ③Contrastive Loss 𝑧𝑖 = avg 𝑀𝑃 ⊙ 𝑓𝜃 𝑥𝑡 𝑧𝑗 = 𝑀𝑃 ⊙ 𝑓𝜃 𝑥𝑡 𝑧𝑘 = 𝑀𝑁 ⊙ 𝑓𝜃 𝑥𝑡 ℒ𝐷𝐸𝐶𝑂𝑁 = − log[σ 𝑝=1 𝑁𝑝 exp(𝑧𝑖 ∙ 𝑧 𝑗 𝑝/𝜏)/ σ 𝑛=1 𝑁𝑛 exp(𝑧𝑖 ∙ 𝑧𝑘 𝑛/𝜏)] 既知クラス/未知クラスの境界の明確化に寄与 Dilation-Erosion-based Contrastive Loss(DECON) 2024/7/20 12 2
13. サイズ不変の特徴学習 ①Resizing Object Sourceドメインからランダムに物体クラスを 選択→resizeしてTargetドメインに貼る ②Attaching Private Targetドメインから未知クラスと予測された 部分をSourceドメインに貼る OpenReMix 2024/7/20 13 ３
14. 事前準備 2024/7/20 14 Targetドメインにのみ存在するクラスの作成 ・「物体」クラスからいくつか選択しSourceドメインから削除 ・削除したクラスはignoreし学習しないようにする 評価指標：H-Score ・既知クラスと未知クラスのIoUの調和平均
15. 実験結果 2024/7/20 15
16. 実験結果 2024/7/20 16
17. 実験結果 2024/7/20 17
18. 実験結果 2024/7/20 18
19. Frequency-Adaptive Dilated Convolution for Semantic Segmentation Linwei Chen, Lin Gu, Ying Fu, Beijing Institute of Technology, RIKEN, The University of Tokyo 2024/7/20 19
20. • FADC(Frequency-Adaptive Dilated Convolution)の提案 • Dilated Convの膨張率を動的に調整 • PIDNet-Mに導入：81.0mIoU＋37.7fps(SOTA) • Dilated Attention/Deformable Convにも適用可能 どんな論文？ 2024/7/20 20 Patch1：高周波情報 →膨張率小 Patch2：低周波情報 →膨張率大
21. Dilated Convolution ・畳み込み＋膨張率(固定値) 計算コストを抑えつつ受容野を拡大 問題点 ・膨張率を1からDに増加させると 帯域幅が1/Dに ・高周波成分の処理能力が制限 従来法及びその問題点 2024/7/20 21
22. FADC(Frequency-Adaptive Dilated Convolution) ①AdaDR ②AdaKern ③FreqSelect スペクトル解析の観点から従来法を強化 膨張率を動的に調整 提案手法 2024/7/20 22 3Moduleで構成
23. 空間的に膨張率を調整 ・領域毎の周波数成分に基づき膨張率を調整 ①特徴マップを離散フーリエ変換(DFT) 𝑿𝐹 𝑢, 𝑣 = 1 𝐻𝑊 ෍ ℎ=0 𝐻−1 ෍ 𝑤=0 𝑊−1 𝑿 ℎ, 𝑤 𝑒−2𝜋𝑗(𝑢ℎ+𝑣𝑤) 高周波成分が多い領域と少ない領域を識別 膨張率の最適化に使用 Adaptive Dilation Rate (AdaDR) 2024/7/20 23 １
24. ②画素毎に異なる膨張率を適用 𝒀 𝑝 = σ 𝑖=1 𝐾×𝐾 𝑾𝑖 𝑿(𝑝 + Δ𝑝𝑖 × ෡ 𝑫(𝑝)) 高周波多：膨張率小 高周波少：膨張率大 ・最適化関数 𝜃 = max 𝜃 ෍ 𝑝∈𝐻𝑃− ෡ 𝑫(𝑝) − ෍ 𝑝∈𝐻𝑃+ ෡ 𝑫(𝑝) 𝐇𝐏 𝑝 ：σ ℋ෡ 𝑫(𝒑) + 𝑿 𝐹 𝑝,𝑠 𝑢, 𝑣 2 Adaptive Dilation Rate (AdaDR) 2024/7/20 24 １
25. Adaptive Kernel (AdaKern) 2024/7/20 25 畳み込み層の重みを操作 ・重みを動的に特徴マップの周波数成分に適応させる ①畳み込み層の重みを高周波/低周波成分に分割 𝑾 = 𝑾𝑙 + 𝑾ℎ 2
26. Adaptive Kernel (AdaKern) 2024/7/20 26 ②分解された重みに動的な重みを乗算 𝑾′ = 𝜆𝑙 𝑾𝑙 + 𝜆ℎ 𝑾ℎ 高周波成分と低周波成分をバランスよく捕捉 2
27. Frequency Selection (FreqSelect) 2024/7/20 27 入力特徴量の高周波/低周波成分のバランス調整 ①異なる周波数帯に分解 𝑿𝑏 = ℱ−1 ℳ𝑏 𝑿𝐹 ℳ𝑏 ：BPF(閾値毎にB+1分割) ②周波数帯域毎に重みづけ ෡ 𝑿 𝑖, 𝑗 = σ𝑏=0 𝐵−1 𝑨𝑏 𝑖, 𝑗 ∙ 𝑿𝑏 (𝑖, 𝑗) 3
28. 実験結果 28 2024/7/20
29. 実験結果 29 2024/7/20
30. 実験結果 30 2024/7/20
31. 実験結果 31 2024/7/20