第59回名古屋CV・PRMU勉強会

ICCV2023論文読み

Transcript

1. 名古屋CV・PRML勉強会 名城大学 理工学部電気電子工学科 4年 光岡日菜子 2023/11/20 1
2. 自己紹介 • 名前：光岡日菜子 - 名城大学 理工学部電気電子工学科 4年 - 堀田研究室所属 • 趣味：車, カラオケ, イラスト制作 • 研究：スタイル変換, セグメンテーション, 画像分類 2023/11/20 2
3. • ICCV2023論文紹介 初学者なので間違い等があればご指摘・訂正ください ① Diffusion-based Image Translation with Label Guidance for Domain Adaptive Semantic Segmentation ② Dynamic Snake Convolution based on Topological Geometric Constraints for Tubular Structure Segmentation 今日話すこと 2023/11/20 3
4. Diffusion-based Image Translation with Label Guidance for Domain Adaptive Semantic Segmentation Duo Peng, Ping Hu, Qiuhong Ke, Jun Liu, Singapore University of Technology and Design, Boston University, Monash University 2023/11/20 4
5. • Domain adaptive semantic segmentation(DASS) • Diffusion ModelをSource domainのラベル情報でガイド • Sourceラベルと意味的に一貫したTarget風画像を Diffusionによるスタイル変換で生成→モデルの学習に利用 • DASSにDiffusionを利用した初の研究 どんな論文？ 2023/11/20 5
6. • Domain adaptive semantic segmentation(DASS) • ラベル付きのSource domain+ラベル無しのTarget domainで学習 • Target domainでのpixel levelの予測精度向上が目的 • Source-Target間のドメインギャップを埋めたい タスク 2023/11/20 6
7. ①ドメイン識別器を使用した敵対的学習 Source-Target間の潜在空間での特徴分布を近づける →敵対的学習は学習難, 特徴抽出器と識別器のバランス難 ②Self-training Source domainで学習したモデルでTarget domainを予測 信頼度の高い結果を疑似ラベルとして使用しfine-tuning →誤った疑似レベルを選択する可能性 特にドメインギャップが大きい場合正しさを保証しにくい 既存手法及びその問題点 2023/11/20 7
8. ③画像のスタイル変換 GANによってSource→Target domainに画像を変換し モデルの学習に利用する →変換の過程で意味的な詳細が失われやすい 既存手法及びその問題点 2023/11/20 8 Sourceラベルの 情報が消える
9. ①スタイル変換をGAN→Diffusionで代替 ②Sourceラベルの情報を利用し変換前後で意味的一貫性を保つ ③ドメインギャップに対応する学習戦略 提案手法 2023/11/20 9 Sourceラベルの 情報が保たれる
10. • Diffusion process：ノイズ付加 • Reverse process：ノイズ除去 • Target domainのみで事前学習しノイズ除去の過程で Target domainに近い画像が生成されるように ①スタイル変換をDiffusionで代替 2023/11/20 10 それぞれn-step (n=1,2,…,N)
11. ②Sourceラベルの情報を利用 2023/11/20 11 • Semantic Gradient Guidance(SGG) • Local Class-regional Guidance • Global Scene-harmonious Guidance
12. • Local Class-regional Guidance(LCG) ②Sourceラベルの情報を利用 2023/11/20 12 各クラス領域について CELossをとる ↓ 勾配の値でDiffusion の出力を調整
13. • Global Scene-harmonious Guidance(GSG) ②Sourceラベルの情報を利用 2023/11/20 13 画像全体について CELossをとる ↓ 勾配の値でDiffusion の出力を調整
14. • Progressive Translation Learning(PTL) • SGGには学習済みSegmentationモデルを使用する →Source domainだけで学習したモデルを使用し続けるのは無理 (nが大きくなると徐々にドメインギャップが大きくなるため) →ギャップの少ない隣接domainで学習されたモデルは機能する • Source domainで事前学習したSegmentationモデル(g)を スタイル変換した画像を使用しfine-tuning • n=Nで最終的にTarget domainにtuningされる →そのまま推論に利用 ③ドメインギャップに対応する学習戦略 2023/11/20 14
15. ① Target domainのみでDiffusionを事前学習→凍結 Source domainのみでSegmentationモデルgを事前学習 n=1に設定 ② Source domain画像をDiffusionでスタイル変換 gを使用しSGGで意味的一貫性を保持 ③ ②で生成した画像でgをfine-tuning ④ n=n+1に設定し②に戻る 全体の流れ 2023/11/20 15 nが大きくなるにつれ Target domainに 近づいていく
16. 実験結果 16 2023/11/20
17. 実験結果 2023/11/20 17
18. 実験結果 2023/11/20 18
19. Dynamic Snake Convolution based on Topological Geometric Constraints for Tubular Structure Segmentation Yaolei Qi, Yuting He, Xiaoming Qi, Yuan Zhang, and Guanyu Yang, Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, Nanjing 210096, China Jiangsu Province Joint International Research Laboratory of Medical Information Processing, Southeast University, Nanjing, China Centre de Recherche en Information Biom´edicale Sino-Franc，ais (CRIBs), Strasbourg, France 2023/11/20 19
20. • 血管や道路などの細長い管状構造のSegmentation • 管状構造の細長く曲がりくねった局所的特徴に 適応的に焦点を当てる新しい畳み込み手法を提案 • Persistent Homologyを利用した損失関数等の提案 どんな論文？ 2023/11/20 20
21. • 管状構造のSegmentation • 対象の形状が細い＋複雑で困難 • 曲がりくねる構造が断片化しやすい →構造の連続性を保ちたい タスク 2023/11/20 21
22. ①ネットワークベースの手法 dilation, deformable conv等を用いる →管状構造は細く画素数も少ないため受容野が対象から 外れやすく対象物の構造に関する知識を失いやすい ②特徴ベースの手法 モデルに追加の特徴表現を補完し構造の理解を高める →余分な特徴表現は計算負荷になる他 モデルに悪影響 既存手法及びその問題点 2023/11/20 22
23. ③損失関数ベースの手法 Centerline Dice 管状構造をスケルトン化して中心線の精度を評価する Deep Distance Transform 距離変換を用いたスケルトン化を使用 →スケルトン化の過程で生じる誤差が 管状状構造のSegmentationに悪影響を及ぼす可能性 既存手法及びその問題点 2023/11/20 23
24. ①新たな畳み込み手法 ②複数視点からの特徴抽出＋融合戦略 ③Persistent Homologyに基づく損失関数 提案手法 2023/11/20 24
25. • Dynamic Snake Convolution(DSConv) • 管状構造に沿って変形するカーネル ①新たな畳み込み手法 2023/11/20 25
26. • Multi-view Feature Fusion Strategy • DSConvに基づいて複数のカーネルテンプレートを生成 →重要な特徴を要約 ②複数視点からの特徴抽出＋融合戦略 2023/11/20 26
27. • Topological Continuity Constraint Loss(TCLoss) • Persistent Homologyを利用→破断の存在の手掛かりになる ③Persistent Homologyに基づく損失関数 2023/11/20 27 正確性のため 外観だけでなく トポロジカルな特徴 を考慮する
28. 実験結果 2023/11/20 28
29. 実験結果 2023/11/20 29
30. 実験結果 2023/11/20 30