ECCV2026現地参加報告：論文紹介詳細

1. InSeg: Interactive Refinement via Intent Propagation for Point Cloud Semantic Segmentation M2 佐々木皇南 1
2. Contents ・Introduction ・Related Work ・Method ・Experiments ・Conclusion 2
3. Introduction 3
4. Introduction 点群Segmentationの誤分類をユーザのクリックで修正するタスク 従来法では局所的な修正になりがち 4
5. Contribution クリックを単一点の教師信号ではなく、ユーザの修正したい領域を示す意味的な信号 として扱うことで、効率的にSegmentation精度を向上 5
6. Related Work 6
7. NPISeg3D クリックから物体の潜在表現を推定し、その表現でクリック特徴を補強して Instance Maskを生成する確率的Interactive Segmentation手法 7
8. DBSCAN 点が密集してるところは同じクラスタ、離れてるところは違うクラスタに分類 【クラスタの種類】 ・Core Point : epsの距離内にminPts個以上の近傍点がある点 ・Border Point : minPts個以下の近傍点で、Core Pointが近くにある点 ・Noise Point : 上記2種のPointに属さない孤立した点 8
9. Method 9
10. Overview ・ユーザクリックを意味的なMaskで拡張（仮想的クリックの生成） ・過去の修正上書き防止 10
11. Tri-Mask Intent Propagation ① Feature Similarity Mask : クリック点と特徴類似度が高い点を抽出するMask ② Spatial Connectivity Mask : クリック点と空間的に連結してる領域を抽出するMask ③ Instance Prior Mask : クリック点が属する物体のみを抽出するためのMask : 点群Xの番号(インデックス)集合 ※ ②はDBSCANというクラスタリングで空間的に近い領域を抽出 ※ ③はNPISeg3DというInteractive Instance Segmentation Modelで物体を抽出 11
12. Spatial Connectivity Mask の有用性 Feature Similarity Maskのみを使うと正しかった予測にも修正の影響が広がり誤りに 12
13. Instance Prior Mask の有用性 Feature Similarity Mask とSpatial Connectivity Maskだけ使うと、近くにある別の 物体に修正が広がってしまう 𝒋 𝒋 𝒋 𝒋 3種のMaskを使うのが効果的(Intent-Consistent Region : 𝑴𝑰𝑪𝑹 = 𝑴𝒇𝒆𝒂𝒕 ∩ 𝑴𝒄𝒐𝒏 ∩ 𝑴𝒊𝒏𝒔 ) 13
14. Virtual Click Generation 𝒋 ෝ𝒋 を継承) ユーザ修正意図領域 𝑴𝑰𝑪𝑹 の中で仮想クリック生成(ユーザクリックラベル 𝒚 𝒋 ・𝑺𝒖𝒏𝒊 : ランダムにm点のクリック点を選択 𝒋 ・𝑺𝒕𝒐𝒑 : クリック点と特徴類似度の高い上位n点をクリック点として選択 𝒋 𝑴𝒇𝒆𝒂𝒕 ∩ 𝒋 𝑴𝒄𝒐𝒏 ∩ 𝒋 𝑴𝒊𝒏𝒔 = 𝒋 𝑴𝑰𝑪𝑹 14
15. Correction Loss 𝑼𝒕 個のユーザクリック点と𝒎 + 𝒏個の仮想クリック点に対しCross Entropy Lossを適用 ・ユーザクリックの点番号と正解ラベルの集合：𝑪𝒕 = ෝ𝒋 𝒖𝒋 , 𝒚 𝑼𝒕 𝒋=𝟏 𝑼 𝒕 ・ユーザクリックと仮想クリックの和集合：Q 𝒕 = 𝑪𝒕 ∪ ‫𝟏=𝒋ڂ‬ 𝑽𝒋 Cross Entropy Loss 𝒕 ℒ𝒄𝒐𝒓𝒓 = ෝ𝒊 ) ෍ 𝑪𝑬(𝒛𝒕𝒊 , 𝒚 (𝒊,ෝ 𝒚𝒊 )∈𝑸𝒊 𝑼𝒕 𝒋 𝒕 𝑴𝑰𝑪𝑹 = ራ 𝑴𝑰𝑪𝑹 𝒋=𝟏 15
16. Interaction-Aware Entropy Minimization 現在修正中の領域以外の予測を確信的に(Entropyを最小化)する損失関数を導入 修正領域は修正に集中＆それ以外の領域は修正による悪影響を受けないように Entropy Minimization Loss 予測確率分布 ※ Entropy: 予測の迷い具合 16
17. History-Aware Replay Loss 過去の修正情報を保存＆過去の修正を復習させる損失関数の導入 修正の忘却＆上書き防止 ・History Bank : 修正履歴 (点番号𝒌、修正後の予測ラベル෥ 𝒚𝒌 、信頼度スコア𝐬𝒌 ) を保存 ・過去に修正した点の中で予測が信頼できる点に対しCross Entropy Loss 信頼度高 過去予測＝現在予測 17
18. まとめ ・ユーザクリックを意味的なMaskで拡張（仮想的クリックの生成） ・過去の修正上書き防止 18
19. Experiments 19
20. Experimental Settings ・Dataset: ScanNet, S3DIS, SemanticKITTI ・Evaluation Metrics: ・IoU: 予測した領域と正解領域の重なり率 ・Accuracy: 正解ラベルの点をどれだけ当てられたか（正解率） ・Completion Rate: 一定クリック数以内に、目標mIoUに到達できたシーンの割合 ScanNet S3DIS SemanticKITTI 20
21. Quantitative Evaluation 屋内＆屋外点群で有効 21
22. Quantitative Evaluation 少ないクリック数で高性能を発揮 クリックを点ではなく領域として扱えている 22
23. Qualitative Evaluation 局所的な修正から誤分類領域全体の修正へと改善 23
24. Distribution of Per-Click Gain 1クリックあたりの修正効果が大きくなっている 24
25. Ablation Study ・繰り返しクリックされる物体・シーンの数が減少（上表） ・最先端手法Point Transformer V3に導入しても改善（下表） 25
26. Intent-Consistent Region Ablation 3種類のMaskを使うのが一番効果的 26
27. Conclusion 27
28. Conclusion ユーザクリックを点ではなく修正したい意図を考慮した領域として扱うことで 効率的にSegmentation修正が可能に 修正の破滅的忘却を抑制することで、効果的なSegmentation修正が可能に 28
29. 補助資料 29
30. Qualitative Evaluation 1クリックあたりの修正効果が大きい 過去の修正を維持しながら修正できている 30
31. Qualitative Evaluation 1クリックあたりの修正効果が大きい 過去の修正を維持しながら修正できている 31
32. Distribution of Per-Click Gain 1クリックあたりの修正効果が大きくなっている 32
33. Ablation Study 未知のドメインに対しても高い修正効果を発揮 33
34. Ablation Study Virtual Click2種の両方が修正に効果的 34
35. Ablation Study History-Aware Replay Lossは過去の修正を保持するのに有効な正則化項 35
36. Ablation Study 修正とエントロピー最小化は分けた方が効果的 36
37. Point Transformer V3 U-Net構造のモデル Encoder：Serialized Attention, Grid Poolingなどを用いて特徴抽出 Decoder：補間によるアップサンプリング 37
38. Point Transformer V3 Encoder Serialization : SFC（Space-Filling Curves）を用いて点群を並び替える Grid Pool : Grid毎に特徴を集約 Shuffle Orders : 並び替えのパターンをシャッフル 38
39. Grid Pool Grid毎に特徴を集約 39
40. Serialization SFCに従うように点群を並び替える ⇒高コストな近傍点探索を使わずに近傍探索が可能に 40
41. SFC ある程度空間的近接性を保持しながら、空間全てを通過する曲線 Z-order：Z型の曲線。シンプルで計算処理が容易 Hilbert：コの字型の曲線。Z型より複雑だが局所保持性に優れている Trans Z-order：Z-orderの走査順序を変更したもの Trans Hilbert：Hilbertの走査順序を変更したもの 41
42. Serialized Attention Patchに分割してPatch内でAttention １．SFCに従うように並べ替えてPatchに分割 ２．点が足りないPatchは隣接Patchから点を借りてPadding → Patch内 Attention 42
43. Serialized Attention Attention Block毎にランダムでSFCを変えてAttention → 過学習防止＆ロバスト性と汎化性能 UP 43