A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud Completion

第10回全日本コンピュータビジョン勉強会「生成モデル論文縛り読み会」発表資料です。
https://kantocv.connpass.com/event/243586/

Transcript

1. 第10回全日本CV勉強会 生成モデル論文読み会 A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud Completion 2022/05/15 takmin
2. 自己紹介 2 株式会社ビジョン＆ITラボ 代表取締役 皆川 卓也（みながわ たくや） 博士（工学） 「コンピュータビジョン勉強会＠関東」主催 株式会社フューチャースタンダード 技術顧問 略歴： 1999-2003年 日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得（2014年） 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp
3. 紹介する論文 3  A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud Completion  Zhaoyang Lyu, Zhufeng Kong, Xudong Xu, Liang Pan, Dahua Lin  ICLR2022  選んだ理由：  拡散モデル(Denoising Diffusion Probabilistic Model)を勉強し たかった  仕事でPoint Cloudに関わることが多いので、拡散モデルを使 用した論文の中でも点群を使用したものを船体
4. 拡散モデル （Denoising Diffusion Probabilistic Model） 4
5. Denoising Diffusion Probabilistic Model 5  画像生成のモデル  元画像に徐々にノイズを付与し、ランダムな画像を生成  上記の逆過程をたどることでランダムな画像からなんらかの それっぽい画像を自動生成 [Ho, J., Jain, A., & Abbeel, P. (2020). Denoising diffusion probabilistic models. Advances in Neural Information Processing Systems, 2020- December(NeurIPS 2020), 1–12.]より引用
6. Denoising Diffusion Probabilistic Model 6 𝑞 𝐱𝑡 𝐱𝑡−1 ≔ 𝒩 𝐱𝑡 ; 1 − 𝛽𝑡 𝐱𝑡−1 , 𝛽𝑡 𝐈  Forward Diffusion Process  画像の各画素にガウスノイズを追加 Step毎にガウスノイズを付与 最終的にただ のガウスノイズ になる
7. Denoising Diffusion Probabilistic Model 7 𝑞 𝐱𝑡 𝐱𝑡−1 ≔ 𝒩 𝐱𝑡 ; 1 − 𝛽𝑡 𝐱𝑡−1 , 𝛽𝑡 𝐈  Reverse Diffusion Process ただのガウス ノイズ Step毎にガウスノイズを除去 𝑝𝜃 𝐱𝑡−1 𝐱𝑡 ≔ 𝒩 𝐱𝑡−1 ; 𝝁𝜃 𝐱𝑡 , 𝑡 , 𝚺𝜃 𝐱𝑡 , 𝑡 𝛽𝑡 が小さいとき逆拡散 過程もガウス分布
8. Denoising Diffusion Probabilistic Model 8 𝑞 𝐱𝑡 𝐱𝑡−1 ≔ 𝒩 𝐱𝑡 ; 1 − 𝛽𝑡 𝐱𝑡−1 , 𝛽𝑡 𝐈  Reverse Diffusion Process 𝑝𝜃 𝐱𝑡−1 𝐱𝑡 ≔ 𝒩 𝐱𝑡−1 ; 𝝁𝜃 𝐱𝑡 , 𝑡 , 𝚺𝜃 𝐱𝑡 , 𝑡 𝛽𝑡 が小さいとき逆拡散 過程もガウス分布 ・ ・ ・ 画像分布全体 顔画像分布
9. Denoising Diffusion Probabilistic Model 9 𝑞 𝐱𝑡 𝐱𝑡−1 ≔ 𝒩 𝐱𝑡 ; 1 − 𝛽𝑡 𝐱𝑡−1 , 𝛽𝑡 𝐈  Reverse Diffusion Process 𝑝𝜃 𝐱𝑡−1 𝐱𝑡 ≔ 𝒩 𝐱𝑡−1 ; 𝝁𝜃 𝐱𝑡 , 𝑡 , 𝚺𝜃 𝐱𝑡 , 𝑡 𝛽𝑡 が小さいとき逆拡散 過程もガウス分布 ・ ・ ・ 画像分布全体 顔画像分布
10. Denoising Diffusion Probabilistic Model 10 𝑞 𝐱𝑡 𝐱𝑡−1 ≔ 𝒩 𝐱𝑡 ; 1 − 𝛽𝑡 𝐱𝑡−1 , 𝛽𝑡 𝐈  Reverse Diffusion Process 𝑝𝜃 𝐱𝑡−1 𝐱𝑡 ≔ 𝒩 𝐱𝑡−1 ; 𝝁𝜃 𝐱𝑡 , 𝑡 , 𝚺𝜃 𝐱𝑡 , 𝑡 𝛽𝑡 が小さいとき逆拡散 過程もガウス分布 ・ ・ ・ 画像分布全体 顔画像分布 学習により求めたい
11. Denoising Diffusion Probabilistic Model 11  学習 元画像 ノイズ Neural Network ノイズ 画像 推定 ノイズ 二乗誤差 Back Prop  推論 Neural Network 入力画 像 推定 ノイズ ー ノイズ低 減画像 Step： t Step： t
12. 拡散モデルの導出 12 𝑞 𝐱0 : 元画像（ex.顔画像）の真の確率密度分布 𝑝𝜃 𝐱0 : 推定したい元画像の分布関数（𝜃：パラメータ） ・ ・ ・ 𝑞 𝐱𝒕 𝑞 𝐱0 𝑞 𝐱𝑇 max 𝜃 ෍ 𝑖 log 𝑝𝜃 𝐱0 𝑖 学習画像 𝑝𝜃 で𝑞をうまく表したい。 →対数尤度が最大となるパラメータ𝜃求めたい (1)
13. 拡散モデルの導出 13 ・ ・ ・ 𝑞 𝐱𝒕 𝑞 𝐱0 𝑞 𝐱𝑇 max 𝜃 ෍ 𝑖 log 𝑝𝜃 𝐱0 𝑖 = min 𝜃 −𝔼𝑞(𝐱0) log 𝑝𝜃 𝐱0  学習画像の分布は𝑞 𝐱0 に従うので、 (2)
14. 拡散モデルの導出 14 ・ ・ ・ 𝑞 𝐱𝒕 𝑞 𝐱0 𝑞 𝐱𝑇  イェンセンの不等式を用いて下界が求まる  途中計算は省略 𝐱0:𝑇 ≔ 𝐱0 , 𝐱1 , … , 𝐱𝑇 −𝔼𝑞(𝐱0) log 𝑝𝜃 𝐱0 ≤ 𝔼𝑞(𝐱0:𝑇) log 𝑞 𝐱1:𝑇 |𝐱0 𝑝𝜃 𝐱0:𝑇 こっちを最小化する (3)
15. 拡散モデルの導出 15  下界を式展開すると、３つの項に分解できる  𝐷𝐾𝐿: KLダイバージェンス (4) log 𝑞 𝐱1:𝑇 |𝐱0 𝑝𝜃 𝐱0:𝑇 = 𝐷𝐾𝐿 𝑞 𝐱𝑇 |𝐱0 ∥ 𝑝𝜃 𝐱0 + ෍ 𝑡=2 𝑇 𝐷𝐾𝐿 𝑞 𝐱𝑡−1 |𝐱𝑡 , 𝐱0 ∥ 𝑝𝜃 𝐱𝑡−1 |𝐱𝑡 − log 𝑝𝜃 𝐱0 |𝐱1 𝑳𝑇 :定数 𝑳0: 計算可能 𝑳𝑡−1: 最小化する ・ ・ ・ 𝑞 𝐱𝒕 𝑞 𝐱0 𝑞 𝐱𝑇
16. 拡散モデルの導出 16  𝐿𝑡−1 は2つのガウス分布のKLダイバージェンス 𝐿𝑡−1 = 𝐷𝐾𝐿 𝑞 𝐱𝑡−1 |𝐱𝑡 , 𝐱0 ∥ 𝑝𝜃 𝐱𝑡−1 |𝐱𝑡 𝐱0 で条件付けることで 計算可能 ガウス分布： 𝒩 𝐱𝑡−1 ; 𝝁𝜃 𝐱𝑡 , 𝑡 , 𝚺𝜃 𝐱𝑡 , 𝑡 ガウス分布： 𝒩 𝐱𝑡−1 ; ෥ 𝝁 𝐱𝑡 , 𝑡 , ෨ 𝛽𝑡 𝐈 ・ ・ ・ 𝑞 𝐱𝒕 𝑞 𝐱0 𝑞 𝐱𝑇
17. 拡散モデルの導出 17  𝐿𝑡−1 の最小化は𝑞と𝑝𝜃 の平均の差を最小化 𝐿𝑡−1 = 𝐷𝐾𝐿 𝑞 𝐱𝑡−1 |𝐱𝑡 , 𝐱0 ∥ 𝑝𝜃 𝐱𝑡−1 |𝐱𝑡 𝐱0 で条件付けることで 計算可能 ガウス分布： 𝒩 𝐱𝑡−1 ; 𝝁𝜃 𝐱𝑡 , 𝑡 , 𝚺𝜃 𝐱𝑡 , 𝑡 ガウス分布： 𝒩 𝐱𝑡−1 ; ෥ 𝝁 𝐱𝑡 , 𝑡 , ෨ 𝛽𝑡 𝐈 𝚺𝜃 𝐱𝑡 , 𝑡 = 𝜎𝑡 2𝐈 = ෨ 𝛽𝑡 𝐈 と単純化する 𝐿𝑡−1 = 𝔼𝒒 1 2𝜎𝑡 2 ෥ 𝝁 𝐱𝑡 , 𝑡 − 𝝁𝜃 𝐱𝑡 , 𝑡 2 + 𝐶
18. 拡散モデルの導出 18  𝐿𝑡−1 の最小化は𝐱𝑡 と𝐱𝑡−1 間のノイズを推定すること 𝐿𝑡−1 = 𝐷𝐾𝐿 𝑞 𝐱𝑡−1 |𝐱𝑡 , 𝐱0 ∥ 𝑝𝜃 𝐱𝑡−1 |𝐱𝑡 𝐿 𝑡 simple = 𝔼𝐱0,𝐳 𝐳𝑡 − 𝐳𝜃 𝐱𝑡 , 𝑡 2 Step tで加 えたノイズ 推定した ノイズ = 𝔼𝒒 1 2𝜎𝑡 2 ෥ 𝝁 𝐱𝑡 , 𝑡 − 𝝁𝜃 𝐱𝑡 , 𝑡 2 + 𝐶 ෥ 𝝁, 𝝁𝜃 を代入して計算
19. Denoising Diffusion Probabilistic Model 19  学習 元画像 ノイズ Neural Network ノイズ 画像 推定 ノイズ 二乗誤差 Back Prop  推論 Neural Network 入力画 像 推定 ノイズ ー ノイズ低 減画像 Step： t Step： t 𝐱0 𝐱𝑡 𝐳1:𝑡 𝐳𝜃
20. Denoising Diffusion Probabilistic Model 20  学習 元画像 ノイズ Neural Network ノイズ 画像 推定 ノイズ 二乗誤差 Back Prop  推論 Neural Network 入力画 像 推定 ノイズ ー ノイズ低 減画像 Step： t Step： t 𝐱0 𝐱𝑡 𝐳𝑡 𝐳𝜃 𝐱𝑡 は 𝐱0 にt回ガウスノイズを加えたものなので 𝐱𝑡 = ത 𝛼𝑡 𝐱0 + 1 − ത 𝛼𝑡 𝐳𝑡 とかける （ただし ത 𝛼𝑡 = σ 𝑖=1 𝑡 (1 − 𝛽𝑖 ) ）
21. Denoising Diffusion Probabilistic Model 21  学習 元画像 ノイズ Neural Network ノイズ 画像 推定 ノイズ 二乗誤差 Back Prop  推論 Neural Network 入力画 像 推定 ノイズ ー ノイズ低 減画像 Step： t Step： t 𝐱0 𝐱𝑡 𝐳𝑡 𝐳𝜃 𝐱𝑡 𝐱𝑡−1 𝐳𝜃
22. Denoising Diffusion Probabilistic Model 22  学習 元画像 ノイズ Neural Network ノイズ 画像 推定 ノイズ 二乗誤差 Back Prop  推論 Neural Network 入力画 像 推定 ノイズ ー ノイズ低 減画像 Step： t Step： t 𝐱0 𝐱𝑡 𝐳𝑡 𝐳𝜃 𝐱𝑡 𝐱𝑡−1 𝐳𝜃 𝐱𝑡−1 = 1 𝛼𝑡 𝐱𝑡 − 1 − 𝛼𝑡 1 − ത 𝛼𝑡 𝒛𝜽 + 𝜎𝑡 𝒛 （ただし 𝛼𝑡 = 1 − 𝛽𝑖 ）
23. A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud Completion 23
24. A Conditional Point Diffusion-Refinement Paradigm for 3D Point Cloud Completion 24  LiDAR等の測定では、オクルージョン等によりすべての 箇所の点群データが取れるわけではない。  拡散モデル用いてデータの取得できなかった箇所の点 群を生成する。  Coarse-to-Fineに点群生成  Conditional Generation Network (Coarse)  Refinement Network (Fine)
25. Point Cloud Completion 25  生成された点群とGround Truthの比較（Loss）に、従来は Chamfer DistanceやEarth Mover Distanceが使用されて いた。  Chamfer Distance  点群全体の密度分布を捉えない  補間結果の質が一様でない  Earth Mover Distance  計算が非常に重い  Denoise Diffusion Probabilistic Model (DDPM)  一様で高品質な補間が行えるのではないか？
26. Conditional Point Diffusion-Refinement (PDR) Paradigm 26 1. Conditional Generation Network  拡散モデル（DDPM）によるCoarseな点群補間  各点の座標(x,y,z)にガウスノイズを付与 2. Refinement Network  Coarseな点群の高品質化
27. Conditional Generation Network 27
28. Conditional Generation Network 28 部分的な点群（Condition）から各段階の特徴量抽出 各Step tでのノイズを推定 PointNet++ like
29. Conditional Generation Network 29 各Step tでのノイズを推定 拡散ステップt Conditionのグローバル特徴 部分点群の各レベルの特徴を入力 推定ノイズ
30. Conditional Generation Network 30 拡散ステップt Conditionのグローバル特徴 推定ノイズ Set Abstraction (SA) Modules Max Pooling 𝑁𝑙+1 × 𝑑𝑙+1 PointNet 𝑁𝑙 × 𝑑𝑙 + 3 𝑁𝑙+1 × 𝑑𝑙 + 3 𝑙層の特徴量次元 ＋𝑥, 𝑦, 𝑧 𝑙層の点数 × Farthest Point Sampling K-Neighbors
31. Conditional Generation Network 31 拡散ステップt Conditionのグローバル特徴 推定ノイズ Self Attention 𝑁𝑙+1 × 𝑑𝑙+1 PointNet Set Abstraction (SA) Modules
32. Conditional Generation Network 32 拡散ステップt Conditionのグローバル特徴 推定ノイズ Feature Propagation (FP) Modules 𝑁𝑙+1 × 𝑑′𝑙+1 + 3 PointNet Self Attention 𝑁𝑙 × 𝑑𝑙 𝑁𝑙 × 𝐾 × 𝑑′𝑙+1 + 3 MLP 𝑁𝑙 × 𝑑′𝑙 𝑁𝑙 × 3 Concatenate From Skip Connection K-Neighbors Upsampling 後の座標
33. Conditional Generation Network 33 拡散ステップt Conditionのグローバル特徴 推定ノイズ 近傍点の特徴量を取得し、MLPで 変換後、Self-Attentionで統合 Feature Transfer Modules
34. Refinement Network 34 Conditional Generation Networkとほぼ同じ構造 Coarse 点群U Conditional Generation Networkより生成 Output 𝜖𝑓 𝒖, 𝒄 Refine点群V
35. Refinement Network 35  学習  Chamfer Distance Loss  教師点群との距離  ℒCD 𝑽, 𝑿 = 1 𝑽 σ𝑣∈𝑽 min 𝑥∈𝑿 𝑣 − 𝑥 2 + 1 𝑿 σ𝑥∈𝑿 min 𝑣∈𝑽 𝑣 − 𝑥 2  𝑽: Refinement Networkの生成点群  𝑿: 教師データ  学習中はConditional Generation Networkのパラメータは固 定  出力𝜖𝑓 𝒖, 𝒄 の次元数を上げることで解像度を増やせる
36. Experiments 36  データセット  MVP  62400訓練データ、41600テストデータ  ShapeNetより生成  MVP-40  41600訓練データ、64160テストデータ  40カテゴリ  ModelNet40より生成  Completion3D  28974訓練データ  1184テストデータ  8カテゴリ  ShapeNetより生成
37. Experiments 37  評価指標  𝑽: Refinement Networkの生成点群  𝑿: 教師データ  Chamfer Distance  点同士の距離を元にしたLoss  ℒCD 𝑽, 𝑿 = 1 𝑽 σ𝑣∈𝑽 min 𝑥∈𝑿 𝑣 − 𝑥 2 + 1 𝑿 σ𝑥∈𝑿 min 𝑣∈𝑽 𝑣 − 𝑥 2  Earth Mover Distance  分布の最小移動量  ℒEMD 𝑽, 𝑿 = min 𝜙:𝑽⟷𝑿 σ𝑣∈𝑽 𝑣 − 𝜙 𝑣 2
38. Experiments 38  評価指標(続き)  F1 Score  RecallおよびPrecisionを加味した指標  ℒF1 = 2ℒ𝑃 𝜌 ℒ𝑅 𝜌 ℒ𝑃 𝜌 +ℒ𝑅 𝜌  ℒ𝑃 𝜌 = 1 𝑽 σ 𝑣∈𝑽 min 𝑥∈𝑿 𝑣 − 𝑥 2 < 𝜌  ℒ𝑅 𝜌 = 1 𝑿 σ 𝑥∈𝑿 min 𝑣∈𝑽 𝑣 − 𝑥 2 < 𝜌
39. Experiments 39  結果
40. Experiments 40  MVPデータセットに対し、出力の解像度（点数）を変えて実 験
41. Experiments 41  Ablation Study  PA-Deonv & Att.: 本手法  PA-Deonv: Attentionを除いたもの  PointNet++: さらにPA-Deonv moduleを除いたもの  Concate 𝑥𝑡 & 𝑐: Ftmoduleを除いたもの  Pointwise-net: 部分点群（Condition）から取得したグローバル特 徴のみ使用
42. Experiments 42
43. Experiments 43  本手法を拡張し、ConditionとしてBounding Boxを与えら れるようにしたもの
44. まとめ 44  拡散モデルを利用した点群補間方法を提案  Conditional Generation Networkで全体構造を推定し、 Refinement Networkで詳細化  他の手法と比較し、性能が大きく上回った  Controllable Point Cloud Generationのような、そのほか の点群を使用したタスクにも応用可能
45. PointNet 45  Qi, C. R., Su, H., Mo, K., & Guibas, L. J. (2017). PointNet : Deep Learning on Point Sets for 3D Classification and Segmentation Big Data + Deep Representation Learning. IEEE Conference on Computer Vision and Pattern Recognition (CVPR).  各点群の点を独立に畳み込む  Global Max Poolingで点群全体の特徴量を取得 各点を個別 に畳み込み アフィン変換 各点の特徴を統合
46. PointNet++ 46  Qi, C. R., Yi, L., Su, H., & Guibas, L. J. (2017). PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space. Conference on Neural Information Processing Systems (NIPS).  PointNetを階層的に適用  点群をクラスタ分割→PointNet→クラスタ内で統合を繰り返す