Upgrade to Pro — share decks privately, control downloads, hide ads and more …

High-Fidelity Lightweight Mesh Reconstruction f...

High-Fidelity Lightweight Mesh Reconstruction from Point Clouds [CVPR 2025]

- 点群からのメッシュ化においてSDF表面の曲率に基づいたアダプティブなメッシュ化を提案
- 既存研究よりも高い忠実度を維持しつつ頂点数が5~15%の軽量メッシュを実現

Avatar for Spatial AI Network

Spatial AI Network

August 12, 2025
Tweet

More Decks by Spatial AI Network

Other Decks in Technology

Transcript

  1. PFN Confidential High-Fidelity Lightweight Mesh Reconstruction from Point Clouds Chen

    Zhang, Wentao Wang, Ximeng Li, Xinyao Liao, Wanjuan Su, Wenbing Tao Huazhong University of Science and Technology CVPR 2025 Highlight Spatial AI Network 勉強会 2025/7/15 橋本泰輔 (Preferred Networks)
  2. 2 PFN Confidential 論文情報 • 論文: https://openaccess.thecvf.com/content/CVPR2025/papers/Zhang_High-Fidelity_Lightweight_ Mesh_Reconstruction_from_Point_Clouds_CVPR_2025_paper.pdf • Github:

    https://github.com/CharizardChenZhang/LightweightMR • 選定理由 ◦ NeRF・3DGS の登場後も実応用を考えるとまだメッシュは必要 ◦ メッシュ化で使われる Marching Cubes の問題点に挑んでいたのが気になったため
  3. 3 PFN Confidential 背景 • 点群からの表面再構成において SDF: Signed Distance Field

    が用いられるように • SDF からメッシュを得るには MC: Marching Cubes が一般的 • MC で (実用的な) 軽いメッシュを得ようとすると細部の形状が欠損する
  4. 4 PFN Confidential 既存研究の問題点 1. implicit な表面において曲率など幾何学的な認識が欠如している 2. 平面で頂点数を下げるなどアダプティブな調整ができない 3.

    自己交差しないなどトポロジの保証が困難 • これらの問題を解決したアダプティブなメッシュ化手法を提案 • 加えて SDF ネットワークの表現力を向上する工夫も
  5. 5 PFN Confidential パイプライン a. SDF Network: 入力点群にフィットする SDF を学習

    b. Vertex Generator: SDF の表面曲率を元に頂点を生成 c. Delaunay Meshing: 頂点を繋いでメッシュに
  6. 6 PFN Confidential SDF の学習 • ベース手法: Neural-pull (ICML 2021)

    • 追加の工夫: ハイブリッド特徴表現 ① ボクセル V と三平面 T に学習可能な特徴を格納 ② 空間クエリ q が与えられた際に ▪ V からトライリニア補間で 3D 特徴を算出 ▪ T からバイリニア補間で 2D 特徴を算出 ③ ベース手法に基づき MLP を学習 3D 特徴の強力な空間表現力と 2D 特徴による安定性をいいとこどり ※ 安定性: SDFの滑らかさを維持しアーティファクトを低減する
  7. 7 PFN Confidential 曲率にアダプティブな頂点生成 (1/3) • 方針: 曲率が高い所に頂点を密に配置し、曲率が低い所に頂点を疎に配置する 1. 点群表現に変換

    ① 入力点群 P をランダムに摂動させ十分な数の空間クエリ Q を生成する ② ベース手法 (Neural-pull) を用いて Q を SDF=0 に投影し表面クエリ S とする ③ Farthest point sampling (FPS) により一様分布となる点群を得る 2. 曲率の計算 ◦ 曲率を局所的な表面法線の変化度合いと捉える ① SDF の勾配を正規化して各点の法線を算出 ② 法線とK 近傍点の法線とのコサイン類似度に基づき法線偏差を算出 ③ 法線偏差に対し距離に基づく重み付けを行い曲率とする
  8. 8 PFN Confidential 曲率にアダプティブな頂点生成 (2/3) 3. 頂点の生成: 処理の流れ ① 表面クエリ

    S から FPS で指定数の初期頂点 V0 を選択 ② ニューラルネット γ で各頂点の変位を学習し頂点位置をリファイン ▪ バックボーン: Point Transformer V3 ③ 最適化中に一定間隔でアップサンプリング ▪ 指定頂点数になるまで表面クエリ S から曲率が高い点の最近傍点を追加
  9. 9 PFN Confidential 曲率にアダプティブな頂点生成 (3/3) 3. 頂点の生成: 損失関数 ◦          :

    表面クエリ S と頂点 V の距離を曲率で重み付けして最小化           → 曲率が大きいほど頂点が密に ◦          : V と S の法線の誤差を最小化           → V の法線が S に揃い滑らかに ◦               : V と S 間の Chamfer 距離を最小化              → V が S から大きく外れないように ◦            : V の点間の距離を最大化           → 高曲率領域で V が過度に密集するのを防ぐ
  10. 10 PFN Confidential ドロネー分割によるメッシュ生成 (1/2) • メッシュ生成の流れ ① 生成された頂点 V

    をドロネー分割し多数の四面体を得る ② 各四面体のラベル (内側 / 外側) を求める i. 各四面体内でランダムサンプリングする ii. 各点を SDF Network に入力しラベル (内側 / 外側) を決定する iii. 最多数となるラベルを四面体のラベルとする ③ 異なるラベルを持つ四面体が共有する三角形を抽出する ※ 水密性を有し自己交差のないメッシュが生成できる
  11. 11 PFN Confidential ドロネー分割によるメッシュ生成 (2/2) • 問題点 ◦ 前頁のアプローチだと左下図のように Non-Manifold

    なエッジが生じる場合がある ◦ これは implicit 表面近傍に存在する細長い四面体の誤分類によって生じる • 解決策: 隣接ラベル制約 ◦ 四面体の4つの隣接四面体のうち内側/外側ラベルの数が一致しない場合、そのラベルを多 数派のカテゴリに合わせるように調整 ◦ これにより Manifold な表面が得られトポロジの正しさが保証できる
  12. 12 PFN Confidential 実験設定 • 使用データセット ◦ Stanford, Thingi10K, SRB,

    ScanNet • 評価指標 ◦ Chamfer 距離 (CD) ◦ 法線の一貫性 (NC) ◦ F1スコア (F1) ◦ L1曲率誤差 (CE) ◦ トポロジが正しいメッシュの割合 (CT) ※ メッシュ上でサンプリングした10万点に対して
  13. 13 PFN Confidential メッシュ化能力の比較 (1/4) • 目的 ◦ 正解の SDF

    を与えた際のメッシュ化の性能を評価する ※ ただし難易度を上げるため提案手法のみ SDF は学習して得る • 比較対象 ◦ 古典的な MC, 学習ベースの DMTet, NMC, NDC, VoroMesh, PoNQ • 使用データセット ◦ VoroMesh の設定に従い Thingi10K のサブセット (30 種の複雑な形状を含む)
  14. 14 PFN Confidential メッシュ化能力の比較 (2/4) • 定量比較 ※ Ours-lite: 頂点数/面数を

    MC に合わせた場合 ※ Ours: 頂点数/面数を PoNQ に合わせた場合 ※ 比較手法は GT SDF 値を使用し、本手法は点群から学習した SDF を使用 ボクセルグリッド: 64 ボクセルグリッド: 32
  15. 16 PFN Confidential メッシュ化能力の比較 (4/4) • 定性比較 ※ 頂点数/面数は同じ →

    提案手法は詳細形状部分の頂点密度が高くなっている
  16. 17 PFN Confidential Implicit な再構成能力の比較 (1/3) • 目的 ◦ 点群からの

    SDF 学習の性能を評価する • 比較対象 ◦ NeuralPull, PCP, DiGS, NeuralIMLS, GridPull, PINC • 使用データセット ◦ Stanford データセット ▪ 複雑なディテールを有する困難なデータセット ▪ 各オブジェクトに対して2万点サンプリング (法線なし)
  17. 18 PFN Confidential Implicit な再構成能力の比較 (2/3) • 定量比較 ※ すべての手法に対し解像度

    512 の MC で高密度メッシュを抽出 ※ Ours / AM: アダプティブメッシュ生成で頂点数 /面数を削減したもの
  18. 20 PFN Confidential Explicit な再構成手法との比較 (1/3) • 目的 ◦ Explicit

    なアプローチとも軽量メッシュ化性能を比較 • 比較対象 ◦ ダウンサンプリング手法: 古典的な FPS, 学習ベースの MetaSample ◦ 三角化手法: 古典的な Ball pivoting, 学習ベースの PointTriNet, DSE • 使用データセット ◦ SRB データセット ▪ ノイズや複雑な形状を有する実スキャンデータを含む
  19. 23 PFN Confidential 大規模シーンでの評価 • 使用データセット ◦ ScanNet からサンプリングした100万点のデータ •

    定性比較 • • • • • • • • → 大規模シーンにおいても提案手法の優位性が確認できる
  20. 24 PFN Confidential アダプティブメッシュ化 (AM) の評価 • 評価方法 ◦ Implicit

    なニューラル再構成手法である Siren, IGR に対し MC と提案手法 (AM) を比較 • 定性比較 → 提案手法は微細な構造や鋭いエッジを正確に保持することが確認できる
  21. 25 PFN Confidential まとめ • 背景 ◦ 点群からのメッシュ化で、高い忠実度と軽さの両立は難しい • 手法

    ◦ SDF 表面の曲率に基づいたアダプティブなメッシュ化を提案 ◦ SDF 学習にハイブリッド表現を導入 • 結果 ◦ 既存研究より高い忠実度を維持しつつ頂点数が 5~15%という軽量なメッシュを達成 • 所感 ◦ 曲率が高い部分の頂点を密にするというアイディアは比較的思いつくが、 それを着実に実装し高い精度も実現している点がすごい ◦ Point Transformer V3 など要素技術が揃ったタイミングが今だったのだろうか ◦ 点群はもちろんだが SDF からのメッシュ化に使いたいところ