MeshFlow : Efficient Artistic Mesh Generation via MeshVAE and Flow-based Diffusion Transformer

MeshVAEとフローベースの並列アーキテクチャを採用することによる非自己回帰型のメッシュ生成手法を提案。メッシュを連続潜在表現として扱うことで座標の量子化誤差を回避し、整流フローにより全頂点属性を並列に生成することで、高速なメッシュ生成を実現する。形状品質および生成速度の定量評価により、既存手法に対する優位性を示している。

Transcript

1. MeshFlow : Efficient Artistic Mesh Generation via MeshVAE and Flow-based Diffusion Transformer (CVPR 2026 Highlight) Weiyu Li1,2 Antoine Toisoul1 Tom Monnier1 Roman Shapovalov1 Rakesh Ranjan1 Ping Tan2 Andrea Vedaldi1 1Meta AI 2Hong Long University of Science and Technology Spatial AI Network 勉強会 2026/06/23 北田大喜 (東北大学)
2. 論文情報 • arXiv : https://arxiv.org/abs/2606.04621 • Project Page : https://mesh-flow.github.io/ • Git Hub : https://github.com/facebookresearch/meshflow 2
3. 概要 • 従来手法と比べて，高精度な3Dメッシュを約1秒で生成 • コアアイディアはMesh VAEとフローベースの DiT 3
4. 背景 - 3Dメッシュの重要性 • 3DメッシュはAR / VR，ゲームにおいて標準的に使われる表現形式 • 高品質なメッシュを作成するには，専門知識や高価なツール，時間が必要 → 自動生成の需要が高まっている 4
5. 背景 - アプローチ1 暗黙的表現 (SDF等) を経由した間接生成 1. 符号付き距離関数 (SDF) など暗黙的な形状表現を予測 2. マーチング・キューブ法などの後処理によりメッシュを抽出 5 出典: W. E. Lorensen and H. E. Cline, “Marching Cubes: A High Resolution 3D Surface Construction Algorithm,” SIGGRAPH ’87, pp. 163–169, 1987.
6. 背景 - アプローチ2 自己回帰 (AR) 型モデルによる直接生成 • 近年の大規模言語モデルの成功に倣い，PolyGen[28]やMeshtron[13]などメッシュ のトポロジを離散的なトークンと見なして生成する手法が登場 • 頂点や面をトークン化し、自己回帰的に次のトークンを予測していくことでメッシュを 構築 6 [28] Charlie Nash +. Polygen: An autoregressive generative model of 3d meshes. ICML, 2020. 2, 3 [13] Zekun Hao +. Meshtron: High-fidelity, artist-like 3d mesh generation at scale. arXiv preprint arXiv:2412.09548, 2024. 2, 3
7. 課題点 - アプローチ1 • 構造的な制約 SDFの「内と外」を明確に分ける性質上，水密状態である必要がある • 品質の欠如 ポリゴンで抽出するため，エッジが丸まり，形状が鈍化 • 編集の難しさ トポロジが整理されてないと，編集で不要な頂点も動いてしまう 7
8. 課題点 - アプローチ2 • 膨大な計算コスト 1面 (3頂点×3座標) を表現するのに9つのトークンを利用するのに加え， 自己回帰する計算量はO (N 2) で二次関数的に増加 • 生成の不完全性 モデルが誤って途中で終了を予測してしまうと，不完全なメッシュが出力 • 離散化 (量子化) による誤差 頂点座標を計算効率のために128段階に離散化することで， 本来わずかにずれている頂点が同じ座標値に丸められ，形状誤差が発生 8
9. 解決策のコアアイディア • MeshVAEによる連続的な潜在空間の圧縮 従来の離散化を避け，頂点座標や接続情報を連続的なベクトルとして表現 トポロジも頂点間の特徴ベクトルの距離として連続表現 • フローベースの並列アーキテクチャ 最短の道 (整流フロー) を全員一斉 (DiT) に走ることで高速化 9 64 65 66 ・・・ ・・・ 離散値 点は決まった値にのみ置ける 連続値(実数値) 数直線上どこにでも存在できる
10. 主な貢献 • 従来のトークナイザーと比較して72x少ないトークンベクトル数で表現 • 最速の自己回帰型モデル[17]よりも18x高速に動作 • 最先端 (SoTA) 性能と幅広い応用を達成 10 [17] Jeonghwan Kim +. Fastmesh: Efficient artistic mesh generation via component decoupling. arXiv preprint arXiv:2508.19188, 2025. 2, 3, 8
11. 提案手法 - 新しいメッシュ表現 定義：メッシュを各頂点の３つ組属性 (v, n, h) として表現 • 位置 (v) ：頂点の3D座標 (連続値) • 法線 (n) ：面の向きを決定するためのベクトル (連続値) • エッジ埋め込み (h) ：接続情報を保持する特徴ベクトル (連続値) 　→全てのデータが「連続的」なベクトル であるため，量子化誤差を回避可能 さらに生成器は組属性の出力のみで全頂点を並列に生成可能 11
12. 提案手法 - 新しいメッシュ表現 復元方法 1. 埋め込みhの距離からエッジを特定 (式2) 2. エッジのループから面を特定 (式1) 3. 法線nから面の向きを決定 12 (式1) (式2) f 1 f 2 f 3 F
13. 提案手法 - 全体パイプライン 13 MeshVAE DiT 入力点群
14. 提案手法 - MeshVAE モデルが扱いやすい形式に表現を変える翻訳的なオートエンコーダー 入力：頂点 v，法線 n，離散的な隣接行列 A ∈ {0, 1} 出力：頂点 v，法線 n，連続的なエッジ埋め込みh，頂点マスク m 14
15. 提案手法 - MeshVAE エンコーダー • 3Dメッシュの構造を，最小限の情報欠損でコンパクトな潜在変数 (Z) へと凝縮する 役割 • TokenMergeという仕組みにより，全頂点分まとめられて N (頂点数) ｘ D (次元数) のトークン行列Xを1/4まで圧縮 • アテンション機構 (CA, SA) により，細部を仕上げ 15
16. 提案手法 - MeshVAE エンコーダー • TokenMerge 画像処理のPixelShuffle技術[7]を応用し，横に並んでいた情報を，チャンネル方向 （奥行き）に積み重ねることで，情報の解像度を維持したまま行列を短縮 • クロスアテンション (CA) 圧縮後トークンが，圧縮前の全トークンを見に行くことで，角やエッジといった重要 な細部を再確認し，潜在変数に書き込む 16 [7]Zhe Chen+ How far are we to gpt-4v? closing the gap to commercial multimodal models with open-source suites. Science China Information Sciences, 67(12):220101, 2024. 5, 8
17. 提案手法 - MeshVAE デコーダー • TokenSplit TokenMergeの逆で，チャンネル方向に蓄積された情報をバラバラに展開 • クロスアテンション 潜在変数の中に含まれる細かい情報を各頂点へと精密に書き戻す 17
18. 提案手法 - MeshVAE 学習の目的関数 離散的なエッジの有無を，連続的なベクトル間の「距離」として学習させる 18 マスク項 位置項 法線項 隣接関係項 KL正則化項 ポジティブ (接続あり) →ペアの距離dがτ (=0.6) を下回るように学習 ネガティブ (接続なし) →ペアの距離dをτ より大きく引き離す
19. 提案手法 - フローベースの並列アーキテクチャ • 整流フロー ガウスノイズから潜在変数zまでを直線軌道で 結ぶ →従来の拡散モデルの離散化誤差を最小限に抑え，少ないステップ数で高速に収 束 • 非自己回帰DiT 全頂点の情報を並列に処理 →AR型のような逐次処理を排除し，計算コストを線形 (O(N)) に抑制 →最短距離を全速力で駆け抜ける生成システム 19
20. 提案手法 - 直線的軌道の学習 • 線形な順方向プロセス データx 0 とノイズεを最短距離で補完 • 条件付きフローマッチング ニューラルネットワークv θ が，ある時点のノイズ状態からゴールへ向かうための速 度ベクトルを予測する学習を行う c vox ：入力点群をボクセル化した形状ガイド RoPE 3D ：DiTにデータの3D位置関係を理解させる回転位置エンコーディング 20
21. 提案手法 - 高精度化の仕上げ • Logit-normalサンプリング (学習フェーズ) 学習時のタイプステップのサンプリング分布を調整 →モデルが幾何学的な細部のデノイジングをより重点的に学べる • Timestep shifting 3.0 (推論フェーズ) 生成プロセスの中で詳細な幾何形状の復元を優先するように促す →表面の滑らかさやエッジの鋭さがより強調される →単に高速なだけでなく，精細なディテールを再現できる 21
22. 実験と結果 • 従来のAR（自己回帰）型モデルよりも18x高速化 • Chamfer Distance (CD) ，Hausdorff Distance (HD) での精度が向上 22
23. 実験と結果 複雑な形状も早期終了せず，生成できている 23
24. 実験と結果 離散化しないため，AR型では潰れてしまうような細かな角や凹凸が再現できる 24
25. アブレーション - なぜTokenMergeなのか 他の手法より，TokenMerge を使う方が圧倒的に復元精度（F1スコア）が高い 25
26. 失敗ケース 非常に複雑なトポロジーの場合，整流フローが正確な埋め込みを予測できず，メッシュ に小さな穴が開くことがある 26
27. まとめ • 次世代のメッシュ生成フレームワークの確立 ◦ 圧倒的な高速化 ◦ MeshVAEによる高精度な連続表現 ◦ 整流フローによる効率的な生成戦略 • 精度と速度の両面で世界最高水準を達成 • 限界と課題もある ◦ 複雑な形状におけるトポロジの完全性 27