3次元点群からメッシュモデルを作成: ボールピボット法について

9月10日（水）に、オンライン勉強会 AIMTG で点群からメッシュモデルを作成する方法の一つであるボールピボット法について紹介しました。MATLAB を利用して半径を変えながらメッシュ化した様子も簡単に紹介しています。

動画
https://www.youtube.com/live/HCbUE9VCBiU?si=Hp4EceEftYaz67Mq&t=2529

イベントページ
https://osaka-driven-dev.connpass.com/event/365927/

Transcript

1. 3次元点群からメッシュモデルを作成する ボールピボット法について ImVisionLabs株式会社 代表取締役 板倉健太 博士（農学）
2. 点群のメッシュ化 1 バックパック型スキャナー iPhone12 LiDAR 3次元点群をメッシュモデルに変換する技術について紹介します [動画] ここでは、三角形の集まりで3次元形状を表現することをメッシュ化と呼びます Reference: Yoon, S.H., 2006, July. A surface displaced from a manifold. In International Conference on Geometric Modeling and Processing (pp. 677- 686). Springer, Berlin, Heidelberg.
3. 点群のメッシュ化 2 バックパック型スキャナー iPhone12 LiDAR 3次元点群をメッシュモデルに変換する技術について紹介します [動画] ここでは、三角形の集まりで3次元形状を表現することをメッシュ化と呼びます
4. 葉の傾きや面積の計算の例  小さな領域の点の法線ベクトルの向きやメッシュの面の向 きから葉の傾きを計算することができます • 以下の図はメッシュモデルにおける各面の傾きを色表示しています  メッシュの面積を足し合わせることで葉面積を計算すること ができます
5. メッシュモデルとは  メッシュモデルは、3D空間上の形状を三角形や四角形のポリゴンで構成したモデル カリフォルニアのオフィスチェア （出典 Artec 3D） https://www.artec3d.com/ja/3d-models/california-office-chair 入力の点群 メッシュモデル ボールピボット法で メッシュ化  点群からメッシュモデルを生成する方法として以下のアルゴリズムが有名 • Ball pivoting法 (Bernardini, 1999) • Poisson surface reconstruction法 (Kazhdan, 2006) ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新点の 探索 三角形の 追加 処理の 繰り返し
6. ボールピボット法とは バックパック型スキャナー  ボールピボット法は、点群データから三角形メッシュを再構成するための手法であり、仮想の 球を転がすようにして、三角形を一つずつ構築していく。  まず三点に接触するような球を配置してシード三角形を作成し、その後三角形の辺を軸として 球を回転させながら、新たに接触可能な点を探索し、順次三角形を追加していく。 [動画] ⚫ 回転軸を作る点 ⚫ 面を作るためのシードとなる点 ー 回転軸 ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新点の 探索 三角形の 追加 処理の 繰り返し
7. シード三角形の生成 バックパック型スキャナー iPhone12 LiDAR 以下を満たすシード三角形を生成する  半径 r のボールが同時に三点に接する • r の値はパラメータ  ボールの中心が法線方向側にある • ボールが物体に対して外側にあるようにするため  ボールの内部にほかの点が入っていない この三点を結ぶ線分をエッジとしてフロントに追加する ※フロントとは、現在構築中のメッシュの境界辺の集合である。 次にボールをピボットさせて三角形を構築するための候補となるエッジを含む ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新点の 探索 三角形の 追加 処理の 繰り返し
8. 参考: エッジの状態について バックパック型スキャナー  ボールを転がす軸（エッジ）は、active, boundary, frozenのどれかの状態を取る ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新点の 探索 三角形の 追加 処理の 繰り返し 4章: An edge can be active, boundary, or frozen. An active edge is one that will be used for pivoting. If it is not possible to pivot from an edge, it is marked as boundary. The frozen state is explained below, in the context of our out-of-core extensions. Keeping all this information with each edge makes it simpler to pivot the ball around it. 和訳: エッジは active、boundary、または frozen の状態を取ることができる。active edge はピボットに使 用されるエッジであり、そこからピボットできない場合は boundary としてマークされる。frozen 状態は 後述の out-of-core 処理の文脈で説明される。これらすべての情報を各エッジに持たせることで、ボール をその周囲でピボットさせる処理が容易になる。
9. 新たな頂点の探索 バックパック型スキャナー iPhone12 LiDAR [動画] 以下の手順で新点を探索する  フロントからエッジ𝑒 = (𝑝𝑖 ,𝑝𝑗 )を1つ選択する。  エッジ(𝑝𝑖,𝑝𝑗)に接触したままボールを回転させ、以下を満たす 新たな点𝑝𝑘 を探す： • ボールが(𝑝𝑖 ,𝑝𝑗 ,𝑝𝑘 )に同時に接触する • ボールの内部に他の点が存在しない • 法線ベクトルとの方向整合性がある（外向き） • 新しく作られる三角形にフローズンエッジがない ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新たな 頂点の 探索 三角形の 追加 処理の 繰り返し
10. 新たな頂点の探索 バックパック型スキャナー iPhone12 LiDAR [動画] 「法線ベクトルとの方向整合性がある」とは以下のように、移動後に作られる 三角形の法線ベクトルに対して外側にあることを意味する ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新たな 頂点の 探索 三角形の 追加 処理の 繰り返し
11. 新たな頂点の探索 バックパック型スキャナー iPhone12 LiDAR [動画] フローズンエッジとは、データ分割のためにz軸方向にスライスされた 領域の外にある二点を結ぶエッジのことである ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新たな 頂点の 探索 三角形の 追加 処理の 繰り返し ※フローズンエッジについては、元の論文の4.5 Out-of-Core Extensionsにて 詳しく説明されています
12. 新たな頂点の探索 バックパック型スキャナー iPhone12 LiDAR [動画] 𝑝𝑘 の候補は複数ある場合がある • その時、(𝑝𝑖 ,𝑝𝑗 )の中点と、移動前の球の中心を結んだベクトルと、移動後 の球の中心を結んだベクトルのなす角が小さい方が優先される。 ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新たな 頂点の 探索 三角形の 追加 処理の 繰り返し
13. 新たな頂点の探索 バックパック型スキャナー iPhone12 LiDAR [動画] 𝑝𝑘 の候補は複数ある場合がある • その時、(𝑝𝑖 ,𝑝𝑗 )の中点と、移動前の球の中心を結んだベクトルと、移動後 の球の中心を結んだベクトルのなす角が小さい方が優先される。 ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新たな 頂点の 探索 三角形の 追加 処理の 繰り返し
14. 参考: 新たな頂点の探索 バックパック型スキャナー iPhone12 LiDAR [動画] • 「ベクトルのなす角が小さい方が優先される」ことは元の論文の以下の箇所を参照した ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新たな 頂点の 探索 三角形の 追加 処理の 繰り返し 出典: Bernardini, F., Mittleman, J., Rushmeier, H., Silva, C., & Taubin, G. (1999). The ball-pivoting algorithm for surface reconstruction. IEEE transactions on visualization and computer graphics, 5(4), 349-359.
15. 三角形の追加 バックパック型スキャナー iPhone12 LiDAR [動画] 新点が見つかったら、以下の処理を行う • 条件を満たす𝑝𝑘 が見つかった場合、三角形𝑝𝑖 ,𝑝𝑗 ,𝑝𝑘 をメッシュに追加 • 新しいエッジ(𝑝𝑖 ,𝑝𝑘 )、(𝑝𝑗 ,𝑝𝑘 )をフロントに追加 • 使用済みエッジ(𝑝𝑖 ,𝑝𝑗 )はフロントから削除または更新 ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新たな 頂点の 探索 三角形の 追加 処理の 繰り返し
16. 三角形の追加 バックパック型スキャナー iPhone12 LiDAR [動画] 右図のように順次、 三角形が作られていく ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新たな 頂点の 探索 三角形の 追加 処理の 繰り返し
17. 三角形の追加 バックパック型スキャナー iPhone12 LiDAR [動画] 新しく三角形を作れる新点がなくなったら、次の処理を行う • スライスを動かして、フローズンエッジをアクティブ化する • アクティブ化したエッジを含めて、再び三角形の追加を試みる ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新たな 頂点の 探索 三角形の 追加 処理の 繰り返し
18. 処理の繰り返し バックパック型スキャナー iPhone12 LiDAR [動画] • フロント内のすべてのエッジに対して、シード三角形の生成から処理を繰り返す • 処理が完了するとすべての点は以下のいずれかの状態になる ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新たな 頂点の 探索 三角形の 追加 処理の 繰り返し
19. 処理の繰り返し バックパック型スキャナー iPhone12 LiDAR [動画] 点に球が届かない場合の未使用の点を補完するため、未使用の点が残ったら、 半径を変えて実行する ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新たな 頂点の 探索 三角形の 追加 処理の 繰り返し
20. 処理の繰り返し バックパック型スキャナー iPhone12 LiDAR [動画] 以下のデモ動画のように、半径を変えることで三角形が作られる場合がある 半径が小さい場合 半径が大きい場合 ボール ピボット 法とは シード 三角形 の生成 メッシュ モデルとは 新たな 頂点の 探索 三角形の 追加 処理の 繰り返し
21. ボールピボット法を用いた時のメッシュ構築例 バックパック型スキャナー iPhone12 LiDAR [動画] 元の点群データ  右の点群データの情報を元にメッシュ構築を行う  利用したコードは以下（MATLAB） mesh = pc2surfacemesh(ptCloudDownSampled, "ball-pivot", radius); • ptCloudDownSampled→ ダウンサンプリングした点群データ • radius → 適切な半径(半径を変えて再実行する 場合にはリスト型）
22. ボールピボット法を用いた時のメッシュ構築例 バックパック型スキャナー iPhone12 LiDAR [動画] 転がす球の半径が小さい場合 • 疎になっている部分には 球が届かない • 表面メッシュは隙間の多い 構造となってしまっている
23. ボールピボット法を用いた時のメッシュ構築例 バックパック型スキャナー iPhone12 LiDAR [動画] • 本来繋がるべきでない点が繋 がっている • 細部の形状を適切に捉えられ ない 転がす球の半径が大きい場合
24. ボールピボット法を用いた時のメッシュ構築例 バックパック型スキャナー iPhone12 LiDAR [動画] 半径が適切な場合 • 細部を正確に再現しつつ、 滑らかで自然なメッシュが 構築されている