3D Gaussian Splatting (3DGS)のモデルを Cesiumの地球の上で可視化する方法

Transcript

1. 3D Gaussian Splatting (3DGS)のモデルを Cesiumの地球の上で可視化する方法 板倉健太 ImVisionLabs株式会社代表取締役
2. 3D Gaussian Splatting（3DGS）の概要 任意の角度から見たときの対象の画像情報の再構成を可能にする技術 図1:花瓶に対する実行結果 図1, 3 はScaniverse、図2はSupersplatを利用して可視化しています 図2:樹木細部に対する実行結果 図3:樹木に対する実行結果 点群にガウス分布を割り当て、視点に応じてその分布をレンダリングすることで、 きめ細かな描写とスムーズな可視化を両立可能 従来のNeRF（Neural Radiance Fields）に比べて高速かつ高精細な表現が可能
3. 3Dモデルを地図上で可視化するモチベーション 現実の3次元的な情報を集約して分析することができる 東京都デジタルツイン3Dビューアにてハザードマップを表示した時の様子 図1 出典： 東京都デジタルツインプロジェクト https://info.tokyo-digitaltwin.metro.tokyo.lg.jp/ 地理的要因を付与することが出来る（測量地の高さや傾斜など） スマートシティの実現や災害シミュレーションなどに貢献
4. Cesiumの概要と3DGSとの連携について Google Earthのような3D地球をWeb上で扱える 出典： 四日市市3次元都市モデル公開サイト https://www.city.yokkaichi.lg.jp/3d-city/index.html 地形データや3Dモデル（建物や植物など）を表示可能
5. Cesiumの概要と3DGSとの連携について AIST Cesium Threejs 3DGSを利用して3DGSもCesium上に表示できる 出典： AIST Cesium Threejs 3DGS https://github.com/aistairc/aist_cesium_threejs_3dgs 本スライドでは上記のツールを利用して3DGSをCesiumにて可視化する方法を紹介
6. 3DGSをCesium上に可視化するワークフロー 1. Cesium ionアクセストークンの取得 2. 3DGSデータと座標データの準備 3. Cesiumに反映させるためにindex.htmlを編集 4. Dockerを利用した仮想環境の構築 5. Cesiumの起動 6. 実行結果の確認
7. アクセストークンの取得 Cesium ionにログインし、「Access Tokens」の「Create Token」からCesium の アクセストークンを取得 ローカルでCesiumJSを利用するためにCesium ionアクセストークンを取得 アクセストークンは再発行されないので、 メモに保存するなどして、記録が必要 データの 準備 idex.htm lを編集 トークンの 取得 仮想環境 の構築 Cesiumの 起動 実行結果 の確認
8. データの準備 3DGSデータ データの 準備 idex.htm lを編集 トークンの 取得 仮想環境 の構築 Cesiumの 起動 実行結果 の確認 桜の3DGS 3DGSの座標データ ✓ 3DGSデータとは別に測量地の座標データ （緯度経度）を準備 ✓ 座標データは、Google mapなどから取得 Google mapを利用した座標データの取得
9. データの準備 3DGSデータ（ply形式）を「aist_cesium_threejs_3dgs¥public¥demo」下に移動 データの 準備 idex.htm lを編集 トークンの 取得 仮想環境 の構築 Cesiumの 起動 実行結果 の確認 追加した3DGSデータ
10. idex.htmlを編集 取得したアクセストークンに編集 Cesiumに反映させるためにindex.htmlを編集 データの 準備 idex.htm lを編集 トークンの 取得 仮想環境 の構築 Cesiumの 起動 実行結果 の確認 デモデータと同様の形式でリストを追加する
11. 仮想実行環境の構築 GitHubリポジトリではNode.jsを利用したローカル実行を紹介 データの 準備 idex.htm lを編集 トークンの 取得 仮想環境 の構築 Cesiumの 起動 実行結果 の確認 Docker fileを利用して環境を構築 ✓ 個人のPC環境への依存 ✓ Node.jsのバージョンの違いで問題が発生する 可能性 別のPCでも同じ環境で開発・実行可能 Docker fileの例 AIST Cesium Threejs 3DGS ライブラリを使用
12. 仮想実行環境の構築 Dockerを利用して仮想実行環境を構築 以下のコマンドを実行し、イメージをビルド 以下のコマンドを実行し、Docker Containerを起動 docker run -p 5173:5173 cesium_3dgs docker build -t cesium_3dgs . データの 準備 idex.htm lを編集 トークンの 取得 仮想環境 の構築 Cesiumの 起動 実行結果 の確認
13. Cesiumの起動 ブラウザで以下のURLにアクセス Cesium上に表現された3Dデータが表示される データの 準備 idex.htm lを編集 トークンの 取得 仮想環境 の構築 Cesiumの 起動 実行結果 の確認 <http://localhost:5173/>
14. 実行結果の確認 3DGSが追加できているか確認 追加できていると右上のタブに自身の追加した3DGSのタイトルが 表示され、選択すると3DGSを可視化することが出来る データの 準備 idex.htm lを編集 トークンの 取得 仮想環境 の構築 Cesiumの 起動 実行結果 の確認
15. 実行結果の確認 地球儀の上で3DGSのモデルを可視化することができた データの 準備 idex.htm lを編集 トークンの 取得 仮想環境 の構築 Cesiumの 起動 実行結果 の確認