日本全国・都市3D化プロジェクト「PLATEAU」とデータ変換OSS「PLATEAU GIS Converter」の公開

Slide 1

Slide 1 text

株式会社MIERUNE 西尾悟（@nokonoko_ 12 0 3 ） 2 0 2 4 - 1 1 - 3 0 Rust.Tokyo 2 0 2 4 都市3D化プロジェクト「PLATEAU」と「PLATEAU GIS Converter」の公開 RustによるGIS × 3 Dデータ処理

Slide 2

Slide 2 text

• 西尾悟（@nokonoko_ 12 0 3 ） • 前職: 建設コンサルタント（河川構造物） • 現職: 2児の父をやりながら株式会社 MIERUNEでGIS（地理空間情報）とWeb開発を行う、Engineering Managerです！ • Python / Rust / GIS / 点群 / 3D Tiles / AWS / WebGL / PLATEAU ADVOCATE / Cesium Certi fi ed Developer https://twitter.com/nokonoko_ 1203 https://qiita.com/nokonoko_ 1 203

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

さまざまなWeb技術を活用している「Web屋」です

Slide 5

Slide 5 text

文化財総覧WebGIS 奈良文化財研究所 https://heritagemap.nabunken.go.jp/ かつ「位置情報」に関わるならなんでもやる「GIS屋」です PLATEAU QGIS Plugin 国土交通省 https://github.com/MIERUNE/plateau-qgis-plugin マインクラフト高松市 https://www.city.takamatsu.kagawa.jp/kurashi/shinotorikumi/machidukuri/toshi/maikura.html AIST 3 DDB Client 産総研 https://mierune.github.io/aist_ 3 ddb_client/

Slide 6

Slide 6 text

PLATEAU to Minecraft（高松市） https://x.com/G 7 _MLIT_JAPAN/status/ 167 76 44 599 643 47 18 72 https://x.com/MIERUNE_inc/status/ 16 731 578 62 69 106 585 7 ?s= 2 0

Slide 7

Slide 7 text

自己紹介（会社や個人としての活動の一部） PLATEAU ADVOCATEとして、PLATEAUの社会実装に貢献 https://www.mlit.go.jp/plateau/journal/j 0 6 2 /

Slide 8

Slide 8 text

自己紹介（会社や個人としての活動の一部） Cesiumに関連する優れた開発スキルを証明し、Cesium Certi fi ed Developerに認定 https://cesium.com/cesium-certi fi ed-developer-program---japan/

Slide 9

Slide 9 text

自己紹介（会社や個人としての活動の一部）技術ブログなどでの積極的なアウトプット https://qiita.com/nokonoko_ 120 3

Slide 10

Slide 10 text

自己紹介（会社や個人としての活動の一部）東京大学でのデジタルツイン・ GISに関わる講義の一部に講師として参加 https://dss.csis.u-tokyo.ac.jp/event/ 2 023 10 12 /

Slide 11

Slide 11 text

https://twitter.com/MIERUNE_inc https://www.mierune.co.jp/ https://github.com/MIERUNE/ https://qiita.com/organizations/MIERUNE カジュアル面談やってます！気軽にご連絡ください！！ https://www.mierune.co.jp/careers

Slide 12

Slide 12 text

目次 • Project PLATEAUとは • データ変換ツールの必要性 • Rustの選定・課題と解決策 • プロジェクトの今後の展望

Slide 13

Slide 13 text

Project PLATEAUとはプロジェクトの背景と目的

Slide 14

Slide 14 text

Project PLATEAUとは国土交通省主導の「日本全国3D化プロジェクト」 https://www.mlit.go.jp/plateau/

Slide 15

Slide 15 text

Project PLATEAUとは Webサイトのデザインにも力を入れている https://www.mlit.go.jp/plateau/

Slide 16

Slide 16 text

PLATEAUの「デジタルツイン」実現に向けた多様な取り組みデータ整備の効率化‧ 高度化 https://www.mlit.go.jp/plateau/about/ 先進的なユースケース開発データ‧カバレッジの拡大

Slide 17

Slide 17 text

PLATEAL VIEW v 3 . 0 https://plateauview.mlit.go.jp/ • ブラウザで3D都市モデルを閲覧可能 • 218都市・ 2000万棟のデータが整備

Slide 18

Slide 18 text

地理空間情報としての3Dデータ https://plateauview.mlit.go.jp/ ただの3Dデータではなく、現実世界の情報を反映させた「地理空間情報」建築年度・高度・土地利用分類など

Slide 19

Slide 19 text

エンタメなどの分野でも活用されている https://www.youtube.com/watch?v=Jb 6 Zlg 30 rgk&ab_channel=mwamjapan

Slide 20

Slide 20 text

ユースケースの整備 3 D都市モデルの有用性 https://www.mlit.go.jp/plateau/about/ →現実世界にユースケースが数多く転がっている

Slide 21

Slide 21 text

市民協働による樹木管理DX https://www.mlit.go.jp/plateau/use-case/uc 2 3 - 14 / • 市民がスマートフォンアプリを使って都市公園内の樹木情報を収集し、データベース化する取り組み • 収集したデータは、樹木の環境価値（CO 2 吸収量など）の評価や、都市緑化・脱炭素まちづくりの推進に活用 • 仙台市の榴岡公園で実施され、市民参加型のワークショップを通じてデータ収集が行われた • この取り組みは、行政と市民の協働による樹木管理のデジタル化（DX）を目指している

Slide 22

Slide 22 text

都市高速道路管理の効率化 https://www.mlit.go.jp/plateau/use-case/uc 2 3 - 22 / • MMS測量で取得した高密度な点群データを用い、都市高速道路の各部材を自動分類・モデリングし、3D都市モデルを自動生成するシステムを開発 • 生成した3D都市モデルをGISソフトやBIMソフトで活用し、都市高速道路の管理・保全業務の効率化を目指している • 自動分類機能の精度は77% ～ 82%で、工数を75% ～ 80%削減できましたが、複雑な構造物の分類精度向上が課題として残った • アルゴリズムの高度化や3D都市モデルの詳細度向上を図り、低コストかつ効率的な道路インフラ管理業務の実現を目指す

Slide 23

Slide 23 text

地下街データを活用したナビゲーションシステム https://www.mlit.go.jp/plateau/use-case/uc 2 3 - 05 / • 東京駅や品川・高輪エリアで、地上と地下の情報を統合したデジタルツイン基盤を構築し、エリア全体をシームレスに繋ぐナビゲーションシステムを開発した • 既存の「東京ステーションナビ」アプリに、3D都市モデルを活用した三次元ルートナビゲーション機能やARナビゲーション機能を追加し、ユーザーの利便性を向上させた • 平常時だけでなく、災害時を想定した情報配信システムを開発し、避難場所や帰宅困難者受入施設の情報を提供することで、来街者の安全・安心をサポートしている • 駅と街を繋ぐ統合デジタルツインを活用し、エリアマネジメントのDX（デジタルトランスフォーメーション）を推進し、安全・安心・快適なエリアの実現を目指している

Slide 24

Slide 24 text

オープンデータの整備 Webサイトから自由にダウンロード可能 https://www.mlit.go.jp/plateau/open-data/

Slide 25

Slide 25 text

データ変換ツールの必要性

Slide 26

Slide 26 text

「PLATEAU」のデータは地理空間情報としての3Dデータ https://plateauview.mlit.go.jp/ ただの3Dデータではなく、現実世界の情報を反映させた「地理空間情報」建築年度・高度・土地利用分類など

Slide 27

Slide 27 text

地理空間情報とは https://www.geographyrealm.com/ 80 -percent-data-is-geographic/ 「地理空間情報」とは、地球上のありとあらゆるデータのこと「位置情報」と「属性情報」をもつ “ 8 0 % of data is geographic”（世にあるデータの80%は地理的なものである）

Slide 28

Slide 28 text

地理空間情報とは https://heritagemap.nabunken.go.jp/ 点・線・面の位置情報と、遺跡名・年代などの属性情報

Slide 29

Slide 29 text

地理空間情報とは https://maps.gsi.go.jp/ 航空写真などの「画像」も地理空間情報

Slide 30

Slide 30 text

地理空間情報とは地図投影法早見表 https://www.wing fi eld.gr.jp/archives/ 1 09 39 「座標参照系」: 地球上の位置を数値の座標で表現するための基準地球のような楕円体を平面（画面・紙）に投影する場合、距離・面積・角度が必ず歪む

Slide 31

Slide 31 text

地理空間情報を利用した効果的なビジュアライゼーション例全国100万件の交通事故マップ-みえない交差点朝日新聞デジタル https://www.asahi.com/special/jiko-kosaten/ ウクライナ戦時下の復興キーウ近郊からの報告読売新聞オンライン, 特別協力：渡邉英徳・東京大学大学院教授 https://www.yomiuri.co.jp/world/ukraine-reconstruction/ あなたの街の地価は？　マップで見る上昇と下落日本経済新聞 https://vdata.nikkei.com/newsgraphics/land-value-map/

Slide 32

Slide 32 text

「 3 D」の「地理空間情報」 https://en.wikipedia.org/wiki/CityGML • 「都市機能」を記述するデータ形式である「CityGML」の採用 • 都市の3Dモデルを保存するための交換形式 • 建物・道路・河川・橋梁・植生・都市設備など

Slide 33

Slide 33 text

世界中の様々な都市でデータ整備がされている https:// 3 d.bk.tudelft.nl/opendata/opencities/

Slide 34

Slide 34 text

「都市機能を記述する」という目的から、ファイルサイズも巨大なものになる • 3 Dデータ記述した「XML」であるため、重たい（解凍後10GBを超えることがほとんど） • 変換して利用することが前提の中間形式である

Slide 35

Slide 35 text

仕様書は膨大 PDFで1000ページを超える https://www.mlit.go.jp/plateau/ fi le/libraries/doc/plateau_doc_ 00 01 _ver 04 .pdf

Slide 36

Slide 36 text

仕様が難解

Slide 37

Slide 37 text

仕様が難解

Slide 38

Slide 38 text

仕様が難解

Slide 39

Slide 39 text

仕様が難解だが、高品質なモデルが作成できる https://plateauview.mlit.go.jp/

Slide 40

Slide 40 text

仕様が難解だが、高品質なモデルが作成できる https://plateauview.mlit.go.jp/

Slide 41

Slide 41 text

仕様が難解だが、高品質なモデルが作成できる https://plateauview.mlit.go.jp/

Slide 42

Slide 42 text

仕様が難解だが、高品質なモデルが作成できる https://plateauview.mlit.go.jp/

Slide 43

Slide 43 text

高品質だが、利用までのハードルが高い →変換のためのOSS実装に至る • 「機械可読可能なXML形式」ではあるが、仕様が難解すぎる • ファイルサイズが膨大なため、そのままの利用はできない • 変換のためには高価な有償ソフトウェアが必要

Slide 44

Slide 44 text

「PLATEAU GIS Converter」の実装 https://github.com/MIERUNE/plateau-gis-converter

Slide 45

Slide 45 text

「 3 D Tiles」への変換 https://github.com/MIERUNE/plateau-gis-converter

Slide 46

Slide 46 text

変換可能フォーマット • GeoPackage • GeoJSON • Wavefront OBJ • glTF • 3 D Tiles • Mapbox Vector Tiles (MVT) • CZML • KML • Shape fi le • Minecraft

Slide 47

Slide 47 text

変換可能フォーマット • GeoPackage → GISに特化したSQLite • GeoJSON → GISに特化したJSON • Wavefront OBJ → 3 Dデータを格納するテキストデータ群 • glTF → 3 Dデータを格納するバイナリデータ群 • 3 D Tiles → glTF • Mapbox Vector Tiles (MVT) → タイル形状に分割されたpbf • CZML → 4 Dデータを格納するJSON • KML → Google Earthで利用するXML • Shape fi le → GISに特化したバイナリデータ群 • Minecraft → ボクセル

Slide 48

Slide 48 text

GeoPackage • SQLiteをGISに特化する形で拡張したもの • 単一のファイルで複数のレイヤー（道路と建物、など）を管理できる • DBのため、パフォーマンスも良い • オープンソースGIS界隈では実質の業界標準となっている OGC® GeoPackage Encoding Standard https://www.geopackage.org/spec/

Slide 49

Slide 49 text

GeoJSON • JSON形式（テキスト形式）で地物を表現 • 点（Point）・線（LineString）・面（Polygon）の他に複数形（Multi〇〇）が定義可能 • JavaScriptで取り扱いやすい • 人間可読性が高い • テキスト形式のため、ファイルサイズが肥大化しやすい

Slide 50

Slide 50 text

Wavefront OBJ • 3 Dモデルの形状データを記録するファイル形式 • 頂点座標や面の情報などをテキスト形式で記述する • 多くの3DCGソフトウェアで採用され、標準的なデータ交換形式の1つ • マテリアル情報は別ファイル(.mtl)で定義し、テクスチャマッピングなども可能

Slide 51

Slide 51 text

glTF • WebGLでの利用が想定された3Dデータ • JSON/.bin/Textureの3パートに分かれる • 3 D形状の他に、カメラ・ライトの位置、アニメーションなどの3Dシーン全体を記録する • JSON形式の「glTF」とバイナリ形式の「glb」がある • 3 D Tilesは複数のglbからなるフォーマット glTF https://www.khronos.org/gltf/

Slide 52

Slide 52 text

3 D Tiles • Webで大規模3Dデータを可視化するためのデータ • 「タイル」に分割されているため、個々のファイルサイズが小さくなる • カメラとの距離によってタイルが変わる • 点群データやメッシュデータなどの高速に描画することができる • glTFがベースとなっている • Cesiumなどで可視化することができる 3 D Tiles https://github.com/CesiumGS/ 3 d-tiles

Slide 53

Slide 53 text

Mapbox Vector Tiles (MVT) • ベクタータイルとも呼ばれるタイル形式の Protocol Bu ff ers • 主にWeb地図利用される • ベクトル形式（点、線、ポリゴン）のままタイル分割されて配信される • 拡張子は.mvtや.pbfが利用される国土地理院ベクトルタイル提供実験 https://maps.gsi.go.jp/development/vt_expt.html

Slide 54

Slide 54 text

CZML • Cesiumで利用可能な4D（ 3 D × 時系列）フォーマット • JSON形式で記述される • 線、点、3Dモデルなどを利用した時系列アニメーションを作成することができる • CZMLからglTFを参照することも可能 Cesium Time Animation using CZML https://cesium.com/blog/ 2 0 1 8 / 03 / 21 /czml-time-animation/

Slide 55

Slide 55 text

KML • Google Earthなど使用されるXMLベースのファイル形式 • ポイント、ライン、ポリゴンや各要素に対して、説明文や色・大きさなどのスタイルを設定可能 • 圧縮形式のKMLも存在する

Slide 56

Slide 56 text

Shape fi le • 1990年代から存在する、古いバイナリ形式のフォーマット • 地方公共団体などで広く利用されているが、デメリットが多い • ファイルサイズに2GBの制限がある • フィールド名が最長 10 文字まで • フィールド数が最大 255個まで • 最低3ファイル必要 • など

Slide 57

Slide 57 text

Minecraft（MCA） • .mcaファイルは、Minecraft（Java版）のワールドデータを保存するために使用される独自のファイル形式 • 1つの.mcaファイルには、最大 1024個のチャンク（ 32 x 32 のチャンク領域）のデータが含まれている • 5 12 m× 512 m（× 38 4 mの高さ）の領域に相当

Slide 58

Slide 58 text

Rustの選定・課題と解決策

Slide 59

Slide 59 text

Rustである必然性があった大規模データの高速変換 XMLのような冗長なテキスト形式かつ3Dデータであるため、変換対象は10GBを超えることもある。 1都市丸ごと変換するユースケースは多々あり、これらを現実的な時間で変換するためには高速かつ安全に並列処理を行う必要があった。クロスプラットフォームでのビルド幅広いユーザーを取り込む必要があったため、WindowsとmacOSの2つのプラットフォームで動作させる必要があった。 Rustのように1つのコードベースから複数のプラットフォームにビルドすることが可能な点は、非常に魅力的に見えた。 GUIの構築複雑なコマンドライン操作を避け、一般ユーザーでも直感的に利用できるGUIが求められていた。 Web屋が簡単に構築でき、Rustの恩恵を受けることができるTauriの存在は大きかった。

Slide 60

Slide 60 text

Tauri（GUI）の存在 • JavaScriptでフロントエンドを開発可能 • Rustでバックエンド開発を行う • Tauri 2 . 0 ではLinux、macOS、Windows、Android、iOS 用のアプリを開発可能 https://tauri.app/

Slide 61

Slide 61 text

TypeScript or Python？ 🙆GISに利用されるツール群が数多く揃っている 🙅低速 🙅良いGUI構築ツールがなかった 🙆全てTSでGUIが作れる（Electron） 🙅GIS処理・ XMLのパースなどはフルスクラッチ

Slide 62

Slide 62 text

ただし、ハードルは高い • RustのGISクレートは存在しないが、3次元に対応したクレートは存在しない • ポリゴンの三角化・専用の幾何データ表現を実装 • 標高を楕円体高に変換、地心座標系への変換、平面直角座標系の定義などを実装 • MIERUNE/ fl atgeom-rs ・ MIERUNE/earcut-rs ・ MIERUNE/japan-geoidなどを公開 • PLATEAU仕様に準拠したCityGMLをパースするクレートも存在しない • XMLスキーマを解析し、定義 • 手続きマクロで導出 • 個別ファイル形式ごとの仕様を満たす、出力ドライバーを実装 • 特に、プロジェクトで最重要な3D Tilesの最新仕様を満たすクレートを実装 • テクスチャアトラス作成・解像度最適化のためのクレートも実装

Slide 63

Slide 63 text

アーキテクチャパイプラインアーキテクチャを採用、各処理はチャネルを利用した並列化で処理

Slide 64

Slide 64 text

Rust × Geometry 3次元データを別の座標系に変換させるための機能は、すぐに実装されない（2次元データ専用） https://github.com/georust/proj/issues/ 1 50

Slide 65

Slide 65 text

Rust × Geometry 3次元ポリゴン用の幾何データ表現を実装（MIERUNE/ fl atgeom-rs） • ジャグ配列を回避したフラットなデータ構造 • 効率的なシリアライズ・デシリアライズが可能 • 3次元座標に対応 https://github.com/MIERUNE/ fl atgeom-rs

Slide 66

Slide 66 text

Rust × Geometry 3次元での座標変換 • 3次元の地理座標（経緯度・標高）から地心座標（XYZ）への変換 • 経緯度だけでなく、平面直角座標系とよばれる日本固有のXYZ座標も入力として受け付ける • 独自に計算処理を実装 https://www.gsi.go.jp/kanshi/faq.html# 3

Slide 67

Slide 67 text

• mapbox/earcutを参考にRustで再実装 • 入力されたポリゴンを全て三角形に分割する • glTFに変換するためには、事前に分割が必要 https://github.com/MIERUNE/earcut-rs Rust × Geometry 3 Dデータ変換のための三角形化（MIERUNE/earcut-rs）

Slide 68

Slide 68 text

XMLスキーマを解析し、構造体を定義 • CityGML ・ GML ・ i-UR のスキーマの上に、 PLATEAU独自の仕様が定められている • XMLスキーマから、構造体定義用の文字列を得るプログラムも実装 • 20種類ある地物の型を個別にパスを定義 Rust × CityGML https://github.com/MIERUNE/plateau-gis-converter/tree/main/nusamai-plateau

Slide 69

Slide 69 text

quick-xmlによる高速なXMLパース • ファイルサイズが大きいため、DOMツリー全体をメモリに載せるのは難しい • StAX（Streaming API for XML）ベースのパーサーのためストリーミング可能で、メモリ効率が良い • オーバーヘッドも少ないため、高速に処理可能 Rust × CityGML https://github.com/ta fi a/quick-xml

Slide 70

Slide 70 text

• 地物を地理的に「タイル分割」し、glTF拡張仕様を満たしたglbファイルを大量に出力 • 3 D Tiles仕様を満たしたtileset.jsonを出力 • テクスチャなどを適切に貼り付ける • 大量にファイル出力を行うため至る所で並列化 • テクスチャなしのデータであれば、1GB程度の CityGML to 3 D Tilesが1s未満で完了 Rust × 3 D Tiles 「 3 D Tiles」の出力（MIERUNE/cesiumtiles-rs） https://github.com/MIERUNE/cesiumtiles-rs

Slide 71

Slide 71 text

• {zoom}/{x}/{y}.glbのように、タイル分割されたファイルを出力する • 地物を分割→タイル順にソート→タイルを出力の手順を全てRayonとmpscで並列化 Rust × Parallel Processing タイル分割の並列化 https://maps.gsi.go.jp/development/siyou.html

Slide 72

Slide 72 text

• glTFのモデル定義がなされたクレートは存在するが、属性情報を取り扱うことは出来ないため、自作 • 具体的に以下の拡張機能に対応していない • EXT_mesh_features: 頂点に「地物ID」を振る • EXT_structural_metadata: 地物IDと属性情報を紐付ける https://github.com/CesiumGS/glTF/tree/ 3 d-tiles-next/extensions/ 2 . 0 /Vendor/EXT_mesh_features Rust × 3 D Tiles https://github.com/CesiumGS/glTF/tree/ 3 d-tiles-next/extensions/ 2 . 0 /Vendor/EXT_structural_metadata glTFの拡張仕様に対応

Slide 73

Slide 73 text

• 元データは（基本的に）地物ごとにテクスチャが作成されている上、重複箇所も多い • そのまま利用すると大量の画像ファイルがglTF に組み込まれ、ファイルサイズやドローコール増加により描画パフォーマンスが低下する • テクスチャアトラスを作成することで、どちらも低減を図れる https://github.com/MIERUNE/atlas-packer Rust × Texture 数千枚の画像を効率的に配置テクスチャアトラス作成のためのモジュールを実装（MIERUNE/atlas-packer）

Slide 74

Slide 74 text

• ファイルサイズ・処理時間のどちらも効率よく • タイルのズームレベルに合わせた低解像度化 • webp利用などによるファイルサイズ軽減 • アトラスの空きスペースを埋めるように配置 • 画像キャッシュなどによる読み書き速度軽減 https://github.com/MIERUNE/atlas-packer Rust × Texture タイルごとの更なる画像最適化

Slide 75

Slide 75 text

（おまけ）Rust × Minecraft • ポリゴンをボクセライズするアルゴリズムを実装 • Minecraftで利用可能な.mca形式に変換 • CityGMLが保有する「地物型」（道路、植生など）に応じて利用するブロックを変更 https://github.com/MIERUNE/dda-voxelize-rs ddaアルゴリズムによるボクセライザーの実装（MIERUNE/dda-voxelize-rs）

Slide 76

Slide 76 text

（おまけ）Rust × PointCloud • LAS/LAZやCSVなどの一般的な点群データを取り込み、3D Tilesに変換するツールを作成 • ズームに応じた適切な点群の間引きや量子化による圧縮アルゴリズムなどを実装 • ロードされれば超高速で動作する https://github.com/MIERUNE/point-tiler 点群データの3D Tiles化（MIERUNE/point-tiler）

Slide 77

Slide 77 text

プロジェクトの今後の展望

Slide 78

Slide 78 text

より手軽に、便利に • 現状はシンプルというなの無骨なUI • 地図屋らしく、地図から選択できるようにしたい

Slide 79

Slide 79 text

よりファイルサイズを削減 • ジオメトリ • meshopt/Dracoなどによる圧縮 • テクスチャ • Basis Universalによる超圧縮 • KTX 2 の利用 https://www.khronos.org/ktx/

Slide 80

Slide 80 text

Basis Universal • GPUが直接扱える圧縮テクスチャフォーマット • 解凍する必要がないため、メモリ使用量が大幅に削減される • glTFファイルフォーマットでサポートされている • ファイルサイズとGPUメモリ使用量の大幅な削減につながる • レンダリング速度が向上する https://www.khronos.org/ktx/

Slide 81

Slide 81 text

RustでのGIS × 3 D分野への貢献 • GeoRustへの貢献 • 特に、3次元座標 • その他、OSSの自作など https://georust.org/

Slide 82

Slide 82 text

継続して開発中！興味があれば皆さんも是非！