衛星画像超解像化によって実現する2D, 3D空間情報の即時生成と“AI as a Service”/ Real-time generation spatial data enabled_by satellite image super-resolution

オービタルネットでは、様々な衛星画像を用いた地理空間情報の生成を行っています。本発表では、Capella（SAR）, Sentinel-2, GRUS, WorldView-2, 3などさまざまな衛星画像を、拡散モデルベースの画像生成AIにより超(超)解像画像を生成したのち、2D（セグメンテーションとマスク正規化）及び3D（単眼深度推定=衛星画像からレーザー点群やDEMを用いず建物3Dモデルを生成）の地理空間情報を即時生成する取り組みをご紹介します。また、衛星画像の入力から地理空間情報の出力までをE2Eで実現する “AI as a Service” に向けた取り組みや、最近話題のS2DR3やDINOv3等の衛星画像解析のSOTAモデルについても触れたいと考えます。

Transcript

1. 2025/10/13 2025/10/13 株式会社オービタルネット 代表取締役CEO 小林裕治 2025/10 衛星画像超解像化によって実現する 2D, 3D空間情報の即時生成と “AI as a Service” {Capella, Sentinel-2, GRUS, WorldView-2, WorldView-3}での事例
2. 2025/10/13 2025/10/13 自己紹介 小林 裕治（Yuji Kobayashi） 株式会社オービタルネット 代表取締役 CEO （旧Twitter）@lehua555 （会社の取り組みも随時こちらで紹介しています） 週末は標高1300mの山小屋で暮らしています。 1
3. 2025/10/13 2025/10/13 2 本日の内容 • AIと衛星画像を使用した取り組み紹介 • これまでの実績～現在の取り組み（現在の深層学習モデルを使用した） • 超解像(最大×20)、xyzタイルのレベル21までのデモ（QGIS＋mbtile） {Sentinel-2(L1C, L2A), GRUS, WorldView-2,3, Capella} • セグメンテーション、建物フットプリント • 単眼深度推定による建物屋根形状３Ｄモデル生成、年間平均日照解析 • AI×衛星画像のWebサービス化、現状と課題 • まとめ • （おまけ） • Geminiを使用した空中写真・衛星画像の線画→塗り絵地図生成
4. 2025/10/13 2025/10/13 これまでマニュファクチャーでは不可能であった、短期間での県・全国規模のデータ生成が可能になった！ これまで︓衛星画像×AI＝地理空間情報の自動生成 斜面崩壊箇所（差分解析） 園芸施設 駐車場 ソーラーパネル（土地） 建物 道路 ソーラーパネル（建物） 地理院タイル ©Maxar Technologies ©Maxar Technologies ©Maxar Technologies 半田市航空写真 半田市航空写真 ©NTTインフラネット 3
5. 2025/10/13 2025/10/13 WorldView-2を用いた全国規模のAI判読実績あります 図は、GEOSPACE CDSをベースとしたソーラーパネル（土地・建物）のセグメンテーションと可視化例 4
6. 2025/10/13 2025/10/13 これから︓AI×地理空間情報の未踏領域に挑戦 “生成AIラボ” を立ち上げ、 斬新な技術をユーザーの利用価値をとして提供する AI as a Service の実現 https://www.orbitalnet.jp/labo/ 5
7. 2025/10/13 2025/10/13 img2img (SR, Colorize) : Controlled T21 Diffusion Model Object Detection ：YOLOv11 & other 当社で使用している深層学習モデルは、いわゆるSOTA（State-of-the-Art) モデル ではありません。また、衛星画像に特化したモデルでもありません。２, ３年は遅れをとって いると認識しています。それでも、アノテーション、ヘッドの改良、追加学習、前処理、後処 理、可視化を含めた、総合力でなんとか食らいついていきたいと考えています。 当社が主に使用している深層学習モデルについて ※地理情報系のツールは主にGDALを使用。仮想環境下ではrasterioを使用、 建物正規化のジオコーディングは、OpenCV+オリジナル・アルゴリズム 6 Segmentation : Deformable Attention Transformer
8. 2025/10/13 2025/10/13 当社では、衛星画像の超解像化を積極的に行っています。 これは超解像化自体が目的ではなく、 その下流にある目視及び機械判読を容易にするための 必要な前処理と位置付けています。 衛星画像の超解像化について ※WorldView用の超解像モデルの性能は、SSIM:0.83、PSNR:34 但し、評価用LR,HRは学習時とは異なるソースの空中写真を使用してはいるが 実際のテストは衛星画像であるため、正しい評価とはいえない。 7
9. 2025/10/13 2025/10/13 Sentinel-2用 学習済モデル WorldView用 学習済モデル GRUS用 学習済モデル バイリニア 補間 ×2.5 Sentinel-2 衛星画像 GRUS 衛星画像 2段階の超解像でBoost Up HyperResolution （8倍～10倍）の仕組み 4倍 2倍 前処理 4倍 Sentinel-2やGRUSの衛星画像から建物のマッピングを実現させるため、 2段階Boostで超解像画像を生成しています 8
10. 2025/10/13 2025/10/13 9 Sentinel-2（L1C） Hyper Resolution×10
11. 2025/10/13 2025/10/13 Sentinel-2（L1C） Hyper Resolution×10 つまり、1m解像度に超解像化︕ まだまだいけます! ！ 10 趙解像 from Sentinel-2 L1C（Copernicus Sentinel data）
12. 2025/10/13 2025/10/13 Sentinel-2の衛星画像（10m解像度） 50㎝解像度に！ Sentinel-2 Hyper Resolution×20 アーキファクト覚悟のうえで 20倍の超解像化で50cmキファクト解像度に! 建物フットプリントも生成可能！ 但し、建物数件を集積した総描です 11
13. 2025/10/13 2025/10/13 12 『GRUS』 Hyper Resolution×8 趙解像 from GRUS（@Axelspace）
14. 2025/10/13 2025/10/13 『GRUS』 Hyper Resolution×8 → Building FootPrint 13
15. 2025/10/13 2025/10/13 超解像（４倍） 薄い雲がかかっていても雲を除去し、空中写真並みの鮮明な画像を生成 WorldView-3（35㎝） ©Maxar Technologies WorldView-3（30cm） Super Resolution 14
16. 2025/10/13 2025/10/13 15 WorldView-3（30cm） Super Resolution ©Maxar Technologies
17. 2025/10/13 2025/10/13 WorldView-3（35㎝） 庭木や駐車桝（白線）等が鮮明になる 超解像（×4） 趙解像 from WorldView-3（©Maxar Technologies） WorldView-3（30cm） Super Resolution 16
18. 2025/10/13 2025/10/13 71,024 Building Polygons WorldView-3 高解像度衛星画像から建物フットプリント抽出例 超解像による画像の鮮明化でAIによる自動抽出の精度向上 ©Maxar Technologies 17
19. 2025/10/13 2025/10/13 超解像画像（解像度約17.5cm） 自動生成した建物ポリゴン 高解像度衛星画像から建物フットプリント抽出例 超解像による画像の鮮明化でAIによる自動抽出の精度向上 18
20. 2025/10/13 2025/10/13 SAR画像 imagery from Capella Space 光学画像化＋超解像（２倍） 合成開口レーダー（SAR）の光学画像化 天候に左右されないリアルタイム性の高いSAR画像から光学画像を生成する 19
21. 2025/10/13 2025/10/13 インスタンス・セグメンテーションの事例（屋根上PV） 当社では、インスタンス・セグメンテーションの評価指標は、インスタンスIoU（インスタンス同士の重なり具合： ここでは屋根上PV）で評価している。屋根上PVのケースでは、0.95を達成。 20
22. 2025/10/13 2025/10/13 21 超解像画像表示デモ（QGIS＋mbtile） をごらんください
23. 2025/10/13 2025/10/13 単眼深度推定とは、単視点の画像から被写体までの距離を深層学習モデルを用いて画像生成する技術で す。 当社では衛星画像から単眼深度推定という手法を用いて、DepthMap→DSM（簡易3D屋根形状）を 生成する取り組みを行っています。標高値は取得できませんが、おおよそ地形なら再現可能です。 （衛星画像から土砂災害の状況把握等） 単眼深度推定に関する取り組み 22
24. 2025/10/13 2025/10/13 衛星画像AI単眼深度推定による簡易3D建物データ生成 衛星画像（50cm） ３Dサーフェース・モデル Birds-Eye View 2倍に超解像化してAIによる単眼深度推定 切妻屋根、寄棟屋根、陸屋根が再現できている 23
25. 2025/10/13 2025/10/13 • Open3D： PLY/OBJ/PCDの入出力、法線推定、ダウンサンプリング、KD-tree Poisson／Ball-Pivotingによるメッシュ化、簡易可視化 • Trimesh： 必要時のクイックなメッシュ処理：巻き方向チェック、修復など • PDAL ： LAS/LAZ/PCDのフィルタリングとフォーマット変換 • rasterio／GDAL : GeoTIFFの読み書き、CRS設定、ウィンドウ処理、メタデータ操作 • pyproj ： EPSG変換や測地ユーティリティ 3D建物モデルを活用した日射量解析への応用 ▪前処理、後処理 ▪単眼深度推定: • Depth-Anything v2 • Distil Any Depth 単眼深度推定を用いて3次元建物屋根形状を生成し、さらに屋根上の平均日射量を 算出しソーラーパネルの設置に適した家屋を抽出、推奨パネル形状までを求めようとする 取り組みを紹介します。 24
26. 2025/10/13 2025/10/13 深度画像からDSM、3Dポリゴン化 まず、光源を設定し、光を照射して建物屋根形状が概ね正しく取得できているか可視化 （QGISで陰影図を作成して、カラーマップをGRAYからGnYlRdに変更したもの） 25
27. 2025/10/13 2025/10/13 単眼深度推定で取得した3D建物モデルの日射量解析への応用 DSM （GeoTIFF） 陰影図 （Gray→GreenRed） Polygon化 （TIN） スムージング （TIN） 日射量計算は、pvlib-pythonを使用 26 DSMからPolygon化、さらにスムージング
28. 2025/10/13 2025/10/13 衛星画像の入力から年平均日射量解析・3D可視化をパイプライン処理 Solar Irradiance of Roof Top 27
29. 2025/10/13 2025/10/13 衛星画像から地理空間情報を生成までE2Eで実現するAIサービスの実現 これまで社内のGPUリソースを使用して実現していた生成AI工程を AWSのGPUインスタンスを使用してAIaaSとして提供したい ※現在はデモ版として実装済であるが但し外部公開はしていない 28
30. 2025/10/13 2025/10/13 ©Maxar Technologies AIaaSのイメージ（建物図化） 入力画像︓WorldView-3（35cm） Webブラウザでプレビュー WorldView-3の衛星画像から建物ポリゴンをE2Eで自動生成 薄い雲がかかった画像 29
31. 2025/10/13 2025/10/13 GRUS衛星画像（2.5m解像度）から、単眼深度推定によって 3次元簡易建物モデルをE2Eで自動生成 入力画像︓GRUS（2.5m） ©Axelspace GRUSの簡易3Dモデルをブラウザで表示 AIaaSのイメージ（単眼深度推定①） 30
32. 2025/10/13 2025/10/13 Sentinel-2衛星画像（10m解像度）から、単眼深度推定によって 3次元簡易建物モデルをE2Eで自動生成 入力画像︓Sentinel-2（10m） Sentinel-2の簡易3Dモデルをブラウザで表示 ※建物は元画像で読み取れる範囲で総描になります。 AIaaSのイメージ（単眼深度推定②） 31
33. 2025/10/13 2025/10/13 AIaaSのイメージ（単眼深度推定→屋根上PV設置評価） WorldView2,3の衛星画像から、単眼深度推定によって 3次元屋根モデルを自動生成し、平均日射量を推定しPV設置評価をE2Eで出力 32
34. 2025/10/13 2025/10/13 Webサービスに向けた課題 衛星画像を超解像化して建物フットプリントを生成する工程のうち、超解像処理時間 が全体の8割～9割を占める。これは拡散モデル特性上の課題 • サンプラー、蒸留などの検討で、拡散過程をショートカットしたい • Flow Matching（直接的な流れを学習するモデル）に興味あり とりあえず、処理時間短縮の目途が立って、あとは画質の再現性。現在テスト段階 33
35. 2025/10/13 2025/10/13 まとめ • 超解像化は、その下流にある目視及び機械判読を容易にするために必要な前処理 • 深層学習モデルは、いわゆるSOTA（State-of-the-Art)モデルではない。 また、衛星画像に特化したモデルでもない。最先端から２, ３年は遅れているかも。 • 趙解像モデルをBoostして使用することでSentinel-2(→50㎝)、Grus（→約30cm） まで拡大し建物等マッピングも可能に。但し、細かい部分でアーキファクト発生の可能性あり。 • 趙解像と単眼深度推定を組み合わせることで、屋根3D化で平均日射量の推定も可能 • 上記内容をWebサービス化（AI as a Service)を本気で目指す︕ 課題の超解像化工程（拡散モデル使用）を大幅に時間短縮する目途がたち、 まずデモ版から公開予定 34
36. 2025/10/13 2025/10/13 35 最後に Geminiで線画作成が流行っていたので・・・ https://www.linkedin.com/posts/davidoesch_map-generation-geospatial-activity-7379129420801875968-yNzj/ こちらの手法をもとに生成したものです。 線画生成からの塗り絵地図 Workflow 1⃣ Map styles → Started with the official swisstopo Mapbox vector styles, available via API: https://lnkd.in/eFsgcXAC 2⃣ Prompt generation → Used Perplexity to translate the JSON style into clear instructions for a generative prompt: https://lnkd.in/ec9mcdZS 3⃣ Input data → Took a SWISSIMAGE aerial photo of Interlaken as the source: https://lnkd.in/eKA49jCB 4⃣ Processing → Combined the generated prompt with the aerial image in Gemini: https://lnkd.in/eHErmiaa ( choose: generate an image) 5⃣ Output → The AI returned a topographic-style rendering with high positional precision : see animated gif
37. 2025/10/13 2025/10/13 36 趙解像 from 地理院タイル（空中写真） 地理院タイル（空中写真）を4倍に超解像化した画像からGeminiで生成（入力画像）
38. 2025/10/13 2025/10/13 37 地理院タイル（空中写真）を4倍に超解像化した画像からGeminiで生成（生成画像）
39. 2025/10/13 2025/10/13 38 Sentinel-2（L1C）を10倍に超解像化した画像からGeminiで生成（入力画像）
40. 2025/10/13 2025/10/13 39 Sentinel-2（L1C）を10倍に超解像化した画像からGeminiで生成（生成画像）
41. 2025/10/13 2025/10/13 40 Sentinel-2（L1C）を10倍に超解像化した画像からGeminiで生成 ちなみにOpenStreetMapではこんな感じ（建物はだいぶ昔に私がマッピングました）
42. 2025/10/13 2025/10/13 41  Major Road (Diagonal) Trunk Road: Golden yellow fill rgb(248, 207, 117) with dark brown casing rgb(70, 55, 30).  Residential Streets Tertiary/Minor Roads: White fill rgb(255, 255, 255) with dark gray casing rgb(60, 60, 60).  Buildings (Dense central area) Standard Buildings: Medium gray fill rgb(170, 172, 174) with dark gray outline rgb(154, 156, 158).  Golf Course (Managed Turf) Parks and Green Spaces: Pale green fill rgb(211, 235, 199) at 0.35 opacity.  Forest/Dense Tree Cover Forests and Woodlands: Vibrant green rgb(62, 168, 0) at 0.2 opacity.  Farmland/Open Fields Residential/Urban Green: Beige fill rgb(246, 219, 164).  Water Ponds Lakes and Oceans: Light sky blue fill rgb(210, 238, 255).  Terrain Hillshading: Subtle gray scale gradient applied to indicate relief, utilizing the specified opacity and colors. Feature Type Style Applied (Based on specifications)
43. 2025/10/13 2025/10/13 ご清聴ありがとうございました︕ 42