Share
Embed
衛星画像超解像化によって実現する2D, 3D空間情報の即時生成と“AI as a Service”/ Real-time generation spatial data enabled_by satellite image super-resolution
オービタルネットでは、様々な衛星画像を用いた地理空間情報の生成を行っています。本発表では、Capella(SAR), Sentinel-2, GRUS, WorldView-2, 3などさまざまな衛星画像を、拡散モデルベースの画像生成AIにより超(超)解像画像を生成したのち、2D(セグメンテーションとマスク正規化)及び3D(単眼深度推定=衛星画像からレーザー点群やDEMを用いず建物3Dモデルを生成)の地理空間情報を即時生成する取り組みをご紹介します。また、衛星画像の入力から地理空間情報の出力までをE2Eで実現する “AI as a Service” に向けた取り組みや、最近話題のS2DR3やDINOv3等の衛星画像解析のSOTAモデルについても触れたいと考えます。
Yuji Kobayashi
October 12, 2025
Transcript
43 slides
-
2025/10/13 2025/10/13 株式会社オービタルネット 代表取締役CEO 小林裕治 2025/10 衛星画像超解像化によって実現する 2D, 3D空間情報の即時生成と “AI
as a Service” {Capella, Sentinel-2, GRUS, WorldView-2, WorldView-3}での事例 -
2025/10/13 2025/10/13 自己紹介 小林 裕治(Yuji Kobayashi) 株式会社オービタルネット 代表取締役 CEO (旧Twitter)@lehua555
(会社の取り組みも随時こちらで紹介しています) 週末は標高1300mの山小屋で暮らしています。 1 -
2025/10/13 2025/10/13 2 本日の内容 • AIと衛星画像を使用した取り組み紹介 • これまでの実績~現在の取り組み(現在の深層学習モデルを使用した) • 超解像(最大×20)、xyzタイルのレベル21までのデモ(QGIS+mbtile)
{Sentinel-2(L1C, L2A), GRUS, WorldView-2,3, Capella} • セグメンテーション、建物フットプリント • 単眼深度推定による建物屋根形状3Dモデル生成、年間平均日照解析 • AI×衛星画像のWebサービス化、現状と課題 • まとめ • (おまけ) • Geminiを使用した空中写真・衛星画像の線画→塗り絵地図生成 -
2025/10/13 2025/10/13 これまでマニュファクチャーでは不可能であった、短期間での県・全国規模のデータ生成が可能になった! これまで︓衛星画像×AI=地理空間情報の自動生成 斜面崩壊箇所(差分解析) 園芸施設 駐車場 ソーラーパネル(土地) 建物 道路
ソーラーパネル(建物) 地理院タイル ©Maxar Technologies ©Maxar Technologies ©Maxar Technologies 半田市航空写真 半田市航空写真 ©NTTインフラネット 3 -
2025/10/13 2025/10/13 これから︓AI×地理空間情報の未踏領域に挑戦 “生成AIラボ” を立ち上げ、 斬新な技術をユーザーの利用価値をとして提供する AI as a Service
の実現 https://www.orbitalnet.jp/labo/ 5 -
2025/10/13 2025/10/13 img2img (SR, Colorize) : Controlled T21 Diffusion Model
Object Detection :YOLOv11 & other 当社で使用している深層学習モデルは、いわゆるSOTA(State-of-the-Art) モデル ではありません。また、衛星画像に特化したモデルでもありません。2, 3年は遅れをとって いると認識しています。それでも、アノテーション、ヘッドの改良、追加学習、前処理、後処 理、可視化を含めた、総合力でなんとか食らいついていきたいと考えています。 当社が主に使用している深層学習モデルについて ※地理情報系のツールは主にGDALを使用。仮想環境下ではrasterioを使用、 建物正規化のジオコーディングは、OpenCV+オリジナル・アルゴリズム 6 Segmentation : Deformable Attention Transformer -
2025/10/13 2025/10/13 Sentinel-2用 学習済モデル WorldView用 学習済モデル GRUS用 学習済モデル バイリニア 補間
×2.5 Sentinel-2 衛星画像 GRUS 衛星画像 2段階の超解像でBoost Up HyperResolution (8倍~10倍)の仕組み 4倍 2倍 前処理 4倍 Sentinel-2やGRUSの衛星画像から建物のマッピングを実現させるため、 2段階Boostで超解像画像を生成しています 8 -
2025/10/13 2025/10/13 Sentinel-2(L1C) Hyper Resolution×10 つまり、1m解像度に超解像化︕ まだまだいけます! ! 10 趙解像
from Sentinel-2 L1C(Copernicus Sentinel data) -
2025/10/13 2025/10/13 • Open3D: PLY/OBJ/PCDの入出力、法線推定、ダウンサンプリング、KD-tree Poisson/Ball-Pivotingによるメッシュ化、簡易可視化 • Trimesh: 必要時のクイックなメッシュ処理:巻き方向チェック、修復など •
PDAL : LAS/LAZ/PCDのフィルタリングとフォーマット変換 • rasterio/GDAL : GeoTIFFの読み書き、CRS設定、ウィンドウ処理、メタデータ操作 • pyproj : EPSG変換や測地ユーティリティ 3D建物モデルを活用した日射量解析への応用 ▪前処理、後処理 ▪単眼深度推定: • Depth-Anything v2 • Distil Any Depth 単眼深度推定を用いて3次元建物屋根形状を生成し、さらに屋根上の平均日射量を 算出しソーラーパネルの設置に適した家屋を抽出、推奨パネル形状までを求めようとする 取り組みを紹介します。 24 -
2025/10/13 2025/10/13 単眼深度推定で取得した3D建物モデルの日射量解析への応用 DSM (GeoTIFF) 陰影図 (Gray→GreenRed) Polygon化 (TIN) スムージング
(TIN) 日射量計算は、pvlib-pythonを使用 26 DSMからPolygon化、さらにスムージング -
2025/10/13 2025/10/13 まとめ • 超解像化は、その下流にある目視及び機械判読を容易にするために必要な前処理 • 深層学習モデルは、いわゆるSOTA(State-of-the-Art)モデルではない。 また、衛星画像に特化したモデルでもない。最先端から2, 3年は遅れているかも。 •
趙解像モデルをBoostして使用することでSentinel-2(→50㎝)、Grus(→約30cm) まで拡大し建物等マッピングも可能に。但し、細かい部分でアーキファクト発生の可能性あり。 • 趙解像と単眼深度推定を組み合わせることで、屋根3D化で平均日射量の推定も可能 • 上記内容をWebサービス化(AI as a Service)を本気で目指す︕ 課題の超解像化工程(拡散モデル使用)を大幅に時間短縮する目途がたち、 まずデモ版から公開予定 34 -
2025/10/13 2025/10/13 35 最後に Geminiで線画作成が流行っていたので・・・ https://www.linkedin.com/posts/davidoesch_map-generation-geospatial-activity-7379129420801875968-yNzj/ こちらの手法をもとに生成したものです。 線画生成からの塗り絵地図 Workflow 1⃣
Map styles → Started with the official swisstopo Mapbox vector styles, available via API: https://lnkd.in/eFsgcXAC 2⃣ Prompt generation → Used Perplexity to translate the JSON style into clear instructions for a generative prompt: https://lnkd.in/ec9mcdZS 3⃣ Input data → Took a SWISSIMAGE aerial photo of Interlaken as the source: https://lnkd.in/eKA49jCB 4⃣ Processing → Combined the generated prompt with the aerial image in Gemini: https://lnkd.in/eHErmiaa ( choose: generate an image) 5⃣ Output → The AI returned a topographic-style rendering with high positional precision : see animated gif -
2025/10/13 2025/10/13 41 Major Road (Diagonal) Trunk Road: Golden
yellow fill rgb(248, 207, 117) with dark brown casing rgb(70, 55, 30). Residential Streets Tertiary/Minor Roads: White fill rgb(255, 255, 255) with dark gray casing rgb(60, 60, 60). Buildings (Dense central area) Standard Buildings: Medium gray fill rgb(170, 172, 174) with dark gray outline rgb(154, 156, 158). Golf Course (Managed Turf) Parks and Green Spaces: Pale green fill rgb(211, 235, 199) at 0.35 opacity. Forest/Dense Tree Cover Forests and Woodlands: Vibrant green rgb(62, 168, 0) at 0.2 opacity. Farmland/Open Fields Residential/Urban Green: Beige fill rgb(246, 219, 164). Water Ponds Lakes and Oceans: Light sky blue fill rgb(210, 238, 255). Terrain Hillshading: Subtle gray scale gradient applied to indicate relief, utilizing the specified opacity and colors. Feature Type Style Applied (Based on specifications)