Φ-Sat-2のAutoEncoderによる情報圧縮系論文

by SatAI.challenge

Slide 1

Slide 1 text

Φ-Sat-2のAutoEncoderによる情報圧縮系論文篠原崇之 1 第24回 SatAI.challenge勉強会

Slide 2

Slide 2 text

目次   2 ● 自己紹介スライド  ● 手法の概要（3つの研究の1ページサマリ紹介）   ● 研究の背景（Introduction）   ● 単バンドだけ  ○ 手法（Method）  ○ 実験（Experimet）  ● マルチスペクトル  ○ 手法（Method）  ○ 実験（Experimet）  ● ドメインギャップという打ち上げ後の苦労   ○ 手法（Method）  ○ 実験（Experimet）  ● まとめ（Conclusion）   ● 感想   

Slide 3

Slide 3 text

3 発表者紹介 This image was generated by ChatGPT

Slide 4

Slide 4 text

自己紹介   4 研究テーマ：３次元モデリング、サロゲートモデル、動的システム、土木インフラ 4 X(旧 Twitter) LinkedIn 産総研 - サロゲートモデル: 制御x深層学習モデル - 土木インフラxAI: インフラ劣化予測篠原崇之

Slide 5

Slide 5 text

5 手法の概要 This image was generated by ChatGPT

Slide 6

Slide 6 text

Φ-Sat-2の情報圧縮系論文   6 ● 背景: フラッグシップ衛星だけでなく、cubesatなどの小型地球観測衛星の数が増えた  ● 課題: 観測データを地上へ送る通信が逼迫しつつある  ● 提案手法: AutoEncoderによるオンボード次元圧縮で、通信量を削減。  ● 実験結果:   シミュレーションした画像で  学習を行いRGB/マルチスペクトル  両者で高効率な通信を可能に。  ● 問題点として実データでは  ドメインギャップがある  notebooklmによるポンチ絵

Slide 7

Slide 7 text

本題に入る前に......エッジ推論系の論文を選んだ理由   7 ● JAXAや防衛省でオンボードAIの実証実験   オンボードAI｜JAXA｜研究開発部門宇宙領域防衛指針概要今後、衛星側でのAI推論が日本でも盛んに行われるという期待をこめて  

Slide 8

Slide 8 text

8 研究の背景 This image was generated by ChatGPT

Slide 9

Slide 9 text

● データ観測量増加 >>> 通信能力の進歩   ○ センサはどんどん高解像度になり衛星数も増えるが、ダウンリンク能力はあまり進歩しない   ● 無駄なデータ  ○ 地球はほとんど雲で覆われているので、全部地上へ送ると無駄   ● 小型衛星のリソース不足   ○ 伝送能力を上げると電力消費も大きくなるので小型衛星だと難しい   ○ そもそも小型衛星の増加数に対して地上のインフラが足りない　  ● Φ-Sat-1, 2ミッションとは   ○ 6Uのcubesat(2x3)  約6.11 kg  ○ HyperScout 2という   ハイパースペクトルセンサ   ○ 数ワットのインテルのAIチップ   ○ 軌道上でのAI処理の実証  背景: 人工衛星数の増加と通信帯域   9 ESAのΦ-Sat-1/2ではオンボード処理でデータの送信量を削減させる   G. Giuffrida et al., “The Φ-Sat-1 Mission: The First On-Board Deep Neural Network Demonstrator for Satellite Earth Observation”,IEEE Transactions on Geoscience and Remote Sensing, vol. 60, pp. 1-14, 2022より引用

Slide 10

Slide 10 text

● 雲判読オンボードAIを構築   ○ CloudScoutという深層学習モデルで、入力されたハイパースペクトル画像を雲有り無し分類  ○ CubeSatのスペックで動くように、軽量なCNNベースを設計し、   さらに量子化を行った   ■ 畳み込み層やMaxPool、FC層などの簡単なモデル   ■ OpenVinoで量子化  ○ Sentinel-2のデータを加工して疑似Φ-Sat-1データを作成して学習データを構築  ■ Sentinel-2のBand 0, 1, 8だけを使う（Level-2A）   ■ 実運用ではΦ-Sat-1の放射輝度を使う   ○ ミッション初期にすべての画像とオンボード分類結果を地上に送り、   精度が担保できたので、   自動フィルタをミッション中期以降に動かした   ○ 欧州原子核研究機構の放射線体制試験を耐えたMyriad 2 VPUを搭載   背景: Φ-Sat-1   10 オンボードで雲の有無を判読して雲の無い画像だけを地上へ送る戦略で省エネに   G. Giuffrida et al., “CloudScout: A Deep Neural Network for On-Board Cloud Detection on Hyperspectral Images”,Remote Sensing. 2020; 12(14):2205より引用

Slide 11

Slide 11 text

● 雲分類によるデータ削減以外にもデータ削減方法はある   ○ 畳み込みAutoEncoderによるデータ削減   ● エッジ側で物体検出などを行いたい   ○ 道路のセグメンテーション   ○ 海洋の異常検知  ○ 山火事検出  ○ （主に違法漁業の）船舶検出   ● モデルの更新  ○ 地上でファインチューニングしたモデルをアップロードして高性能に育てる   ○ 需要に合わせて、新たな物体検出モデルを入れ替える   ■ 現行の道路セグメンテーションモデルを倒壊建物検出モデルへ入れ替えるなど   背景: Φ-Sat-2では何をするか   Constellation-as-a-Serviceの時代へ  

Slide 12

Slide 12 text

● 雲分類によるデータ削減以外にもデータ削減方法はある   ○ 畳み込みAutoEncoderによるデータ削減   ● エッジ側で物体検出などを行いたい   ○ 道路のセグメンテーション   ○ 海洋の異常検知  ○ 山火事検出  ○ （主に違法漁業の）船舶検出   ● モデルの更新  ○ 地上でファインチューニングしたモデルをアップロードして高性能に育てる   ○ 需要に合わせて、新たな物体検出モデルを入れ替える   ■ 現行の道路セグメンテーションモデルを倒壊建物検出モデルへ入れ替えるなど     背景: Φ-Sat-2では何をするか   目的：AutoEncoderによるデータ圧縮による通信負荷の軽減  

Slide 13

Slide 13 text

13 1バンド(打ち上げ前 ) This image was generated by ChatGPT G. Guerrisi, F. D. Frate and G. Schiavon, “Artificial Intelligence Based On-Board Image Compression for the Φ-Sat-2 Mission”, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 16, pp. 8063-8075, 2023. より引用

Slide 14

Slide 14 text

● 深層学習ブーム当初、様々な推論用エッジデバイスが出た   ○ Intel Movidius Neural Compute Stick   ■ Myriad 2というビジョンプロセッサーチップが詰まったUSB型の機器   ■ CVPR2017で展示されてて、参加者が購入して帰ってきていたので有名   ○ NVIDIAのJetson  ■ GPU  ○ GoogleのCoral Accelerator Module   ■ TPU  ● 推論用のエッジデバイスを宇宙で使うには？   ○ Φ-Sat-1ミッションでは、地上で放射線実験を行い評価したMyriad 2が使われている   ■ 経年劣化: TID（累積線量）49 kradまで劣化なし   ■ 事故:   ● SEU（ビット反転):DRAM の断面積が小さいからOK   ● SEFI（機能停止・機能割り込み）:同上   ● SEL（ラッチアップ): 8.8 MeV·cm²/mg までOK   ○ 銀河宇宙線（GCR）の重イオンや太陽フレアのような状況   にもある程度耐える   => 軌道上に上げてもOK       1band圧縮: エッジデバイス（補足）   14 Intel Movidius https://download.intel.com/newsroom/2021/ar chive/2018-10-18-press-kits-movidius.pdf

Slide 15

Slide 15 text

● AutoEncoderでバンドごとに次元圧縮(SSIM最大化学習)   ○ Sentinel-2から仮想的なΦ-Sat-2 相当の画像を作成（タイルで48,640 枚）   ○ 単一のモデルをすべてのバンドへ適用   ○ オンボードで次元圧縮、ボトルネック特徴を地上へ送り、地上でデコード   ● 仮想的Φ-Sat-2の作り方   ○ ソース  ■ Sentinel-2 L1C（TOA reflectance、16-bit整数で格納）   ■ 複数シーン（2019–2020頃）を学習・推論用に分けて利用   ○ Sentinel-2からの変換方法   ■ Sentinel-2でΦ-Sat-2に近いバンド選定   ■ 空間補間で10 m から 4.75 mに   ■ SNRシミュレーション（ノイズ量）   ● ガウス分布に基づく人工ノイズ   ■ 伝達関数のシミュレーション（ぼけ・光学）   ● 2 次元フィルタリング   ■ Φ-Sat-2のスワス幅に合わせたタイル   ● モデル  ○ 画像サイズ256×256×1に対しボトルネック8192   ○ Myriad 2で動かすためにOpenVINOでエッジ向けに変換     1band圧縮: 手法   15 G. Guerrisi, F. D. Frate and G. Schiavon, “Artificial Intelligence Based On-Board Image Compression for the Φ-Sat-2 Mission”, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 16, pp. 8063-8075, 2023. より引用シミュレーション結果 

Slide 16

Slide 16 text

● 評価ハード   VPU (Intel Movidius Myriad 2)、   比較としてGPU（GTX1650）   ● 再構成誤差の評価   VPU だとGPUより大幅に遅いが画質はほぼ同等で、検証セット平均 SSIM=0.9647   同じ圧縮率でJPEG 2000との比較ではCAEの SSIMが高い(元の画像の⅛のサイズ)       1band圧縮: 結果   16 G. Guerrisi, F. D. Frate and G. Schiavon, “Artificial Intelligence Based On-Board Image Compression for the Φ-Sat-2 Mission”, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 16, pp. 8063-8075, 2023. より引用再構成結果  計算の比較 

Slide 17

Slide 17 text

● 下流タスクの評価   ○ 衛星画像は見て終わりではなく活用されてなんぼなのでPSNR/SSIMのような   「画素レベルの類似度」だけでなく、復元画像が実タスクに使えるかを確認する  ○ 建物のセマンティックセグメンテーションで評価   ■ Inria Aerial Image Labeling Datasetを学習したUnet   ■ 元画像とCAE圧縮→復元画像をそれぞれ入力して得た建物マスクを比較   ■ 定性評価、建物棟数が正しいかの評価で元画像と復元画像が同じ結果   1band圧縮: 結果   17 G. Guerrisi, F. D. Frate and G. Schiavon, “Artificial Intelligence Based On-Board Image Compression for the Φ-Sat-2 Mission”, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 16, pp. 8063-8075, 2023. より引用セグメンテーション結果の評価  棟数は同じなので良い結果 

Slide 18

Slide 18 text

18 マルチバンド (打ち上げ前 ) This image was generated by ChatGPT

Slide 19

Slide 19 text

● AutoEncoderでマルチスペクトル全体を次元圧縮(SSIM最大化RMSE最小化学習)   ○ 256×256×7 ピクセル（マルチスペクトルカメラの7つのバンドを一度に入力）  ○ 32×32×5 という極めてコンパクトなサイズへ圧縮(CR=89.6)   ○ デコーダによって元の 256×256×7 のマルチスペクトル画像へと再構成   ● 仮想的Φ-Sat-2の作り方   ○ ソース  ■ Sentinel-2 L1C（TOA reflectance、16-bit整数で格納）   ■ 複数シーン（2019–2020頃）を学習・推論用に分けて利用   ○ Sentinel-2からの変換方法   ■ Sentinel-2でΦ-Sat-2に近いBand 2, 3, 4, 5, 6, 7, 8   ※パンクロマティックはシミュレーションで   ■ 空間補間で10 m から 4.75 mに   ■ SNRシミュレーション（ノイズ量）   ● ガウス分布に基づく人工ノイズ   ■ 伝達関数のシミュレーション（ぼけ・光学）   ● 2 次元フィルタリング   ■ Φ-Sat-2のスワス幅に合わせたタイル   ● 空間的・スペクトル的な近傍関係（spatial/spectral correlations）を捉えつつ、   より小さい表現へ圧縮とあるが具体的には何も書いてない   ○   マルチスペクトル圧縮: 手法   19 G. Guerrisi, F. D. Frate and G. Schiavon, “ON-BOARD MULTISPECTRAL IMAGE COMPRESSION WITH AN ARTIFICIAL INTELLIGENCE BASED ALGORITHM”, IGARSS 2024 - 2024 IEEE International Geoscience and Remote Sensing Symposium. より引用層設計 

Slide 20

Slide 20 text

● 評価ハード   VPU (Intel Movidius Myriad 2)   ● 再構成誤差の評価   PSNR：50.458,SSIM：0.9991   ● 実行時間   ● GPU（RTX 4070 Ti）：7バンド全体の圧縮に平均 8.67 秒   ● VPU（Myriad 2）：同じ処理に 215.64 秒   ● エンコーダサイズ 53.248KB で、実行時間・モデルサイズ・PSNR/SSIMが「ESA受け入れ基準を満たす」     マルチスペクトル圧縮: 結果   20 再構成結果の例  再構成結果の定量比較  G. Guerrisi, F. D. Frate and G. Schiavon, “ON-BOARD MULTISPECTRAL IMAGE COMPRESSION WITH AN ARTIFICIAL INTELLIGENCE BASED ALGORITHM”, IGARSS 2024 - 2024 IEEE International Geoscience and Remote Sensing Symposium. より引用

Slide 21

Slide 21 text

● 下流タスクの評価   ○ 衛星画像は見て終わりではなく活用されてなんぼなのでPSNR/SSIMのような   「画素レベルの類似度」だけでなく、復元画像が実タスクに使えるかを確認する  ○ NDVIマップで評価   ■ 元画像と復元画像からNDVIを計算し、NDVIマップとヒストグラムの比較   ○ 市街地抽出のセグメンテーションで評価   ■ UNetによるセグメンテーションで、元画像入力と復元画像入力の結果を比較し、   都市ピクセル割合が「わずかに異なる」＝差はあるが大崩れはしていない   マルチスペクトル圧縮: 結果   21 市街地抽出  G. Guerrisi, F. D. Frate and G. Schiavon, “ON-BOARD MULTISPECTRAL IMAGE COMPRESSION WITH AN ARTIFICIAL INTELLIGENCE BASED ALGORITHM”, IGARSS 2024 - 2024 IEEE International Geoscience and Remote Sensing Symposium. より引用

Slide 22

Slide 22 text

22 ドメインギャップ (打ち上げ後 ) This image was generated by ChatGPT

Slide 23

Slide 23 text

● AIのモデルは打ち上げ前に作ってある程度検証しないといけない   ○ シミュレーションして作った疑似Φ-Sat-2データを学習する必要がある   ○ Sentinel-2を補間したりノイズ掛けたりして疑似的な訓練データを作るので、  実際のΦ-Sat-2が打ちあがり運用したらまったく性能が出ないのでは？   ○ ドメインギャップを調査する     ドメインギャップ: 問題点   23 Guerrisi, Giorgia, et al, “Preliminary Domain Gap Assessment of Ai-Based Onboard Image Compression for The Phisat-2 Mission”, 2025 IEEE International Geoscience and Remote Sensing Symposium. より引用観測データの例 

Slide 24

Slide 24 text

ドメインギャップ: 手法(モデルは単バンドCAEと一緒）   24 Guerrisi, Giorgia, et al, “Preliminary Domain Gap Assessment of Ai-Based Onboard Image Compression for The Phisat-2 Mission”, 2025 IEEE International Geoscience and Remote Sensing Symposium. より引用 ● AutoEncoderでバンドごとに次元圧縮(SSIM最大化学習)   ○ Sentinel-2から仮想的なΦ-Sat-2相当の画像を作成（タイルで48,640 枚）   ○ 単一のモデルをすべてのバンドへ適用   ○ オンボードで次元圧縮、ボトルネック特徴を地上へ送り、地上でデコード   ● 仮想的Φ-Sat-2の作り方   ○ ソース  ■ Sentinel-2 L1C（TOA reflectance、16-bit整数で格納）   ■ 複数シーン（2019–2020頃）を学習・推論用に分けて利用   ○ Sentinel-2からの変換方法   ■ Sentinel-2でΦ-Sat-2に近いバンド選定   ■ 空間補間で10 m から 4.75 mに   ■ SNRシミュレーション（ノイズ量）   ● ガウス分布に基づく人工ノイズ   ■ 伝達関数のシミュレーション（ぼけ・光学）   ● 2 次元フィルタリング   ■ Φ-Sat-2のスワス幅に合わせたタイル   ● モデル  ○ 画像サイズ256×256×1に対しボトルネック8192     シミュレーション結果 

Slide 25

Slide 25 text

● ドメインギャップを再構成指標で評価   ● 実データの再構成結果は疑似より低い指標  ○ 青のPSNRがシミュレーションして作った画像の再構成で、オレンジみどりが実際のデータ   ● SSIMは高いがPSNRだけ実データだと劣化するのは、   画素値の一致は崩れたが、構造は保たれている     ドメインギャップ: 結果   25 バンドごとに再構成結果の評価   Guerrisi, Giorgia, et al, “Preliminary Domain Gap Assessment of Ai-Based Onboard Image Compression for The Phisat-2 Mission”, 2025 IEEE International Geoscience and Remote Sensing Symposium. より引用

Slide 26

Slide 26 text

● ファインチューニングの効果   ● 実データを使ってシミュレーションデータを学習したモデルをファインチューニング   ○ 実データ（256×256タイル 7199枚）をtrain/val/test = 70%/20%/10%   ● 定性評価（1枚前と同じデータで評価）   ○ 実画像ファインチューニングの PSNR/SSIM はシミュレーションデータだけより低い  ○ 実データに含まれるノイズに引っ張られる学習をしてしまう  ドメインギャップ: 結果   26 バンドごとに再構成結果の評価   Guerrisi, Giorgia, et al, “Preliminary Domain Gap Assessment of Ai-Based Onboard Image Compression for The Phisat-2 Mission”, 2025 IEEE International Geoscience and Remote Sensing Symposium. より引用

Slide 27

Slide 27 text

● ファインチューニングへの悪影響要因   ○ シミュレーション(a)と比較して、実データ(c)にはブラーと縞ノイズが多く発生  ○ ファインチューニング後の再構成結果（e)のSSIM/PSNRが悪化するのは、   実機特有ノイズ（特に縞）にモデルが影響され、再構成品質が不安定化   ドメインギャップ: 結果   27 再構成結果  Guerrisi, Giorgia, et al, “Preliminary Domain Gap Assessment of Ai-Based Onboard Image Compression for The Phisat-2 Mission”, 2025 IEEE International Geoscience and Remote Sensing Symposium. より引用

Slide 28

Slide 28 text

● ノイズの考察（SSIMを使った学習あるある）   ○ SSIMは人間の視覚に近い評価を行うため、ピクセル単位の誤差（MSE/RMSE）よりも   画像のテクスチャやパターンの維持を重視   ○ Φ-Sat-2の実データに含まれる縦縞ノイズは、ランダムなノイズではなく、   一定の規則性を持った「構造」的な特徴がある   ■ SSIMを指標に学習すると、AIはこの縞模様を画像の本質的な特徴と誤認し、忠実に再現しようと学習を進めてしまう  =>ノイズを再現したほうがオリジナル（ノイズ入りの入力画像）との構造的類似性が高くなる   ● 学習時の工夫   ○ 実データ側のデノイズ   ■ 縞模様をAIに学習させる前に、オンボードの前処理として   「デストライピング（縦縞除去）」アルゴリズムを適用   ○ few-shot learning など「少量実データ」で素早く適応   ■ ドメインギャップを埋めるというより、ダウンリンクする画像数を減らす為に   数枚の画像だけでファインチューニングできると良い   ● 今回のΦ-Sat2のように打ち上げ後に判明したセンサー特性などを少量の教師で吸収   ドメインギャップ: 今後の展開   28

Slide 29

Slide 29 text

29 結論 This image was generated by ChatGPT

Slide 30

Slide 30 text

● Φ－Sat-2では、衛星画像から地上へのダウンリンクを節約するために、   エッジ側で画像をエンコードしてボトルネック特徴だけを送信する手法を提案した   ● Sentinel-2から作ったシミュレーションデータを使って、以下のモデルを作成   ○ 単バンドのAutoEncoder   ■ ボトルネック特徴だけ送る場合、圧縮率は⅛   JPEGでも圧縮できるが、JPEGだと後段に影響   ○ マルチスペクトルのAutoEncoder   ■ ボトルネック特徴だけ送る場合、圧縮率は約90%   ● 実機の打ち上げ後に実データを使って評価を行った   ○ シミュレーションデータを学習した場合、SSIM/PSNRともに実機でもある程度は再構成できる   ○ より高品質な再構成を目指して実データを使ったファインチューニングを行ったが、   実機特有の縞ノイズを強調するような学習になってしまった。  ● 今後の展開  ○ ドメインギャップを埋める研究開発   ○ AIモデルのアップリンク更新   まとめ   30

Slide 31

Slide 31 text

31 感想 This image was generated by ChatGPT

Slide 32

Slide 32 text

● 実機特有のノイズに悩まされるのはあるあるだなと思いながら読んでた   ● 一つの衛星に着目して同じ著者（つまり同じチーム）の取り組みを時系列で追うのは、   試行錯誤の追体験みたいでおもしろい   ● 元論文がIGARSSの予稿なので4ページしかなく、ほとんど情報が無い。行間を読むのが大変。   ○ 日本人がリモセン学会に出すノリに近い   ● SSIMだけで再構成学習したら、こうなるのはあたりまえなのではと思ったが、   素人の思うことはたいていやっていると思うので、他のやり方ではうまくいかなかったのだろう。   ● そもそもこんなにノイジーな衛星画像で何ができるのかのアプリケーションを考えたほうがいいかも   ● もしくは、物理量は完全に捨てて、深層学習モデルベースのノイズ除去系の手法で見た目だけでもきれいにするなど  ● Φ-Sat-2の風呂敷で、様々なAIを入れ替えて需要に合わせたサービス展開ができることやモデルのアップデートを運用中に行うことが書かれていたが、資料が無いので今後に期待   ○ （補足）山火事検出などのオンボードAIの運用が始まったとの話はあるが具体な話がない   https://www.esa.int/Applications/Observing_the_Earth/Phsat-2/Phsat-2_begins_science_phase_for_AI_Ea rth_images  感想など   32

Slide 33

Slide 33 text

● Space Cloud: LEO Constellations for On-Orbit AI Computing   ○ 低軌道（LEO）衛星コンステレーションを活用して、軌道上でのエッジ推論を用いて   federated learningや共同計算を行って複数の衛星を一つの計算リソースとして扱う   ○ 中国の武漢大学など   ● On-Orbit Demonstration of a Geospatial Foundation Model   ○ 地理空間基盤モデル（GeoFM）」を人工衛星などの限られた計算資源上で直接実行可能にするため   蒸留などを駆使してモデルサイズを小さくした   ○ 国際宇宙ステーション（ISS）のIMAGIN-eや、HyperScout-2といった実際の宇宙用ハードウェアを用いて、軌道上および模擬環境での動作実証を達成   ○ オーストラリアのアデレード大学など   エッジ推論系の論文   33