SpectralMamba: Efficient Mamba for Hyperspectral Image Classification

Slide 1

Slide 1 text

SpectralMamba: Efficient Mamba for Hyperspectral Image Classification  Esri  佐々木謙一  1 第4回 SatAI.challenge勉強会 

Slide 2

Slide 2 text

目次   2 ● 自己紹介スライド  ● 研究の1ページサマリ紹介   ● 研究の背景（Introduction）   ● 手法について（Method）   ● 実験（Experimet）  ● 結論（Conclusion） 

Slide 3

Slide 3 text

3 著者紹介 This image was generated by ChatGPT

Slide 4

Slide 4 text

佐々木謙一 • 2012-2016:東工大機械宇宙学科 • 2016-2019:東工大院松永研究室 • 2019-2023:CU Boulder Aerospace Engineering Ph.D. in Remote Sensing, Marine pollution monitoring • Internship • 2023-: Esri, product engineer in spatial analysis team

Slide 5

Slide 5 text

5 要約 This image was generated by ChatGPT

Slide 6

Slide 6 text

SpectralMamba: Efficient Mamba for Hyperspectral Image Classification   6 ● SSMベースの新しいバックボーン : 計算効率と分類精度のバランスを最適化 ● PSS (Piece-wise Sequential Scanning): スペクトル冗長性を削減し、文脈的関係を維持 ● GSSM (Gated Spatial-Spectral Merging): 空間およびスペクトルの特徴を動的に統合 ● 広範なベンチマーク評価 : 4つのデータセットで高い性能を実証   SpectralMamba: ハイパースペクトル画像分類のためのMambaモデル   Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用

Slide 7

Slide 7 text

7 論文紹介 This image was generated by ChatGPT

Slide 8

Slide 8 text

ハイパースペクトル（ HS）画像: 高精細な空間およびスペクトル情報を提供 ● 課題: ○ 次元の呪い (Curse of Dimensionality) ○ スペクトルの変動と混同既存の解決策 : CNN、RNN、Transformer ● 高計算コスト、非効率性の課題あり目的: ● SpectralMambaを提案し、効率的かつ高精度な分類を実現   Introduction   8 Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用

Slide 9

Slide 9 text

手法  9 SSM (状態空間モデル)  制御工学などに利用されてきたシステム応答の記述システムで時系列データの予測，分類などに近年応用された SSM:状態方程式と出力方程式で記述＊時不変離散系のシステムとみなせる S4 - HIPPO を用いた初期化 Mamba - ゲーティング機構  Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用

Slide 10

Slide 10 text

手法  10 SpectralMamba  ● PSS (Piecewise Sequential Scanning) ● GSSM (Gated Spatial Spectral Merging) ● Selective state space model (S6) Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用

Slide 11

Slide 11 text

SpectralMamba  11 主な構成要素 : ● PSS (Piece-wise Sequential Scanning): スペクトルデータを分割し、文脈情報を維持 ● ● GSSM (Gated Spatial-Spectral Merging): 空間・スペクトル情報の統合利点: ● 計算効率の向上 ● スペクトル変動の軽減 ● 高精度な特徴抽出   Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用

Slide 12

Slide 12 text

実験  12 Dataset  Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用

Slide 13

Slide 13 text

結果と評価  13 定量評価  Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用

Slide 14

Slide 14 text

結果と評価  14 推論結果: Houston 2013 dataset   Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用

Slide 15

Slide 15 text

Ablation study  15 Key modules contribution  OA: Overall Accuracy AA: Average Accuracy MAC: 積和演算量 Pixelwise Mambaとの比較 - PSSのよるパラメータ数の抑制 - Mambaによる精度の向上 Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用

Slide 16

Slide 16 text

Ablation study  16 Piece size on PSS  Houson2013で評価(都市部のデータ) N/A: PSSなし 6 pieceでの精度が最大 →100nm毎に区切ったケース Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用

Slide 17

Slide 17 text

まとめ  17 結論  SpectralMambaはSSMに基づく新しい空間・スペクトル統合モデルを提案 HS data固有のデータ性質を考慮したモデルを設計高精度かつ高効率な分類性能を実現感想  Spectral profileとPSSの関係性は考慮に入れるべき Band の貢献度をPSSとGSSMの両方で補償している点は面白い，単に次元圧縮したケースとの精度の差は気になる空間特徴量をより考慮したMambaモデルの発展に期待   Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用