Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、
より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。
speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge
紹介する論文は、「Mamba-in-Mamba: Centralized Mamba-Cross-Scan in Tokenized Mamba Model for Hyperspectral Image Classification」 です。
本研究は、ハイパースペクトル画像分類において、Centralized Mamba-Cross-Scan (MCS)、Tokenized Mamba Encoder、Weighted MCS Fusion + Multi-Scale Loss を組み合わせた新しい系列モデルを提案しています。
実験では Indian Pines など4データセットで従来手法（ViT, SpectralFormer, ViM など）を上回り、1–2Mパラメータ規模で高精度かつ効率的な分類を実現しました。

Transcript

1. Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model
 Helios
 佐々木謙一
 1 第19回 SatAI.challenge勉強会

2. 目次 
 2 • 自己紹介スライド
 • 研究の1ページサマリ紹介 
 • 研究の背景（Introduction） 
 • 手法について（Method） 
 • 実験（Experimet）
 • 結論（Conclusion）

3. 3 著者紹介 This image was generated by ChatGPT
4. 佐々木謙一 • 2012-2016:東工大機械宇宙学科 • 2016-2019:東工大院松永研究室 • 2019-2023:CU Boulder Aerospace Engineering Ph.D. in Remote Sensing, Marine pollution monitoring • Internship • 2023-2025: Esri, product engineer in spatial analysis team • 2025: Helios Founder & CEO
5. 5 要約 This image was generated by ChatGPT
6. Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model
 6 • RNNとTransformerの弱点を補う 軽量・効率的なモデル を開発 • 長距離依存と局所的空間特徴を両立 • パッチ中心画素に着目し、分類精度を向上 
 Mamba-in-Mamba (MiM):RNNの軽量性とTransformerの長距離依存モデリングを 両立させたハイパースペクトル分類モデル 
 Weilian Zhou et al. (2025),”Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model’,より引用
7. 7 論文紹介 This image was generated by ChatGPT
8. ハイパースペクトル画像 (HSI) 分類の課題 • 高次元性・ノイズ・ラベル不足が主要な課題 • 従来モデルの限界: ◦ RNN: ノイズに弱く逐次処理で非効率 ◦ Transformer: 計算コストが高く、少数データで過学習しやすい 研究目的 • RNNとTransformerの弱点を補う 軽量・効率的なモデル を開発 • 長距離依存と局所的空間特徴を両立 
 Introduction 
 8 Weilian Zhou et al. (2025),”Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model’,より引用
9. 手法
 9 Mamba-in-Mamba (MiM)の概要
 • 主要要素: • Centralized Mamba-Cross-Scan (MCS) • Tokenized Mamba (T-Mamba) Encoder • Weighted MCS Fusion (WMF) + Multi-Scale Loss 
 Weilian Zhou et al. (2025),”Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model’,より引用
10. 手法
 10 Mamba-in-Mamba (MiM)
 1. Centralized MCS • 従来のラスタースキャンの問題: 連続性が失われ る • 提案: Snakeスキャン + 中央集約型処理 • 4種類のMCSを定義 → 多方向から中心画素へ 収束 Weilian Zhou et al. (2025),”Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model’,より引用
11. 手法
 11 Mamba-in-Mamba (MiM)
 2. Tokenized Mamba Encoder • Gaussian Decay Mask (GDM): 中心画素に重み付け • Semantic Token Learner (STL): 代表的特徴を抽出 • Semantic Token Fuser (STF): 元入力と統合 Weilian Zhou et al. (2025),”Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model’,より引用
12. 手法
 12 Mamba-in-Mamba (MiM)
 3. Weighted MCS Fusion & Multi-Scale Loss • WMF: 複数スキャンの出力を動的に加重統合 • Multi-Scale Loss: 階層的特徴を利用して学習安定化 ◦ p1=11, p2=9, p3=7, p4=5, p5=3, p6=1 Weilian Zhou et al. (2025),”Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model’,より引用
13. 実験
 13 Mamba-in-Mamba (MiM)
 • データセット: • Indian Pines, Pavia University, Houston2013, WHU-Hi-Honghu • ベースライン比較: SSFTT, MAEST など最新手法 
 
 Weilian Zhou et al. (2025),”Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model’,より引用
14. 実験
 14 Mamba-in-Mamba (MiM)
 • データセット: • Indian Pines, Pavia University, Houston2013, WHU-Hi-Honghu
 Weilian Zhou et al. (2025),”Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model’,より引用
15. 実験
 15 Mamba-in-Mamba (MiM)
 • データセット: • Indian Pines, Pavia University, Houston2013, WHU-Hi-Honghu • ベースライン比較: SSFTT, MAEST など最新手法 
 

16. 結果
 16 Downstream task
 
 • 精度改善: 最大 +3.3% (Indian Pines), +2.7% (Pavia), +1.5% (Houston2013), +2.3% (WHU-Hi-Honghu) • 軽量性と精度の両立に成功 • 高次元HSIに対して従来 Transformer系より効率的 Weilian Zhou et al. (2025),”Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model’,より引用
17. 結果
 17 計算コスト
 
 ViTより大型のモデルだが、効率的な学習を実現 
 Weilian Zhou et al. (2025),”Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model’,より引用
18. 結果
 18 Ablation Study
 
 STL：導入で +3〜5% 精度向上（例: IP 82.6% → 86.1%） 
 GDM：単独で +1〜2% の改善（IP 82.6% → 84.0%） 
 STF：単独で +2%程度 改善（IP 82.6% → 84.6%） 
 Weilian Zhou et al. (2025),”Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model’,より引用
19. まとめ
 19 結論
 • HSI分類における「RNN–Transformerのハイブリット」 • 長距離依存と局所情報を両立する新設計 • アプリケーション（物理的センサーモデリング等）への接続は未検証 展望 • 物理モデルとの統合 (Physics-informed Mamba) • DSM/DEM復元や異種センサーデータ融合への応用 感想
 あえてPixelwise classificationで精度を上げるのは面白い 
 DEMなど地理的特性の再現に向いていそう 
 Scan方法や中心画素を用いるなどヒューリスティックスがメインな印象 
 
 
 Weilian Zhou et al. (2025),”Mamba-in-Mamba (MiM): Centralized Mamba-Cross-Scan in Tokenized Mamba Model’,より引用