Unsupervised Domain Adaptation Architecture Search with Self-Training for Land Cover Mapping

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、
より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。
speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge
紹介する論文は、「Unsupervised Domain Adaptation Architecture Search with Self-Training for Land Cover Mapping」です。
本研究は、土地被覆分類における教師なしドメイン適応(UDA)をSelf-trainingで行いつつ、モデル構造探索をマルコフ確率場(MRF)で行うことで、軽量かつテストドメインで高性能なモデルの獲得を実現しています。
Self-trainingではTeacher/Studentモデルを採用し、Teacherモデル出力の疑似ラベルが誤っている場合でも、指数移動平均によりTeacherモデル学習での影響を抑制することで、正しい疑似ラベル出力になるよう学習しています。
MRFでは畳み込み層のカーネルサイズ、チャネル数などを最適化し、Teacherモデルよりも軽量なStudentモデルの構造を獲得することで、知識蒸留に近い効果を実現し、エッジコンピューティングなどへの応用の可能性を広げました。

Transcript

1. Unsupervised Domain Adaptation Architecture Search
 with Self-Training for Land Cover Mapping
 山口大学
 中田和真
 1 第16回 SatAI.challenge勉強会
 この資料に出てくる図は引用を明記しない場合は Clifford Broni-Bediako et al. (2024), “Unsupervised Domain Adaptation Architecture Search with Self-Training for Land Cover Mapping”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops. より引用
2. 目次 
 2 • 自己紹介スライド
 • 研究の1ページサマリ紹介 
 • 研究の背景（Introduction） 
 • 手法について（Method） 
 • 実験（Experimet）
 • 結論（Conclusion）

3. 3 著者紹介 This image was generated by ChatGPT
4. 自己紹介 
 4 中田　和真 所属：山口大学 情報認識工学研究室 D3 研究テーマ：機械学習による超音波画像を用いた肝硬変の検出 その他活動： • 2024年度 山口大学 SPRINGスカラシップ研究学生 • 第23回 IEEE広島支部学生シンポジウム 運営 • cvpaper.challenge コラボ AI論文解説
5. 5 1ページサマリ This image was generated by ChatGPT
6. Unsupervised Domain Adaptation Architecture Search 
 with Self-Training for Land Cover Mapping 
 6 • 土地被覆分類（セグメンテーション）におけるドメイン変化に対して UDA (Unsupervised Domain Adaptation) を提 案
 • Teacher-Student 方式により、以下2点のメリットを実現 
 ◦ Student モデル → Self-training, Teacherモデル → 平均移動量 で学習を分けることで、誤ったラベル付 けの影響を削減
 ◦ Student モデルは RMF (Random Markov Field、マルコフ確率場) で最適な（軽量、高精度）モデル構造を 探索
 • 実験結果より、既存の UDA モデルを上回る精度を記録 

7. 7 研究の背景 This image was generated by ChatGPT
8. 背景：リモートセンシングにおける UDA (Unsupervised Domain Adaptation, 教師なしドメイン適応) 
 8 • 教師あり学習（セグメンテーション）では、訓練とテストが同一の分布に従うと仮定 
 • しかし、現実世界では画像取得の季節、地域、画像解像度などに差が発生し、モデル性能が低下 
 • 特に、テストドメインでのラベル付きデータを収集する作業はコストが高い 
 • そこで、未ラベルのテストデータを活用したドメイン適応が土地被覆分類で提案されてきた 
 ◦ 代表的手法
 ▪ 敵対的学習ベース（ドメイン判別器を利用） 
 ▪ 自己学習ベース（ターゲットデータに擬似ラベル付与） 
 • 一方で、これらは人の設計による大規模なモデルが多く、軽量な UDA モデルは十分提案されていない 
 • そこで、 NAS (Neural Architecture Search) によるモデル構造の探索を行う 

9. 9 手法について This image was generated by ChatGPT
10. • 提案手法は NAS (Neural Architecture Search) と Self-training UDA を統合した枠組みを提案 
 • 基本構造は Teacher-Student モデル 
 ◦ Teacher supernet：
 ▪ 疑似ラベルを生成
 ▪ Student supernet の EMA (指数移動平均) でパラメーター更新 
 ◦ Student supernet：
 ▪ MRF-NAS で構造探索 
 ▪ 教師ありデータ（source domain）と疑似ラベルデータ（target domain）を学習 
 手法：提案手法の全体像 
 10
11. • マルコフ確率場による NAS を導入 
 ◦ モデル構成要素（カーネルサイズ、チャンネル幅、ダウンサンプリング、アップサンプリング）の 
 最適な構造を探索
 • NAS の定式化
 
 
 
 
 ◦ 二段階最適化
 ▪ １：あるモデル構造を複数仮定し、訓練後に性能をそれぞれ評価 
 ▪ ２：その中で最も性能が良いものを探索空間から選ぶ 
 ▪ 今回は ソースドメイン＋ターゲット疑似ラベルの損失で評価 
 ◦ 記号
 ▪ A：探索可能な構造の空間 
 ▪ α：構造の候補
 ▪ θ：モデルの重みパラメーター 
 ▪ L：損失関数
 手法：MRF-NAS 
 11
12. 手法：UDA (Unsupervised domain adaptation、教師なしドメイン適応) 
 12 • Self-training に基づく UDA 
 • Student supernetの学習 
 ◦ ソースドメインとターゲットドメインの差を学習で抑制したい 
 ▪ ソースドメイン：分類に有効な知識の獲得 
 ▪ ターゲットドメイン：未ラベルデータへの適応 
 • Teacher supernet の学習 
 ◦ Student supernet のパラメーター指数移動平均でモデルを更新 
 ◦ 誤った疑似ラベルの影響を抑制できる 

13. • MRF-NAS では pairwise MRF での 事後確率最大化 (MAP) としてモデル構造探索 (NAS) を扱う 
 • pairwise MRF では、無向グラフの各ノードがモデル構造（カーネルサイズ、チャンネル幅など）を表現 
 ◦ 単項要因（unary, 各ノードの選択の好ましさ） 
 ◦ 二項要因（pairwise, ノード間の依存の好ましさ） 
 を使ってモデル構造の確率分布を表現 
 • を要因 (factors) の集合 とする。ここで、 
 • モデル全体の事後確率は 
 ◦ 
 手法：モデル構造探索 
 13
14. • 指標として識別率を M としたとき、 と仮定 
 ◦ MRF の学習目標として、性能の良いモデル構造に高い確率を与える 
 ◦ NAS が以下の α* を求める事後確率最大化問題となる 
 
 
 
 
 ◦ ここで、E はエネルギー関数、L はクロスエントロピー損失 
 • モデル構造の候補は離散値のため、モンテカルロ法で式3を微分可能にし、最適化を行う 
 
 手法：モデル構造探索 
 14
15. • MRF を用いた「各ノードの選択や相互作用（factor）」の学習では、モデル構造の確率分布が得られる 
 • その分布に基づいて、 モデル構造の候補選択を行う 
 ◦ M-best loopy inference： 
 ▪ 確率モデルから性能が良い解を複数 (M個) 探す推論手法 
 ▪ 1つの最適サブネットだけでなく、{α1,α2,…,αm} のように複数のモデル構造集合を抽出 
 ◦ その後、上記候補から精度指標 (識別率) やリソース制限 を参考にモデル構造を決定 
 
 
 
 • モデル構造探索の流れまとめ 
 • 要因 (factors) を学習 → 確率分布作成 → 複数のモデル候補抽出 → 精度指標でモデル構造を決定 
 手法：モデル構造探索 
 15
16. • self-training での疑似ラベル作成では、 Teacher supernet の出力を擬似ラベルとする 
 • 疑似ラベル作成方法１：confidence-based pseudo-labelling 
 ◦ 
 
 
 
 ◦ 各クラスの内、もっとも出力値が高いクラス (式4) で閾値を超えるもの (式5) を疑似ラベルとする 
 • 疑似ラベル作成方法２：energy-based pseudo-labelling 
 
 
 
 
 ◦ softmax 最大値だけでなく、他クラスとの相対差（分布が尖っているか均等か）も反映 
 手法：Self-training UDA 
 16
17. • Student supernet は以下のロスを最小化 
 
 
 ◦ 第１項：ソースドメインでの損失 
 ◦ 第２項：ターゲットドメインでの損失 
 ◦ ラムダ：調整係数
 
 • 実験では、online self-training を使用 
 ◦ Teacher supernet の出力疑似ラベルを逐次 Student supernet の学習に使用 
 ◦ Teacher supernet の更新も逐次行われるため、効率的な学習ができる 
 
 • EMA (指数移動平均) は以下の式 (ChatGPTで作成)
 手法：Self-training UDA 
 17
18. 18 実験 This image was generated by ChatGPT
19. • データセット①：OpenEarthMap
 ◦ 内容：
 ▪ 画像数：5,000枚
 ▪ 画像サイズ：1,024 × 1,024 ピクセル
 ▪ 解像度：地上サンプリング距離 0.25〜0.5m
 ▪ カテゴリ：8クラス（土地被覆ラベル）
 ▪ 地域数：97地域、44か国、6大陸
 ▪ セグメント数：約220万
 ◦ UDA セッティング：
 ▪ Source domain：73地域
 ▪ Target domain：24地域
 ▪ 都市部と農村部のバランスを
 ソースとターゲットで確保
 実験：データセット 
 19 • データセット②：FLAIR #1
 ◦ 内容：
 ▪ 画像パッチサイズ：512 × 512 ピクセル
 ▪ 解像度：GSD 0.2m
 ▪ 各ドメイン：1,725〜1,800パッチ
 ▪ カテゴリ：12クラス
 ◦ UDA セッティング：
 ▪ Source domain：10県
 • 実験ではドメイン適応として本データ セットは使用せず、変わりに OEM の ソースドメインを使用 
 ▪ Target domain：3県
 ▪ 訓練データ：約16,000枚
 ▪ テストデータ：約5,000枚

20. • 先行研究 [Wang et al.] の MRF-U-Net を利用
 • 表1の構造パラメーターを探索
 
 
 
 
 
 
 
 • Student supernet の学習
 ◦ 初期モデル構造で 1500 回学習後、40,000回まで要因の学習を行う
 ◦ recall cross-entropy loss（クラス不均衡対応）
 ◦ Data augmentation：
 ランダムクロップ (512×512) 、 Color jitter 、 Gaussian blur、Classmix
 ◦ 他のハイパーパラメータは [Wang et al.] に準拠
 • 擬似ラベリング方式
 ◦ Confidence-based：閾値 τ=0.968（DAFormer準拠）
 ◦ Energy-based：閾値 τe=−8.0 T=1（InPL準拠）
 • 推論とモデル選択
 ◦ FLOPs 制約：2.5G FLOPs（入力サイズ 256×256）
 ◦ 8個の最適サブネットを選出（各擬似ラベル方式から4つ）
 ◦ それらを再学習し、各方式から上位2ネットワークを最終採用
 実験：学習設定 
 20 https://arxiv.org/pdf/2207.06168
21. • mIoU で最も良い精度を記録
 • リソース(パラメーター数、計算回数、実行時間)でも使用を削減
 実験：結果 
 21
22. 実験：結果 
 22
23. • OEM ソースドメインを使用した場合でも、UDA により、mIoU で最も良い精度を記録
 • リソース(パラメーター数、計算回数、実行時間)でも使用を削減
 実験：結果 
 23
24. 実験：結果 
 24
25. 25 結論 This image was generated by ChatGPT
26. • NAS (Neural Architecture Search) と self-training UDA を統合した MRF-NASベースの UDA-NAS フレーム ワークを提案。
 • Teacher–Student 構造を用い、ソースラベルとターゲット擬似ラベルを組み合わせて学習。 
 • アーキテクチャ探索には MRF に基づく因子分解と多様なサブネット抽出 (M-best inference) を導入。 
 • 結果から、軽量でありながらも既存の大規模モデルを上回る精度を達成 
 結論
 26