Unsupervised Domain Adaptation Architecture Search
 with Self-Training for Land Cover Mapping
 山口大学
 中田和真
 1 第16回 SatAI.challenge勉強会
 この資料に出てくる図は引用を明記しない場合は Clifford Broni-Bediako et al. (2024), “Unsupervised Domain Adaptation Architecture Search with Self-Training for Land Cover Mapping”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops. より引用 

目次 
 2 ● 自己紹介スライド
 ● 研究の1ページサマリ紹介 
 ● 研究の背景（Introduction） 
 ● 手法について（Method） 
 ● 実験（Experimet）
 ● 結論（Conclusion）
 

3 著者紹介 This image was generated by ChatGPT 

自己紹介 
 4 中田　和真 所属：山口大学 情報認識工学研究室 D3 研究テーマ：機械学習による超音波画像を用いた肝硬変の検出 その他活動： ● 2024年度 山口大学 SPRINGスカラシップ研究学生 ● 第23回 IEEE広島支部学生シンポジウム 運営 ● cvpaper.challenge コラボ AI論文解説 

5 1ページサマリ This image was generated by ChatGPT 

Unsupervised Domain Adaptation Architecture Search 
 with Self-Training for Land Cover Mapping 
 6 ● 土地被覆分類（セグメンテーション）におけるドメイン変化に対して UDA (Unsupervised Domain Adaptation) を提 案
 ● Teacher-Student 方式により、以下2点のメリットを実現 
 ○ Student モデル → Self-training, Teacherモデル → 平均移動量 で学習を分けることで、誤ったラベル付 けの影響を削減
 ○ Student モデルは RMF (Random Markov Field、マルコフ確率場) で最適な（軽量、高精度）モデル構造を 探索
 ● 実験結果より、既存の UDA モデルを上回る精度を記録 
 

7 研究の背景 This image was generated by ChatGPT 

背景：リモートセンシングにおける UDA (Unsupervised Domain Adaptation, 教師なしドメイン適応) 
 8 ● 教師あり学習（セグメンテーション）では、訓練とテストが同一の分布に従うと仮定 
 ● しかし、現実世界では画像取得の季節、地域、画像解像度などに差が発生し、モデル性能が低下 
 ● 特に、テストドメインでのラベル付きデータを収集する作業はコストが高い 
 ● そこで、未ラベルのテストデータを活用したドメイン適応が土地被覆分類で提案されてきた 
 ○ 代表的手法
 ■ 敵対的学習ベース（ドメイン判別器を利用） 
 ■ 自己学習ベース（ターゲットデータに擬似ラベル付与） 
 ● 一方で、これらは人の設計による大規模なモデルが多く、軽量な UDA モデルは十分提案されていない 
 ● そこで、 NAS (Neural Architecture Search) によるモデル構造の探索を行う 
 

9 手法について This image was generated by ChatGPT 

● 提案手法は NAS (Neural Architecture Search) と Self-training UDA を統合した枠組みを提案 
 ● 基本構造は Teacher-Student モデル 
 ○ Teacher supernet：
 ■ 疑似ラベルを生成
 ■ Student supernet の EMA (指数移動平均) でパラメーター更新 
 ○ Student supernet：
 ■ MRF-NAS で構造探索 
 ■ 教師ありデータ（source domain）と疑似ラベルデータ（target domain）を学習 
 手法：提案手法の全体像 
 10 

● マルコフ確率場による NAS を導入 
 ○ モデル構成要素（カーネルサイズ、チャンネル幅、ダウンサンプリング、アップサンプリング）の 
 最適な構造を探索
 ● NAS の定式化
 
 
 
 
 ○ 二段階最適化
 ■ １：あるモデル構造を複数仮定し、訓練後に性能をそれぞれ評価 
 ■ ２：その中で最も性能が良いものを探索空間から選ぶ 
 ■ 今回は ソースドメイン＋ターゲット疑似ラベルの損失で評価 
 ○ 記号
 ■ A：探索可能な構造の空間 
 ■ α：構造の候補
 ■ θ：モデルの重みパラメーター 
 ■ L：損失関数
 手法：MRF-NAS 
 11 

手法：UDA (Unsupervised domain adaptation、教師なしドメイン適応) 
 12 ● Self-training に基づく UDA 
 ● Student supernetの学習 
 ○ ソースドメインとターゲットドメインの差を学習で抑制したい 
 ■ ソースドメイン：分類に有効な知識の獲得 
 ■ ターゲットドメイン：未ラベルデータへの適応 
 ● Teacher supernet の学習 
 ○ Student supernet のパラメーター指数移動平均でモデルを更新 
 ○ 誤った疑似ラベルの影響を抑制できる 
 

● MRF-NAS では pairwise MRF での 事後確率最大化 (MAP) としてモデル構造探索 (NAS) を扱う 
 ● pairwise MRF では、無向グラフの各ノードがモデル構造（カーネルサイズ、チャンネル幅など）を表現 
 ○ 単項要因（unary, 各ノードの選択の好ましさ） 
 ○ 二項要因（pairwise, ノード間の依存の好ましさ） 
 を使ってモデル構造の確率分布を表現 
 ● を要因 (factors) の集合 とする。ここで、 
 ● モデル全体の事後確率は 
 ○ 
 手法：モデル構造探索 
 13 

● 指標として識別率を M としたとき、 と仮定 
 ○ MRF の学習目標として、性能の良いモデル構造に高い確率を与える 
 ○ NAS が以下の α* を求める事後確率最大化問題となる 
 
 
 
 
 ○ ここで、E はエネルギー関数、L はクロスエントロピー損失 
 ● モデル構造の候補は離散値のため、モンテカルロ法で式3を微分可能にし、最適化を行う 
 
 手法：モデル構造探索 
 14 

● MRF を用いた「各ノードの選択や相互作用（factor）」の学習では、モデル構造の確率分布が得られる 
 ● その分布に基づいて、 モデル構造の候補選択を行う 
 ○ M-best loopy inference： 
 ■ 確率モデルから性能が良い解を複数 (M個) 探す推論手法 
 ■ 1つの最適サブネットだけでなく、{α1,α2,…,αm} のように複数のモデル構造集合を抽出 
 ○ その後、上記候補から精度指標 (識別率) やリソース制限 を参考にモデル構造を決定 
 
 
 
 ● モデル構造探索の流れまとめ 
 ● 要因 (factors) を学習 → 確率分布作成 → 複数のモデル候補抽出 → 精度指標でモデル構造を決定 
 手法：モデル構造探索 
 15 

● self-training での疑似ラベル作成では、 Teacher supernet の出力を擬似ラベルとする 
 ● 疑似ラベル作成方法１：confidence-based pseudo-labelling 
 ○ 
 
 
 
 ○ 各クラスの内、もっとも出力値が高いクラス (式4) で閾値を超えるもの (式5) を疑似ラベルとする 
 ● 疑似ラベル作成方法２：energy-based pseudo-labelling 
 
 
 
 
 ○ softmax 最大値だけでなく、他クラスとの相対差（分布が尖っているか均等か）も反映 
 手法：Self-training UDA 
 16 

● Student supernet は以下のロスを最小化 
 
 
 ○ 第１項：ソースドメインでの損失 
 ○ 第２項：ターゲットドメインでの損失 
 ○ ラムダ：調整係数
 
 ● 実験では、online self-training を使用 
 ○ Teacher supernet の出力疑似ラベルを逐次 Student supernet の学習に使用 
 ○ Teacher supernet の更新も逐次行われるため、効率的な学習ができる 
 
 ● EMA (指数移動平均) は以下の式 (ChatGPTで作成)
 手法：Self-training UDA 
 17 

18 実験 This image was generated by ChatGPT 

● データセット①：OpenEarthMap
 ○ 内容：
 ■ 画像数：5,000枚
 ■ 画像サイズ：1,024 × 1,024 ピクセル
 ■ 解像度：地上サンプリング距離 0.25〜0.5m
 ■ カテゴリ：8クラス（土地被覆ラベル）
 ■ 地域数：97地域、44か国、6大陸
 ■ セグメント数：約220万
 ○ UDA セッティング：
 ■ Source domain：73地域
 ■ Target domain：24地域
 ■ 都市部と農村部のバランスを
 ソースとターゲットで確保
 実験：データセット 
 19 ● データセット②：FLAIR #1
 ○ 内容：
 ■ 画像パッチサイズ：512 × 512 ピクセル
 ■ 解像度：GSD 0.2m
 ■ 各ドメイン：1,725〜1,800パッチ
 ■ カテゴリ：12クラス
 ○ UDA セッティング：
 ■ Source domain：10県
 ● 実験ではドメイン適応として本データ セットは使用せず、変わりに OEM の ソースドメインを使用 
 ■ Target domain：3県
 ■ 訓練データ：約16,000枚
 ■ テストデータ：約5,000枚
 

● 先行研究 [Wang et al.] の MRF-U-Net を利用
 ● 表1の構造パラメーターを探索
 
 
 
 
 
 
 
 ● Student supernet の学習
 ○ 初期モデル構造で 1500 回学習後、40,000回まで要因の学習を行う
 ○ recall cross-entropy loss（クラス不均衡対応）
 ○ Data augmentation：
 ランダムクロップ (512×512) 、 Color jitter 、 Gaussian blur、Classmix
 ○ 他のハイパーパラメータは [Wang et al.] に準拠
 ● 擬似ラベリング方式
 ○ Confidence-based：閾値 τ=0.968（DAFormer準拠）
 ○ Energy-based：閾値 τe=−8.0 T=1（InPL準拠）
 ● 推論とモデル選択
 ○ FLOPs 制約：2.5G FLOPs（入力サイズ 256×256）
 ○ 8個の最適サブネットを選出（各擬似ラベル方式から4つ）
 ○ それらを再学習し、各方式から上位2ネットワークを最終採用
 実験：学習設定 
 20 https://arxiv.org/pdf/2207.06168 

● mIoU で最も良い精度を記録
 ● リソース(パラメーター数、計算回数、実行時間)でも使用を削減
 実験：結果 
 21 

実験：結果 
 22 

● OEM ソースドメインを使用した場合でも、UDA により、mIoU で最も良い精度を記録
 ● リソース(パラメーター数、計算回数、実行時間)でも使用を削減
 実験：結果 
 23 

実験：結果 
 24 

25 結論 This image was generated by ChatGPT 

● NAS (Neural Architecture Search) と self-training UDA を統合した MRF-NASベースの UDA-NAS フレーム ワークを提案。
 ● Teacher–Student 構造を用い、ソースラベルとターゲット擬似ラベルを組み合わせて学習。 
 ● アーキテクチャ探索には MRF に基づく因子分解と多様なサブネット抽出 (M-best inference) を導入。 
 ● 結果から、軽量でありながらも既存の大規模モデルを上回る精度を達成 
 結論
 26