Upgrade to Pro — share decks privately, control downloads, hide ads and more …

(ICLR2023) Improving Deep Regression with Ordin...

Shumpei Takezaki
April 23, 2025
75

(ICLR2023) Improving Deep Regression with Ordinal Entropy

Shumpei Takezaki

April 23, 2025

Transcript

19 slides
  1. • Improving Deep Regression with Ordinal Entropy • MSEで獲得した特徴量はエントロピーの観点からCEに劣ることを理論的に解明 •

    クラス順序を考慮した特徴量正則化の提案 紹介する論文 1 Zhang+, ICLR2023 With MSE With CE Entropy Epoch With MSE With CE
  2. • 回帰タスク (入力に対して数値を予測.例:年齢推定) • 回帰: 連続値ラベルの推定.MSE Lossを使用 • 分類: 離散値クラスへの分類.CE

    lossを使用 回帰タスクの解き方は2通りあるねん 2 𝑓reg 47 57 𝑦pred 𝑦GT MSE:= ||𝑦pred − 𝑦GT ||2 𝑓cls ො 𝑦pred ො 𝑦GT 回帰 分類 CE:= −ො 𝑦GT log ො 𝑦pred MSE … 57 0 … 100 … … 47 CE 46 48 … 離散化
  3. • 回帰タスク (入力に対して数値を予測.例:年齢推定) • 回帰: 連続値ラベルの推定.MSE Lossを使用 • 分類: 離散値クラスへの分類.CE

    lossを使用 回帰タスクの解き方は2通りあるねん 3 𝑓reg 47 57 𝑦pred 𝑦GT MSE:= ||𝑦pred − 𝑦GT ||2 𝑓cls ො 𝑦pred ො 𝑦GT 回帰 分類 CE:= −ො 𝑦GT log ො 𝑦pred MSE … 57 0 … 100 … … 47 CE 46 48 … 離散化 直感に反して,分類で学習したほうが精度が高い↑ <
  4. • 複数の研究によって報告.その理由はタスク依存として説明 “回帰<分類”問題: MSEよりCEの方が精度高い 4 [Cao+, IEEE Trans. Circuits Syst.

    Video Technol., 2017] 深度推定 連続値の回帰より離散クラスへの分類が簡単 ターゲットラベルの値が揺らいでいる [Xiong+, ECCV, 2022] 群集カウント
  5. 特徴空間上のエントロピーで比較 17 MSE + ℒ𝑑 CE (256 class) MSE +

    ℒ𝑑 +ℒ𝑡 MSE 正則化ℒ𝑑 によってエントロピーが向上
  6. • 目的: なぜ”回帰<分類”問題が発生するのか?を解明 • 理論的な結論: 特徴空間上のエントロピーに違いを発見 • 手法: Ordinal Entropy

    (順序を考慮した正則化)を提案 • 結果: 回帰モデルへの導入で精度改善を実現 • 感想: • 損失関数の差を特徴学習の差として捉えるという方法が新鮮 • 複数の解き方があるOrdinal classification (Soft label, K-rankなど)を統一的な視点から 比較できるかも? • (完全に理解できていないが) 理論パートは仮定が多い印象 • 分類モデルとの比較がないので,結局はCEでの学習が優位?? まとめ 18

More Decks by Shumpei Takezaki