論文紹介 Rethinking Classifier Re-Training in Long-Tailed Recognition: Label Over-Smooth Can Balance

Long-Tailed Recognition/Classificationにおける分類器再学習の役割を見直し、新たな評価指標とクラス不均衡問題に対処する新たな方法を提案する論文を紹介する

Transcript

1. AI Community 2025.10.16 洪 嘉源 GOドライブ株式会社 論文紹介 Rethinking Classifier Re-Training in Long-Tailed Recognition: Label Over-Smooth Can Balance
2. 2 論文紹介 Rethinking Classifier Re-Training in Long-Tailed Recognition: Label Over-Smooth Can Balance [1] ▪ 2025 ICLR ▪ Long-Tailed Recognition/Classificationにおける分類器再学習 （Classifier Re-Training）の役割を見直し、新たな評価指標とクラス 不均衡問題に対処する新たな方法Label Over-Smooth（LOS）を提案 する。
3. 3 背景 ▪ 現実のデータセットは Long-Tailed分布を持ちやすい head classes: 少数のクラス、データ数が多い、学習しやすい tail classes: 多数のクラス、データ数が少ない、学習しずらい ▪ 通常の分類モデルは多数クラスに偏り、少数クラスの精度が著しく低下 head classes tail classes cat vulpes lagopus
4. 4 背景 Decoupling Representation and Classifier for Long-Tailed Recognition, ICLR 2020 [2] ▪ 近年注目されているDecoupled Training（二段階学習）の解法 ▪ 分類パーフォマンス = 表現クオリティー + 分類器クオリティー - long-tailed分布のデータを通常の学習なら分類器クオリティーが低い - 直接rebalancingの手法を全モデルに適用すると表現クオリティーが下がる
5. 5 背景 Decoupling Representation and Classifier for Long-Tailed Recognition, ICLR 2020 [2] ▪ 二段階学習（Decoupled Training）とは 1. 特徴表現（Feature Extractor）： - 1回目の学習でlong-tailed dataをそのまま学習する - 多数クラスの支配を受けやすいが、一般的な特徴表現を獲得することに集中 - ResNet, ViT などの CNN/Transformer の主幹部 2. 分類器（Classifier）： - 2回目の学習で凍結した特徴に対して分類器の重みだけを再調整 - 少数クラスにもバランスを取れるように設計
6. 6 ▪ Classifier Retraining (cRT) - 特徴抽出部を固定し分類器だけをre-sampling(class-balanced) で再学習 ▪ 𝜏-Norm - 直接にweightを修正する: ෦ 𝑤𝑖 = 1 𝑤𝑖 𝜏 ∗ 𝑤𝑖 − 𝜏 ∈ (0, 1)はcross validationで決める ▪ Learnable Weight Scaling (LWS) - 学習でweightのscaleを調整: ෦ 𝑤𝑖 = 𝑓𝑖 ∗ 𝑤𝑖 - 特徴抽出部と分類器を固定して 𝑓𝑖 はre-sampling (class-balanced)で学習 ▪ Nearest Class Mean classifier (NCM) - 各クラスの平均特徴を計算し、最近傍探索で分類 分類器性能向上手法 -
7. 7 研究の目的 ▪ 分類器再学習の手法を統一的な特徴表現のもとで再評価 ▪ 新しい評価指標を2つ提案： - Logits Magnitude（LoMa）：正解クラスと非正解クラスのlogitの差 - Regularized Standard Deviation（RSD）：logitsの標準偏差をLoMaで正規化 ▪ 提案手法Label Over-Smooth（LOS）を導入
8. 8 既存手法の再評価 ▪ 従来研究の課題: 多くの先行研究は、分類器再学習の際にも特徴抽出 器を同時に更新していた → 分類器の変更だけではなく、特徴の表現自体も変わる → 分類器の性能の純粋な評価ができていない ▪ 分類器だけを固定条件下で公平に比較したい - すべての手法で同一の特徴抽出器（Backbone）を使用 - 特徴表現の質に左右されないため、分類器自体の効果を定量的に・直接的に比較可能
9. 9 評価指標 ▪ 従来の指標： - Overall Accuracy - Many/Medium/Few-shot Accuracy - Confusion Matrix これらは予測結果に基づく指標、分類器の内部状態は見えない、詳細の原因分析しづら い ▪ 分類器の各クラスに対応する重みベクトルのノルム [2] → この論文では、理論的に重みノルムは本質的な指標ではないことを証明した → Cross-Entropy損失では、モデルの重みWとバイアスbが最適化されますが、実はこ の重みWの全てのベクトルに任意のベクトルδを足し合わせても、バイアスbを適切に 調整すれば、モデルの最終的な予測確率は全く変わらない。
10. 10 新しい評価指標 ▪ Logits Magnitude (LoMa) クラスiにおける、「クラスiに属するサンプルの平均logit」と「クラスiに属さないサ ンプルの平均logit」の差分 ▪ 分類スコアの極端な偏りを可視化
11. 11 新しい評価指標 ▪ Regularized Standard Deviation (RSD) logitの標準偏差を、そのクラスの識別しやすさ（LoMa）で正規化した値 ▪ 分布の広がりをLoMaで正規化して比較可能に
12. 12 新しい評価指標 ▪ モデルの性能が高いほど、クラス間のLoMaが小さくかつバランスよ く保つことになる傾向がある ▪ LoMaの絶対値を意図的に小さくすれば、ノイズの影響を抑制し、性 能をさらに向上させられる
13. 13 提案手法 ▪ Label Over-Smoothing (LOS) アイデア:従来のone-hot label（正解クラスのみ1、他は0）を、極端に平滑化した soft labelに置き換えて学習する
14. 14 提案手法 ▪ LOSは、損失関数を通じてモデルのlogit出力を間接的に制御する - 効果①: 過信の抑制 正解ラベルのターゲット値が1より小さくなるため、モデルは正解クラスのlogitを無限 に大きくしようとしなくなる。これにより、多数派クラスへの過信が抑制される。 - 効果②: LoMaの低減とバランシング 結果として、全クラスのlogitの絶対値が小さくなり、クラス間のLoMaがより均一にな る。 これにより、少数派クラスの学習が安定し、識別性能が向上する。
15. 15 実験 ▪ データセット CIFAR100-LT: 100クラス。不均衡率(IR)を10, 50, 100に設定 ImageNet-LT: 1000クラス。大規模で現実的なデータセット iNaturalist2018: 8142クラス。非常に大規模かつ不均衡な生物種分類データセット ▪ バックボーンモデル: ResNet-34 (CIFAR), ResNeXt-50 (ImageNet), ResNet-50 (iNaturalist)
16. 16 実験
17. 17 実験 ▪ プラグインとして使用しても効果あり
18. 18 実験 ▪ Smooth Factor (δ) の影響 図：横軸にSmooth Factor(δ)、縦軸に精度。不均衡率(IR)が高いほど、δを大きくする効果が高いことがわかる。 ▪ 分析結果: - δが1に近づくほど（より強く平滑化するほど）、全体の精度が向上する - この結果は、本手法が単なる過学習抑制ではなく、積極的にlogitを制御するという 新しいメカニズムで機能していることを強く裏付けている
19. 19 まとめ ▪ 公正な再評価: 統一された基盤の上で既存の再学習手法を評価し、新 たなベンチマークを提示した。 ▪ 新指標の提案: モデル性能と強く相関するLogits Magnitude (LoMa) を提案し、その有効性を示した。 ▪ 新手法の開発: LoMaの分析に基づき、シンプルで強力なLabel Over- Smoothing (LOS)を開発し、全ベンチマークでSOTAを達成した。ク ラス分布などの事前知識を必要とせず、プラグインとしても機能する 汎用性がある。
20. 20 [1] Siyu Sun, Han Lu, Jiangtong Li, Yichen Xie, Tianjiao Li, Xiaokang Yang, Liqing Zhang, Junchi Yan. Rethinking Classifier Re-Training in Long-Tailed Recognition: Label Over-Smooth Can Balance. In ICLR, 2025. [2] Bingyi Kang, Saining Xie, Marcus Rohrbach, Zhicheng Yan, Albert Gordo, Jiashi Feng, Yannis Kalantidis. Decoupling Representation and Classifier for Long-Tailed Recognition. In ICLR, 2020. Reference