深層学習は奔流に身をまかせ / Get Drowned in the Flood for Deep Learning
by
Henry Cui
Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
深層学習は奔流に身をまかせ 機械学習の社会実装勉強会第20回 Henry 2023/2/18
Slide 2
Slide 2 text
モチベーション ■ ペインポイント ● 深層モデルの学習で望ましい効果を素早く得るのは難しい ● 実データのラベルにノイズが多い ● その問題点の一つに、過適合が挙げられる ■ 過適合を解消するための様々な正則化手法がある ● weight decay や learning rate scheduler ● Pytorchで簡単に使える ■ 今日は最近の研究から、実用性が高い新しい正則化手法を 紹介する ● 特に実装が楽 ● まだあまり知られていない 2
Slide 3
Slide 3 text
紹介する論文 ■ Do We Need Zero Training Loss After Achieving Zero Training Error?, Ishida et al., ICML 2020 ● Floodingという新しい正則化手法を導入 ■ iFlood: A Stable and Effective Regularizer, Xie et al., ICLR 2022 ● Floodingの計算式を少しだけ改良 3
Slide 4
Slide 4 text
Ishida et al., ICML 2020 ■ モチベーション ● 学習データでの損失を0まで学習を行ったほうが良いと言われる ● しかし、これは本当に必要なのか ● 正則化手法は、学習データでの損失を過度に最小化しないための間 接的な手法と見なせる ■ 直接学習損失の最小化を制限する手法:Flooding ● 実装も簡単 ● 学習損失は0じゃなくても、学習精度が100%の可能性もある 4
Slide 5
Slide 5 text
Ishida et al., ICML 2020 ■ 提案法は以下の性質をすべて満たす初めての正則化手法 ● 学習損失を直接制限する ● 特定の問題ドメインに依存しない ● 特定のタスクに依存しない ● 特定のモデルに依存しない ■ 提案法の仮設もシンプルで、「0の学習損失が有害」のみ ■ 検証損失の二重降下に関する初めて研究 5
Slide 6
Slide 6 text
Ishida et al., ICML 2020 ■ 人工データで有意な性能向上 6
Slide 7
Slide 7 text
Ishida et al., ICML 2020 ■ 実データでも有意な性能向上 ■ その他、Floodingによる勾配値の変化や解の平坦性なども調 査 7
Slide 8
Slide 8 text
Xie et al., ICLR 2022 ■ Floodingにデータインスタンスの勾配が乖離する問題 ● バッチで平均を取るので、同じバッチにある他のデータインスタンスの 損失に依存する ■ 提案手法:絶対値をバッチで取るではなく、各データインスタン スレベルで取るので、indivisual Flood (iFlood)と呼ぶ ■ 各手法のインスタンスの損失のヒストグラム 8
Slide 9
Slide 9 text
Xie et al., ICLR 2022 ■ 確かに性能向上につながる ■ その他も、勾配のノルムやノイズ耐性などを検証 9
Slide 10
Slide 10 text
まとめ ■ 実用性高い正則化手法のFloodingとその改良版のiFlood ■ 実装がシンプルで試しやすい 10