Upgrade to Pro — share decks privately, control downloads, hide ads and more …

深層学習は奔流に身をまかせ / Get Drowned in the Flood for Deep Learning

Henry Cui
February 17, 2023

深層学習は奔流に身をまかせ / Get Drowned in the Flood for Deep Learning

Henry Cui

February 17, 2023
Tweet

More Decks by Henry Cui

Other Decks in Technology

Transcript

  1. 深層学習は奔流に身をまかせ
    機械学習の社会実装勉強会第20回
    Henry
    2023/2/18

    View Slide

  2. モチベーション
    ■ ペインポイント
    ● 深層モデルの学習で望ましい効果を素早く得るのは難しい
    ● 実データのラベルにノイズが多い
    ● その問題点の一つに、過適合が挙げられる
    ■ 過適合を解消するための様々な正則化手法がある
    ● weight decay や learning rate scheduler
    ● Pytorchで簡単に使える
    ■ 今日は最近の研究から、実用性が高い新しい正則化手法を
    紹介する
    ● 特に実装が楽
    ● まだあまり知られていない
    2

    View Slide

  3. 紹介する論文
    ■ Do We Need Zero Training Loss After Achieving Zero
    Training Error?, Ishida et al., ICML 2020
    ● Floodingという新しい正則化手法を導入
    ■ iFlood: A Stable and Effective Regularizer, Xie et al., ICLR
    2022
    ● Floodingの計算式を少しだけ改良
    3

    View Slide

  4. Ishida et al., ICML 2020
    ■ モチベーション
    ● 学習データでの損失を0まで学習を行ったほうが良いと言われる
    ● しかし、これは本当に必要なのか
    ● 正則化手法は、学習データでの損失を過度に最小化しないための間
    接的な手法と見なせる
    ■ 直接学習損失の最小化を制限する手法:Flooding
    ● 実装も簡単
    ● 学習損失は0じゃなくても、学習精度が100%の可能性もある
    4

    View Slide

  5. Ishida et al., ICML 2020
    ■ 提案法は以下の性質をすべて満たす初めての正則化手法
    ● 学習損失を直接制限する
    ● 特定の問題ドメインに依存しない
    ● 特定のタスクに依存しない
    ● 特定のモデルに依存しない
    ■ 提案法の仮設もシンプルで、「0の学習損失が有害」のみ
    ■ 検証損失の二重降下に関する初めて研究
    5

    View Slide

  6. Ishida et al., ICML 2020
    ■ 人工データで有意な性能向上
    6

    View Slide

  7. Ishida et al., ICML 2020
    ■ 実データでも有意な性能向上
    ■ その他、Floodingによる勾配値の変化や解の平坦性なども調

    7

    View Slide

  8. Xie et al., ICLR 2022
    ■ Floodingにデータインスタンスの勾配が乖離する問題
    ● バッチで平均を取るので、同じバッチにある他のデータインスタンスの
    損失に依存する
    ■ 提案手法:絶対値をバッチで取るではなく、各データインスタン
    スレベルで取るので、indivisual Flood (iFlood)と呼ぶ
    ■ 各手法のインスタンスの損失のヒストグラム
    8

    View Slide

  9. Xie et al., ICLR 2022
    ■ 確かに性能向上につながる
    ■ その他も、勾配のノルムやノイズ耐性などを検証
    9

    View Slide

  10. まとめ
    ■ 実用性高い正則化手法のFloodingとその改良版のiFlood
    ■ 実装がシンプルで試しやすい
    10

    View Slide