Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文輪読会 第9回 "Lion: Symbolic Discovery of Optimization Algorithms"

AcademiX
April 22, 2023
680

論文輪読会 第9回 "Lion: Symbolic Discovery of Optimization Algorithms"

AcademiX が開催した 第9回 論文輪読会 資料

日時:2023/04/22
発表者:前田拓海さん
論文タイトル:Lion: Symbolic Discovery of Optimization Algorithms

<概要>
プログラムベースで新たなオプティマイザを探索する手法を考案し、Lionオプティマイザを発見した。Lionは既存手法に比べメモリ効率と精度で同等かそれ以上の性能を持ち、ImageNetの画像認識におけるSOTAを更新した。

AcademiX

April 22, 2023
Tweet

Transcript

  1. 目次 • 要約 • オプティマイザの探索方法 • Lionの性質・特性 • Lionのベンチマーク •

    Adamとの比較(自分の環境で実行してみる) • 自分の環境で実行してみての所感 • まとめ • 参考文献
  2. 探索の手順 AdamW Optimizer Optimizer Optimizer Optimizer Optimizer Optimizer parent children

    ランダムな変異 Optimizer Optimizer Optimizer parent parent ・ ・ ・ 説明のために簡略化して表現しています 詳細は[3]のTournament Selectionについて参照してください
  3. 探索の手順 [1]Figure 2 Left: 適応率の比較 4つの手法で比較 • ハイパーパラメータチューニング • ランダムサーチ

    • 提案したアルゴリズム • 提案したアルゴリズムで、progressが 300kの時にリスタートした場合
  4. Lionの特性 モーメンタム • モーメンタムの更新量を決定する beta2は、AdamやMomentum SGD で用いられる0.9よりも大きい0.99を 使う • この変更により、最大で10倍の長さの

    モーメントの履歴を保存可能 • updateへのモーメンタムの影響を決 定するbeta1は、0.9を用いる [1]Algorithm 2: Lionのアルゴリズム
  5. 参考文献 [1] [2023 Xiangning Chen et al.] Symbolic Discovery of

    Optimization Algorithms https://arxiv.org/abs/2302.06675 [2] [2020 Esteban Real et al.] AutoML-Zero: Evolving Machine Learning Algorithms From Scratch https://arxiv.org/abs/2003.03384 [3] [1991 David E. Goldberg and Kalyanmoy Deb] A Comparative Analysis of Selection Schemes Used in Genetic Algorithms https://www.cse.unr.edu/~sushil/class/gas/papers/Select.pdf