NFNet

I summarize NFNet.

Transcript

1. どんなもの？ 先行研究と比べて何がすごい？ 技術の手法や肝は？ 議論はある？ どうやって有効だと検証した？ 次に読むべき論文は？ ・AGC(adaptive gradient Clipping) ・NF-ResNets ・AGCを使って、バッチノームレイヤー無しのモデルをトレーニングできた。 ・このモデルは、accuracy、訓練速度において他のモデルを上回った。 ・バッチノーマライゼーションのメリットを残して、 デメリットを無くす代替手法（ネットワーク構造）の提案 High-Performance Large-Scale Image Recognition Without Normalization （2021） Andrew Brock/Soham De/Samuel L. Smith/Karen Simonyan DeepMind ・ImageNetを使って他のモデルと精度（accuracy)と、トレーニング速度を比較 ・BatchNormalization ・ResNet