Guodong Zhang1,2, Aleksandar Botev3, James Martens3 (1University of Toronto, 2Vector Institute, 3DeepMind) 慶應義塾⼤学 杉浦孔明研究室 B4 和⽥唯我 Guodong Zhang et al., “Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers”, in ICLR(2022) ICLR 2022
10 • 𝐿層のネットワーク 𝑓 に対し, 各層順に合成した以下の関数について, • これらをそれぞれ global Q map , global C map と呼ぶ. o 𝒞% ∶ global C map • ⼊⼒の類似度 𝑐 に対しどれだけ出⼒の類似度を保持できているかを表す • 勾配による学習に直結する重要な指標