Slide 12
Slide 12 text
実験1: 分析1
• Fine-Tuningに3つの段階(Fitting, Settling, Memorization)
があることを明らかにした
– 特にSettlingの発⾒が貢献.事前学習済みResNetにもSettlingは存在
するが,BERTはSettlingが⻑いのが特徴
– Settlingが⻑いので,厳密なEarly StoppingはBERTには不要かつ
Settling中で⽌められるならBERTはラベルノイズに対してロバスト
– ノイズがなければEpochが⼤きくても性能は維持される
12
訓練データ(ノイズあり)と開発データ
(ノイズなし)における性能の変化
訓練データ中のノイズのある事例のみに
おける性能の変化