MoAコンペで気づいたこと

MoAコンペで気づいたこと fkubota https://www.kaggle.com/fkubota

さっそくですがモデルの性能をtarget_columnごとで評価したことありますか？僕はあります。今回のコンペのmetricを見てみましょう。これを変形してみます。 https://www.kaggle.com/c/lish-moa/overview/evaluation

row方向 column方向 mのみに依存

各カラム毎にscoreを出力できた！

ターゲットカラム毎に評価はできました。 1つ1つ結果を確認するのもいいですが、もう少しおもしろいことをしましょう。

1の数(n)を数えてみる 17 18 24 190 301 仮説: nが小さいほど(学習が困難になって)lossが大きいのでは？ n =

n vs logloss でプロット nが小さいほどうまく学習ができていない？ ---> nが小さいほどloglossは大きくなる？右のグラフを見る限りそうでもない。仮説は否定された。なんでこうなるの？あと、右上に単調増加する意味ありげな形
これはなにかあるぞ。。。

そもそも、nが1とかだったら、モデルに予測させるのではなく、全部0埋めすればいいのでは？こいつら学習させることできるんですか？

0で埋めるのが最適かはわからない。 0に近い値で埋めたほうがいいのは確か。どの程度の一定値で埋めればいい？ n=1, 2, 3, 4, 5のときに、様々な一定値で埋めて score_colを計算した。横軸は、埋めた一定値の値。
縦軸はscore_col の値。最適な一定値はnによって変わる。

実はこの最適な一定値は解析的に計算できる。簡単に紹介(自分で計算してみてね)。

score_colを最小とするようなCをC_0とする (記号の雑さ、数学的な厳密性の欠如は今は目を瞑ってください m(_ _)m) これを解くと... 美しい感じの解出た！直感的！！

求めた解を使って、nごとにプロットしてみるおっ？？

いっしょにプロットおおおおおおお！

つまり？計算したloglossを赤色でプロットした。見事に一致している部分が多くある。赤色と重なっている青い部分はこう解釈できる。「1は予測できないが、たまに1がtargetにある。すべて0 にpredictしてしまうとペナルティが大きくなってしまうので、ちょうどいい感じの値を出しておこう」モデルは、1を頑張って予測しようとしているのではなく、ペナルティが最小限になるような値を出力しているに過ぎないと言える。
赤い線に近い値を取っているカラムは全く学習していない！！！

シェイクの予感 - ほとんどの参加者は、この事に気づいていない - スコアに大きな影響があるのはnが大きいターゲット - おそらくほとんどのモデルはnが小さいターゲットはほとんど学習できていない - モデルは、nが小さなターゲットではn(1が何個含まれているか？)し
か見ていない。 - testとtrainでnの数に大きな差があれば性能は極端に落ちる。 nが小さいtargetで性能を出せればシェイクアップはできる！！

コンペ後半は、n<200の部分だけの性能アップに注力 - focal loss - mixup - LabelSmoothing - etc….
mixupが一番効く！！

cool_rabbitさんによる実験黄色: mixup なし青色: mixupあり良くなってる悪くなってるアンサンブルの時、このモデルはN<200
の部分だけを使うなどの工夫をした

シェイクアップ！！！！

MoAコンペで気づいたこと

MoAコンペで気づいたこと

fkubota

More Decks by fkubota

Other Decks in Programming

Featured

Transcript