APTOSコンペ振り返り_207th(銅メダル)

Transcript

1. Kaggle APTOSコンペ 振り返り 2019/9/23 しゃおろん（@syaorn_13）
2. Agenda • About APTOS competition • My profile & Our team • Our solution • Model 1 • Model 2 • Model 3 & 4 • Ensemble • 振り返り • もっとこうすればよかった • やってよかった • よくわからなかった
3. About APTOS competition • ImageClassification(画像分類)タスク • 糖尿病性網膜症の重症度を判定する(5段階) • 2019年6月~9月にかけて開催 • Kernelでの推論必須（訓練は自由） • 外部データの利用可 • PrivateDatasetはPublicの約7倍
4. My profile＆Our team ▪My Profile • しゃおろん(@syaorn_13) • データサイエンティストを目指して勉強＆就職活動中 • 前職は社内SE（某自動車会社の子会社） • 主にKaggleで自己学習中（Expertになりたい） ▪Our team • 3人チームで参加（@car53losaiさん、@_suk1yak1さん） • 全員が画像コンペ初心者
5. Our solution 4モデルのアンサンブル public:0.807→private:0.917 207th/2943 銅メダル ▪自作モデル 1. EfficientNet（public:0.779） 2. DenseNet（public:0.765） ▪公開カーネルのモデル 3. EfficientNet (public:0.798) 4. EfficientNet（public:0.777）
6. Model 1（public:0.779） メイン（にしたかった）モデル ・PublicLBが思うように伸びず、公開カーネルを超えられなかった ・Privateが4モデルの中で一番低く、悔しい結果に Our approach Model EfficientNet B0 (Regression) Training Pretrain:2015Data (UnderSampling、20epoch) →Train:2019Data（5epoch） Preprocessing Circle Crop, Resize(256x256), ben’s color Augmentation HorizontalFlip(0.5), Rotation(180), Translate(0.05) Validation StratifiedKfold(k=5) TTA No use
7. Model 2（public:0.765） 昔に作ってとっておいたモデル ・公開カーネルのpretrainを変えてtraining ・publicは低いが相関が低かったため採用（Privateが高く、メダル獲得に貢献） Our approach Model DenseNet 121 (Classifier) Training Pretrain:2015Data →Train:2019Data(30epoch) Preprocessing Resize(300x300) Augmentation HorizontalFlip(0.5), Vertical(0.2), Scale(±0.1), translate(±20),Rotation(±10), Shear(±5), Gaussiannoise, etc... Validation Hold-out(test_size=0.15, stratify=class) TTA 4TTA(Default, Horizontalflip, Verticalflip, Horizontal&Verticalflip)
8. Model 3 & 4 公開カーネルのため詳細は割愛 • Model3（public:0.798） 公開カーネルで最高スコア。EfficientNetで回帰。Training方法は不明 https://www.kaggle.com/xwxw2929/starter-kernel-for-0-79 • Model4（public:0.777） Model 1を作成時に参考にしたカーネル。EfficientNetで回帰 https://www.kaggle.com/chanhu/eye-inference-num-class-1-ver3
9. Ensemble • Shakeの危険を考え、なるべく多くのモデルを混ぜてスコアの安定を図った 最終提出はメインモデルを変えた2パターン どちらでも、メダルは取れていた • モデルの割合とスコア mode1 0.779 model2 0.765 model3 0.798 model4 0.777 CV Public Private Submit① 回帰モデルメイン 0.2 0.2 0.4 0.2 0.939 0.807 0.917 Submit② 分類モデルメイン 0.2 0.4 0.2 0.2 0.935 0.802 0.915
10. もっとこうすればよかった • 過学習と安易に判断せず、長いepochで学習を回してみる Model1が伸びなかったのは、学習不足だと思う Discussionで言われていた5epochをなんとなく信じてしまった 自ら実験して結果を確認すべき • サークルクロップを使用し続けたこと(Model1) Model1が伸びなかった原因の1つだと思う 情報が失われている可能性を考慮すべき • Augmentationに時間をかけすぎた 0.8を超えるかどうかに、augmentationはあまり関係なかった 学習を長くする等、ほかの根本的な • PseudoLabelingを使う そもそも知らなかったので、実力（リサーチ）不足
11. やってよかった • 公開カーネルも構わず使う（メダルを目指すという意味で） （かっこ悪いかもしれないが）アンサンブルでスコアを伸ばすには有用 公開カーネルなしだと、メダルは取れていなかったと思う • アンサンブルをしてShakeのリスクを下げる 大きな順位の変動はなく、結果的にメダルを取れた 反対に大きなshakeUpも難しくなるので、考え方次第
12. よくわからなかった • CVを信じるか、LBを信じるかの判断 CVとLBが10%以上も離れる特殊な状況 CVは高いがLBが低すぎるために捨てたモデルもあった Privateが全く未知な状況で、何を基準に判断軸を決めるべきだったのか • 閾値の調整 閾値の変更はリスクが大きそうなので、あまりしなかった 大きく閾値を変えてPrivateがかなり上がったモデルがあった（0.896→0.910）
13. 以上 ありがとうございました