Share
Embed
APTOS_2019_Blindness_Detection_96th_Solution
ktr
September 23, 2019
Transcript
16 slides
-
自己紹介 - はじめまして - • ふだん→情シス • これから→MLエンジニア • Kaggle歴:1年くらい
◦ R : Bronze ◦ Quora : シルバー ◦ APTOS : シルバー @ktr_wtb 2 -
もくじ • 参加のきっかけ • コンペの概要 • 解法 ◦ データの処理 ◦
モデル 初期 中期 後期 ◦ パイプライン • 反省と次に向けて 3 -
参加のきっかけ • Freesound Audio Tagging 2019 ◦ 音声データのタグ付け。音声データをメル周波数スペクトログラムで画像化すれば画像分 類タスク
◦ 初めての(ほぼ)画像コンペ 110th (100thでブロンズ) 4 -
コンペの概要 - Diabetic Retinopathy - • Diabetic Retinopathy = 糖尿病性網膜症
◦ 糖尿病による3大合併症の一つ ▪ 成人の失明原因の上位を占める ◦ 血糖が高い状態が続くと血管が損傷、変形したりして網膜が酸素不足に。酸欠を補おうと して新生血管を増やすが、破れやすく出血の原因に。出血するとかさぶたのような状態に なりそれが原因で網膜剥離を起こす。 5 -
コンペの概要 - Diabetic Retinopathy - • 症状の進行状況によりGradeが設定されている ◦ 各眼科医アノテーションによるラベルの不一致
◦ Imbalanced Data Train DataSet Distribution 3622 images 6 -
コンペの概要 - metric - • Quadratic Weighted Kappa (QWK)
◦ カッパ係数は正解ラベルとモデルの分類結果の一致度を計る ▪ ラベルと分類結果にギャップがあるとペナルティ(二乗=Quadratic)を与える ▪ e.g. ラベル1、分類結果4 -> 重いペナルティ ▪ 1 に近いほど良い ◦ 不安定 7 -
コンペの概要 - 課題 - • 病症によらないメタ特徴量だけでローカルのQWKが+0.7 ◦ Height、Width、Ratio(Height/Width)、pixel
count ◦ PublicでQWKが0.03→Private ? (https://www.kaggle.com/taindow/be-careful-what-you-train-on) • 前処理が施された画像の存在 ◦ Privateでも? • External Data の利用 ◦ Diabetic Retinopathy Detection (2015年) ◦ INDIAN DIABETIC RETINOPATHY IMAGE DATASET (IDRID) ◦ Messidor 8 -
解法 • ほぼすべてDiscussionに従う ◦ EfficientNetB3 ◦ 2015年データと2019年データを使う ◦ 重い前処理は必要ないっぽい
◦ Augmentation 大事 • CVではなくLBに頼った ◦ Discussionにヒントがなかったので.... ◦ 途中lossとmetricが最良でもLBが下がって路頭に迷う ◦ 最終subはPublicで1番=Privateで2番で 運が良かった 9 -
解法 - データの処理 - • 2015データ ◦ ノイズになりそうなデータを削除 ▪ cv2.calcHist()
▪ mean、skew、kurtosis ◦ 1th:特になにもしてなかった • 2019データ ◦ 重複画像を一枚に ◦ 異なるラベル付けのデータを削除 • 前処理 ◦ 余分な黒い部分の削除のみ 10 -
解法 - 初期 - • 初期:ResNet50 ◦ 画像を丸く切り取るCricle Crop、前回のコンペ1thの手法Ben Cropを試すが大体何もしな
いほうがLBが高い→重い前処理は必要ないっぽい ▪ models we all used here are way more complex (in a number of parameters) and have much bigger capacity and generalization power, so preprocessing has vanishing impact. ( from 10th solution ) ▪ the image size and shape information is still useful, so I stopped focusing on preprocess. I'm now confident that this thoughts was somehow right after checking private score because it's incredibly higher than previous competition. (form 13th solution ) ◦ 2015でPretrainして0.72 ◦ Augmentation(zoom、rotate etc … )で0.76 11 -
解法 - 中期 後期 - • 中期-後期:EfficientNetB3 ◦ Pretrain +
5-Fold Average ▪ image size 256 0.805 ▪ image size 300 0.808 ◦ image size 300 に IDRID を足して 0.810 ◦ image size 256と300 でアンサンブル 0.816 ▪ image size 300 は TTA x5 ▪ Publicでは+0.008だったがPrivateでは+0.0008 12 -
反省と次に向けて • LuckとDiscussionが命綱 ◦ → 基礎知識の増強。論文読んでタスク周辺知識も補う • 途中のGPU制限で泣きそうになった
◦ → 週時制限も加わったので、計算資源を別に持つようにする ▪ 気軽にカーネルだけでやっていける最後の画像コンペになったのでは? ◦ → 効率よく実験が回せるようにパイプライン整備する ▪ yaml ? catalyst ? Lightning ? • 持続可能性を保ちつつメダルが取れる様になる ◦ コンペ毎に体力と気力を使い切ってる ◦ 金(Master)を目指す 14 -
Appendix - 1th Solution - • Validation Strategy ◦
LocalとLBを一致させることができなかった。discussionとkernelから他の参加者も同様だったので、 PublicLBを頼った • Preprocess ◦ なし。シンプルなリサイズのみ • Image size ◦ 過去のコンペから大きいsizeでよい結果が得られることが分かった。384を超えると特に効果的では なくなったが、Privateでは効果が得られそうという判断 • Trainig ◦ 4つのモデルを使用したが、異なるシードで使ってペアで評価した(4x2=8モデル) • Generalized Mean Pooling 16