全国医療AIコンテスト 2021 1st place solution

修正、加筆しました

Transcript

1. 全国医療AIコンテスト 1st place solution 2021/03/27　　　チズチズ 　abap34 team: 🦾😢
2. 自己紹介 越智優真（チズチズ） • 千葉大学教育学部附属中学校 3年 • Kaggle Expert • 医学素人、機械学習素人 • 最近は量子コンピュータとギターにお熱 • 専攻分野　なんでも
3. 自己紹介 abap34 - 東海高校二年生(春から受験生) - 機械学習に興味, 色々開発(コンペ少し) - 医学素人機械学習素人
4. モデリングのTips、全体的なアプローチ • Global Average Pooling ◦ 時間軸でたたむ • Multiple Input ◦ 年齢、性別 ◦ concat→Dense • SWA ◦ 重みを平均化(≠局所最適) • SAM ◦ ロバスト性が高まる(≠局所最適) • 多様性を意識 ◦ アンサンブルを想定 ◦ 色々なアーキテクチャ 最終層でage, sexを入力
5. 最終的なアンサンブルに使ったモデル - ResNet的機構を導入したConv1Dモデル(https://arxiv.org/abs/1805.00794v1) - それのoptimizerにSWAを適用したバージョン - それのPseudoLabelingなどを適用したバージョンのモデル - LSTM - よりResNet的なConv1dモデル - WaveNet
6. A Deep Transferable Representation Model(?) • ECG分類用に作られたアーキテクチャ • Kaggle Notebookにて発見 • ResNet的なブロックがある • 深さ Is All You Need （Baselineがマッチョになったイメージ） https://arxiv.org/abs/1805.00794v1 + Pseudo Labeling, Label Smoothing(後述)でPrivate 4位相当のスコア
7. LSTM • 終盤、アンサンブルのため急遽作成 (多様性のあるモデル作りの一貫 ) • あまり詰め切れていない (が、それなりのスコアが出たのでアンサンブルに採用 )
8. ECG分類のためのコード（ResBlock） • 今回と同じ12誘導心電図を使ったモデル • とてもResNetっぽい • Paper with codeで漁ってたら発見 kernel size：12 → 5 層の数を数百まで減らしたらよく適合した https://www.nature.com/articles/s41467-020-15432-4
9. work approach - Cross Validation - Label Smoothing - WaveNet - Pseudo Labeling
10. label-type train test
11. CV構築 ~label typeと年齢の関係 label typeによる分布の変化
12. label typeと性別 train-auto test train-human vs
13. CrossValidation - testデータは全てlabel_type==”human”(手動ラベリング) => これにvalidationを近づけたい - trainをauto/humanで分離 - validationはhumanのみから取り出す human auto train ここをStratifiedKFold 常にtrain
14. label smoothing - autoでつけられたラベルは多少Noisyであると予想 => label smoothingでロバストなモデルに(↑0.002, 0.005)
15. 結果 shake up!
16. WaveNet - 層が深くなるにつれて、「とびとびで」畳み込みを行うネットワーク https://qiita.com/MasaEguchi/items/cd5f7e9735a120f27e2a
17. WaveNet モデル全体 入力付近 出力付近(age, sex入力部)
18. WaveNet - 単モデルでPublic5位/Private3位相当のスコア - 学習の安定性、速度、精度どれも良く、非常に強力
19. Pseudo Labeling • 0.05を閾値に ◦ 約6000データ を追加 • 0.003程改善 0.05 0.95 Pseudo あり Pseudo なし private public
20. Not worked • NN以外のアプローチ ◦ tsfresh ◦ その他特徴抽出 • フィルタ ◦ 平滑化 ◦ 微分 ◦ 画像アプローチ （12方向からのデータを扱うのが難しい + 事前学習済みモデル使用不可） => NN以外は難しかった :ランダムフォレスト
21. 役割分担など コンペの進め方 - 寝たら、多分負ける => 常に通話を繋ぎっぱなしにして作業 連続的に相互に役割を割り振る - お互い機械学習・医学系の専門的な教育を受けているわけではない => とにかく実験(理由づけは後からでも良い ) 反省点 - 最終盤の流れだけは「きっちりと」決めておくべきだった (最終的にアンサンブルが雑になってしまった ) - コードを共有する仕組みは短期間コンペでも整えておいた方が良い (バグを解決する一番の方法は、チームメイトに見せることかも )
22. まとめ - NNが強かった - 信頼できるCVで高速な実験 - ロバストモデル + pseudo labeling + 多様性のあるモデリング　+ でshake up!