Upgrade to Pro — share decks privately, control downloads, hide ads and more …

全国医療AIコンテスト 2021 1st place solution

4.1k

全国医療AIコンテスト 2021 1st place solution

修正、加筆しました

Yuma Ochi (chizuchizu)

March 27, 2021
Tweet

Transcript

  1. モデリングのTips、全体的なアプローチ • Global Average Pooling ◦ 時間軸でたたむ • Multiple Input

    ◦ 年齢、性別 ◦ concat→Dense • SWA ◦ 重みを平均化(≠局所最適) • SAM ◦ ロバスト性が高まる(≠局所最適) • 多様性を意識 ◦ アンサンブルを想定 ◦ 色々なアーキテクチャ 最終層でage, sexを入力
  2. A Deep Transferable Representation Model(?) • ECG分類用に作られたアーキテクチャ • Kaggle Notebookにて発見

    • ResNet的なブロックがある • 深さ Is All You Need (Baselineがマッチョになったイメージ) https://arxiv.org/abs/1805.00794v1 + Pseudo Labeling, Label Smoothing(後述)でPrivate 4位相当のスコア
  3. ECG分類のためのコード(ResBlock) • 今回と同じ12誘導心電図を使ったモデル • とてもResNetっぽい • Paper with codeで漁ってたら発見 kernel

    size:12 → 5 層の数を数百まで減らしたらよく適合した https://www.nature.com/articles/s41467-020-15432-4
  4. Not worked • NN以外のアプローチ ◦ tsfresh ◦ その他特徴抽出 • フィルタ

    ◦ 平滑化 ◦ 微分 ◦ 画像アプローチ (12方向からのデータを扱うのが難しい + 事前学習済みモデル使用不可) => NN以外は難しかった :ランダムフォレスト
  5. 役割分担など コンペの進め方 - 寝たら、多分負ける => 常に通話を繋ぎっぱなしにして作業 連続的に相互に役割を割り振る - お互い機械学習・医学系の専門的な教育を受けているわけではない =>

    とにかく実験(理由づけは後からでも良い ) 反省点 - 最終盤の流れだけは「きっちりと」決めておくべきだった (最終的にアンサンブルが雑になってしまった ) - コードを共有する仕組みは短期間コンペでも整えておいた方が良い (バグを解決する一番の方法は、チームメイトに見せることかも )