Upgrade to Pro — share decks privately, control downloads, hide ads and more …

医療画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 / A survey of medical image diagnosis in ISIC 2018 Skin Lesion Analysis Towards Melanoma Detection

Shunsuke KITADA
September 09, 2018

医療画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 / A survey of medical image diagnosis in ISIC 2018 Skin Lesion Analysis Towards Melanoma Detection

2018/09/09のCpawLT in ディップ株式会社で発表した資料です。

Shunsuke KITADA

September 09, 2018
Tweet

More Decks by Shunsuke KITADA

Other Decks in Research

Transcript

  1. 医療画像診断 研究動向 2018 “ISIC 2018 Challenge”に見る皮膚障害認識 法政大学 理工学研究科 応用情報工学専攻 北田

    俊輔 CpawLT in ディップ株式会社 2018/09/09
  2. 自己紹介 2 • 北田 俊輔 (Shunsuke KITADA) @shunk031 shunk031 ◦

    法政大学大学院 理工学研究科 M1 彌冨研 所属 ▪ 文字形状に着目した CJK 自然言語処理 ▪ 皮膚障害画像を用いた自動診断システムの構築 ▪ 広告自動生成に向けた基礎研究 ◦ Cpaw AI Competition (AIC) 運営・作問 ▪ スポンサーを募集してます! https://www.cpaw.site/cpaw-sponser/
  3. 目次 3 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ◦ 医用画像診断の現状 ◦

    ISIC2018 Challengeとは ◦ 上位者の提案手法 & 解法 ◦ まとめ
  4. 目次 4 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ◦ 医用画像診断の現状 ◦

    ISIC2018 Challengeとは ◦ 上位者の提案手法 & 解法 ◦ まとめ
  5. 医療画像診断の現場 Google本格参入でホットに 5 - グーグルが狙う次の覇権は「医療」、AIで画像診断に革命 | Close-Up Enterprise | ダイヤモンド・オンライン

    https://diamond.jp/articles/-/170503 (2018/08/20) - 460億件のデータで訓練した医療の経過予測AI--グーグルが研究成果を発表 - CNET Japan https://japan.cnet.com/article/35121125/ (2018/08/20) - Scalable and accurate deep learning with electronic health records | npj Digital Medicine https://www.nature.com/articles/s41746-018-0029-1 (2018/08/20)
  6. 目次 6 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ◦ 医用画像診断の現状 ◦

    ISIC2018 Challengeとは ◦ 上位者の提案手法 & 解法 ◦ まとめ
  7. 目次 7 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ◦ 医用画像診断の現状 ◦

    ISIC2018 Challengeとは ◦ 上位者の提案手法 & 解法 ◦ まとめ
  8. ISIC2018 Challengeとは 入力画像から悪性黒色腫 (メラノーマ)* を診断する 8 *悪性黒色腫(メラノーマ)|一般社団法人日本皮膚悪性腫瘍学会 http://www.skincancer.jp/citizens_skincancer05.html ** ISIC

    2018 | ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection https://challenge2018.isic-archive.com/ - Task 1: Lesion Segmentation - 病変部位の輪郭の検出 - Task 2: Lesion Attribute Detection - 病変部位の検出 - Task 3: Disease Classification - 多クラスの病徴分類 Examples of lesion segmenttation Examples of lesion attribute detection システムを構築し、精度を競うコンペティション**
  9. ISIC2018 Challengeとは 入力画像から悪性黒色腫 (メラノーマ)* を診断する 9 *悪性黒色腫(メラノーマ)|一般社団法人日本皮膚悪性腫瘍学会 http://www.skincancer.jp/citizens_skincancer05.html ** ISIC

    2018 | ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection https://challenge2018.isic-archive.com/ - Task 1: Lesion Segmentation - 病変部位の輪郭の検出 - Task 2: Lesion Attribute Detection - 病変部位の検出 - Task 3: Disease Classification - 多クラスの病徴分類 Examples of lesion segmenttation Examples of lesion attribute detection システムを構築し、精度を競うコンペティション**
  10. Task 3: Disease Classificationについて 学習用データ (HAM) について [Tschandl+, 2018] 10

    症例 症例数 Melanoma (MEL) 1,113 例 Melanocytic nevus (NV) 6,705 例 Basal cell carcinoma (BCC) 514 例 Actinic keratosis / Bowen’s disease (AKIEC) 327 例 Benign keratosis (BKL) 1,099 例 Dermatofibroma (DF) 115 例 Vascular lesion (VASC) 142 例 Total 10,015 例 データ数が少ない・不均衡 Tschandl P., Rosendahl C. & Kittler H. The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions. Sci. Data 5, 180161 doi.10.1038/sdata.2018.161 (2018)
  11. Task 3: Disease Classificationについて ▪ 評価用データ - Validation: 193 例、test:

    1,512 例 - Validationセットにもラベルは付与されていない 11 ▪ 評価方法 - Balanced accuracy - 各症例数にしたがった正解率 - 症例が少ないクラスを間違えるとスコアが下がってしまう ▪ 外部データの使用 - 公開されているデータセットを追加で使用可能
  12. 目次 12 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ◦ 医用画像診断の現状 ◦

    ISIC2018 Challengeとは ◦ 上位者の提案手法 & 解法 ◦ まとめ
  13. 目次 13 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ◦ 医用画像診断の現状 ◦

    ISIC2018 Challengeとは ◦ 上位者の提案手法 & 解法 ◦ まとめ
  14. Ensembling Convolutional Neural Networks for Skin Cancer Classification [Nozdryn-Plotnicki et.

    al.] 14 前処理について data augmentation 使用モデル / アーキテクチャ テスト時の工夫 - リサイズ - 短辺が入力サイズより 1.25x大きく - Color constancy normalization - Shades of gray [Finlayson+, 2004] - Random flip (horizontal) - Random rotation (0, 90°, 180°, 270°) - Brightness / contrast augmentation Finlayson, Graham D., and Elisabetta Trezzi. "Shades of gray and colour constancy." Color and Imaging Conference. Vol. 2004. No. 1. Society for Imaging Science and Technology, 2004. - ImageNet学習済みモデルを複数 fine-tuning - 5-fold cross validationのaveraging - ヒストグラム特徴などの shallow featureを使用 したXGBoostモデルも混ぜている - Test time augmentation (24予測 / sample) - 0.8 ~ 1.0 倍のサイズでクロップ (x3) - 90°回転 (x4) - 水平フリップ (x2) 外部データの使用:あり (ISIC 2017)
  15. Skin Lesion Diagnosis using Ensembles, Unscaled Multi-Crop Evaluation and Loss

    Weighting [Geseert et. at.] 15 前処理 data augmentation テスト時の工夫 使用モデル / アーキテクチャ - HAM:600x450 のまま - ISIC2017:HAMに合わせてbicubicで拡大 - リサイズせずrandom crop - random flip, brightness and saturation - 元画像から224x224で36クロップ取得 - 学習済みDenseNet, ResNeXt, SENet - モデルの予測を使った meta learning - Pre test time augmentation (24予測 / 画像) - クロップ (x3), 回転 (x4), フリップ (x2) 外部データの使用:あり (ISIC 2017)
  16. Skin Lesion Analysis Towards Melanoma Detection Using Deep Neural Network

    Ensemble [Zhuang et. at.] 16 前処理 data augmentation テスト時の工夫 使用モデル / アーキテクチャ - Color constancy normalization - SENet用に300x300、PNASNet用に441x441 に画像をリサイズ - Random flip (horizontally & vertically) - Random brightness, contrast and saturation - Random crop (adjusted SENet, PNASNet) *著者らの実装:SYSU-MIA/ISIC_2018_Classification https://github.com/SYSU-MIA/ISIC_2018_Classification - 2つのモデルをweighted ensemble - Test time augmentation - 学習済みモデルをfine-tuning - SENet154 - PNASNet-5-large - Class weighted loss function - 著者らの実装が公開されている * 外部データの使用:なし
  17. Skin Lesion Classification and Segmentation for Imbalanced Classes using Deep

    Learning [Mohammed et. al.] 17 使用モデル / アーキテクチャ テスト時の工夫 - 学習済みモデルをfine-tuning - Xception - DenseNet121 - 7:3でデータセットを分割 - 同一患者のデータが leakしないように - 分割したtrain/valは両方oversamplingして、ク ラス間の偏りを無くした - 階層的なクラス分類システム - 2クラス (NV or other) を分類した後、 6 クラスに分類する - 224, 256, 299, 512サイズで予測した結果を averaging 外部データの使用:なし
  18. Deep-Learning Ensembles for Skin-Lesion Segmentation, Analysis, Classification: RECOD Titans at

    ISIC Challenge 2018 [Bissoto et. al.] 18 前処理 data augmentation テスト時の工夫 使用モデル / アーキテクチャ - リサイズ - ResNet and DenseNet: 224x224 - Inception-v4: 299x299 - Random crop, rotation - Random flip (vertically / horizontally) - Random brightness, contrast and hue - Area scaling など、詳細は [Perez+, 2018] - Random flipやcolor jitterを加えたTTA - 学習済みモデルをfine-tuning - Inception-v4, ResNet152, DenseNet161 - Class weighted loss function 外部データの使用:なし Perez, Fábio, et al. "Data augmentation for skin lesion analysis." ISIC Skin Image Analysis Workshop. 2018. 著者らの実装:learningtitans/isic2018-part3: Source code for 'ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection' - Task 3 (Classification) https://github.com/learningtitans/isic2018-part3
  19. Residual Network based Aggregation Model for Skin Lesion Classification [Pan

    et. al.] 19 前処理について 使用モデル / アーキテクチャ - 画像中からランダムに大小のパッチを取得 - 取得したパッチを224x224にリサイズ DCNN-FV - DCNNとFisher Vectorから構成されている - 学習済みResNet101をfine-tuning - `res5c_branch2a` からlocal featureを取得 - Local featureからFisher Vector (FV) を計算 - FVを用いてSVMで分類を行う 外部データの使用:なし その他 CNN + Fisher Vectorについて - Palasek, Petar, and Ioannis Patras. "Discriminative convolutional Fisher vector network for action recognition." arXiv preprint arXiv:1707.06119 (2017). - Tang, Peng, et al. "Deep fishernet for object classification." arXiv preprint arXiv:1608.00182 (2016). - Liu, Lingqiao, et al. "Compositional model based fisher vector coding for image classification." IEEE transactions on pattern analysis and machine intelligence 39.12 (2017): 2335-2348.
  20. WonDerM: Skin Lesion Classification with Fine-tuned Neural Networks [Lee et.

    al.] 20 前処理について data augmentation 使用モデル / アーキテクチャ テスト時の工夫 - 450x600の画像を600x600にパディング - リサイズ (448x448 for DenseNet) - 体毛があるかどうかを分類する CNNを構築 - ある場合は [Tim+, 1997] で除去 - 90°ごとにrandom rotation - Random flip (vertically) - 少ないDFとVASCは追加でhorizontally Tim Lee, et. al. : A software approach to hair removal from images. Computers in biology and medicine, 27(6):533–543, 1997. 著者らの実装:YeongChanLee/WonDerM_ISIC2018_SkinLesionAnalysis: WonDerM: Skin Lesion Classification with Fine-tuned Neural Networks https://github.com/YeongChanLee/WonDerM_ISIC2018_SkinLesionAnalysis WonDerM - Segmentationタスクを解くDenseNetベースの UNetを学習させる - 学習させたDenseNetを用いて病徴分類 - 9:1でデータを分け、trainはoversampling - 複数モデルから得られたスコアを重み付け平 均した 外部データの使用:あり (ISIC 2017)
  21. ISIC 2018 Journey, Skin Lesion Analysis [Dobrenkii et. al.] 21

    使用モデル / アーキテクチャ テスト時の工夫 Huang, Gao, et al. "Snapshot ensembles: Train 1, get M for free." arXiv preprint arXiv:1704.00109 (2017). - 学習済みモデルをfine-tuning - ResNeXt101 - DPN92 - 4-fold cross validationしたモデルを使ってア ンサンブル - snapshot ensemble [Huang+, 2017] 使用 - Test time augmentation - Semantic segmentationで学習したモデルを 分類モデルの初期値として用いて予測も行っ たが、ImageNet学習済みモデルのfine-tuning のほうが良かった - アンサンブルモデルに混ぜると多様性が 増した 外部データの使用:なし 一般的な学習率スケジューリングによる最適化 (左) と snapshot ensemble (右) による最適化
  22. Skin lesion classification with ensemble of squeeze-and-excitation networks and semi-supervised

    learning [Kitada et. al.] 22 前処理について data augmentation 使用モデル / アーキテクチャ テスト時の工夫 - 短辺に合わせて316x316にクロップ - Random crop, rotate, erasing, flip - Between class learning [Tokozume+, 2017] - Body hair augmentation [Ours] Tokozume, Yuji, Yoshitaka Ushiku, and Tatsuya Harada. "Between-class Learning for Image Classification." arXiv preprint arXiv:1711.10284 (2017). Tarvainen, Antti, and Harri Valpola. "Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results." Advances in neural information processing systems. 2017. - 学習済みモデルSEResNet101をfine-tuning - Mean teacher [Tarvainen+, 2017] を用いた 半教師あり学習 - 5-fold cross validationしたモデルの予測値を averaging - Test time augmentation (144 crop) - 短辺が256, 288, 320, 352サイズになる ようリサイズ (x4) - 正方形になるようクロップ (x3) - 各角と中央でクロップ + リサイズ (x6) - オリジナルと水平フリップ (x2) 外部データの使用:なし
  23. 目次 23 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ◦ 医用画像診断の現状 ◦

    ISIC2018 Challengeとは ◦ 上位者の提案手法 & 解法 ◦ まとめ
  24. 目次 24 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ◦ 医用画像診断の現状 ◦

    ISIC2018 Challengeとは ◦ 上位者の提案手法 & 解法 ◦ まとめ
  25. まとめ 皮膚障害認識における最新の研究動向を調査 25 • 医療画像認識の現状を把握 • 皮膚障害認識における最先端手法の応用方法 ◦ 複数のSoTAモデルをアンサンブル ▪

    学習済みモデルの使用は必須 ◦ 不均衡データへの対応 ▪ Data augmentation ▪ Oversampling ▪ Class weighted loss function