医療画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 / A survey of medical image diagnosis in ISIC 2018 Skin Lesion Analysis Towards Melanoma Detection

2018/09/09のCpawLT in ディップ株式会社で発表した資料です。

Transcript

1. 医療画像診断 研究動向 2018
   “ISIC 2018 Challenge”に見る皮膚障害認識
   法政大学 理工学研究科 応用情報工学専攻
   北田 俊輔
   CpawLT in ディップ株式会社
   2018/09/09
   

   View Slide

2. 自己紹介
   2
   ● 北田 俊輔 (Shunsuke KITADA)
   @shunk031 shunk031
   ○ 法政大学大学院 理工学研究科 M1 彌冨研 所属
   ■ 文字形状に着目した CJK 自然言語処理
   ■ 皮膚障害画像を用いた自動診断システムの構築
   ■ 広告自動生成に向けた基礎研究
   ○ Cpaw AI Competition (AIC) 運営・作問
   ■ スポンサーを募集してます！
   https://www.cpaw.site/cpaw-sponser/
   

   View Slide

3. 目次
   3
   医用画像診断 研究動向2018
   “ISIC 2018 Challenge”に見る皮膚障害認識
   ○ 医用画像診断の現状
   ○ ISIC2018 Challengeとは
   ○ 上位者の提案手法 & 解法
   ○ まとめ
   

   View Slide

4. 目次
   4
   医用画像診断 研究動向2018
   “ISIC 2018 Challenge”に見る皮膚障害認識
   ○ 医用画像診断の現状
   ○ ISIC2018 Challengeとは
   ○ 上位者の提案手法 & 解法
   ○ まとめ
   

   View Slide

5. 医療画像診断の現場
   Google本格参入でホットに
   5
   - グーグルが狙う次の覇権は「医療」、AIで画像診断に革命 | Close-Up Enterprise | ダイヤモンド・オンライン https://diamond.jp/articles/-/170503 (2018/08/20)
   - 460億件のデータで訓練した医療の経過予測AI--グーグルが研究成果を発表 - CNET Japan https://japan.cnet.com/article/35121125/ (2018/08/20)
   - Scalable and accurate deep learning with electronic health records | npj Digital Medicine https://www.nature.com/articles/s41746-018-0029-1 (2018/08/20)
   

   View Slide

6. 目次
   6
   医用画像診断 研究動向2018
   “ISIC 2018 Challenge”に見る皮膚障害認識
   ○ 医用画像診断の現状
   ○ ISIC2018 Challengeとは
   ○ 上位者の提案手法 & 解法
   ○ まとめ
   

   View Slide

7. 目次
   7
   医用画像診断 研究動向2018
   “ISIC 2018 Challenge”に見る皮膚障害認識
   ○ 医用画像診断の現状
   ○ ISIC2018 Challengeとは
   ○ 上位者の提案手法 & 解法
   ○ まとめ
   

   View Slide

8. ISIC2018 Challengeとは
   入力画像から悪性黒色腫 (メラノーマ)* を診断する
   8
   *悪性黒色腫（メラノーマ）｜一般社団法人日本皮膚悪性腫瘍学会
   http://www.skincancer.jp/citizens_skincancer05.html
   ** ISIC 2018 | ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection https://challenge2018.isic-archive.com/
   - Task 1: Lesion Segmentation
   - 病変部位の輪郭の検出
   - Task 2: Lesion Attribute Detection
   - 病変部位の検出
   - Task 3: Disease Classification
   - 多クラスの病徴分類
   Examples of lesion segmenttation
   Examples of lesion attribute detection
   システムを構築し、精度を競うコンペティション**
   

   View Slide

9. ISIC2018 Challengeとは
   入力画像から悪性黒色腫 (メラノーマ)* を診断する
   9
   *悪性黒色腫（メラノーマ）｜一般社団法人日本皮膚悪性腫瘍学会
   http://www.skincancer.jp/citizens_skincancer05.html
   ** ISIC 2018 | ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection https://challenge2018.isic-archive.com/
   - Task 1: Lesion Segmentation
   - 病変部位の輪郭の検出
   - Task 2: Lesion Attribute Detection
   - 病変部位の検出
   - Task 3: Disease Classification
   - 多クラスの病徴分類
   Examples of lesion segmenttation
   Examples of lesion attribute detection
   システムを構築し、精度を競うコンペティション**
   

   View Slide

10. Task 3: Disease Classificationについて
    学習用データ (HAM) について [Tschandl+, 2018]
    10
    症例 症例数
    Melanoma (MEL) 1,113 例
    Melanocytic nevus (NV) 6,705 例
    Basal cell carcinoma (BCC) 514 例
    Actinic keratosis / Bowen’s disease (AKIEC) 327 例
    Benign keratosis (BKL) 1,099 例
    Dermatofibroma (DF) 115 例
    Vascular lesion (VASC) 142 例
    Total 10,015 例
    データ数が少ない・不均衡
    Tschandl P., Rosendahl C. & Kittler H. The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin
    lesions. Sci. Data 5, 180161 doi.10.1038/sdata.2018.161 (2018)
    

    View Slide

11. Task 3: Disease Classificationについて
    ■ 評価用データ
    - Validation: 193 例、test: 1,512 例
    - Validationセットにもラベルは付与されていない
    11
    ■ 評価方法
    - Balanced accuracy
    - 各症例数にしたがった正解率
    - 症例が少ないクラスを間違えるとスコアが下がってしまう
    ■ 外部データの使用
    - 公開されているデータセットを追加で使用可能
    

    View Slide

12. 目次
    12
    医用画像診断 研究動向2018
    “ISIC 2018 Challenge”に見る皮膚障害認識
    ○ 医用画像診断の現状
    ○ ISIC2018 Challengeとは
    ○ 上位者の提案手法 & 解法
    ○ まとめ
    

    View Slide

13. 目次
    13
    医用画像診断 研究動向2018
    “ISIC 2018 Challenge”に見る皮膚障害認識
    ○ 医用画像診断の現状
    ○ ISIC2018 Challengeとは
    ○ 上位者の提案手法 & 解法
    ○ まとめ
    

    View Slide

14. Ensembling Convolutional Neural Networks for Skin Cancer
    Classification [Nozdryn-Plotnicki et. al.]
    14
    前処理について data augmentation
    使用モデル / アーキテクチャ
    テスト時の工夫
    - リサイズ
    - 短辺が入力サイズより 1.25x大きく
    - Color constancy normalization
    - Shades of gray [Finlayson+, 2004]
    - Random flip (horizontal)
    - Random rotation (0, 90°, 180°, 270°)
    - Brightness / contrast augmentation
    Finlayson, Graham D., and Elisabetta Trezzi. "Shades of gray and colour constancy." Color and Imaging Conference. Vol. 2004. No. 1. Society for
    Imaging Science and Technology, 2004.
    - ImageNet学習済みモデルを複数 fine-tuning
    - 5-fold cross validationのaveraging
    - ヒストグラム特徴などの shallow featureを使用
    したXGBoostモデルも混ぜている
    - Test time augmentation (24予測 / sample)
    - 0.8 ~ 1.0 倍のサイズでクロップ (x3)
    - 90°回転 (x4)
    - 水平フリップ (x2) 外部データの使用：あり (ISIC 2017)
    

    View Slide

15. Skin Lesion Diagnosis using Ensembles, Unscaled Multi-Crop
    Evaluation and Loss Weighting [Geseert et. at.]
    15
    前処理 data augmentation
    テスト時の工夫
    使用モデル / アーキテクチャ
    - HAM：600x450 のまま
    - ISIC2017：HAMに合わせてbicubicで拡大
    - リサイズせずrandom crop
    - random flip, brightness and saturation
    - 元画像から224x224で36クロップ取得
    - 学習済みDenseNet, ResNeXt, SENet
    - モデルの予測を使った meta learning
    - Pre test time augmentation (24予測 / 画像)
    - クロップ (x3), 回転 (x4), フリップ (x2) 外部データの使用：あり (ISIC 2017)
    

    View Slide

16. Skin Lesion Analysis Towards Melanoma Detection Using Deep
    Neural Network Ensemble [Zhuang et. at.]
    16
    前処理 data augmentation
    テスト時の工夫
    使用モデル / アーキテクチャ
    - Color constancy normalization
    - SENet用に300x300、PNASNet用に441x441
    に画像をリサイズ
    - Random flip (horizontally & vertically)
    - Random brightness, contrast and saturation
    - Random crop (adjusted SENet, PNASNet)
    *著者らの実装：SYSU-MIA/ISIC_2018_Classification https://github.com/SYSU-MIA/ISIC_2018_Classification
    - 2つのモデルをweighted ensemble
    - Test time augmentation
    - 学習済みモデルをfine-tuning
    - SENet154
    - PNASNet-5-large
    - Class weighted loss function
    - 著者らの実装が公開されている *
    外部データの使用：なし
    

    View Slide

17. Skin Lesion Classification and Segmentation for Imbalanced Classes
    using Deep Learning [Mohammed et. al.]
    17
    使用モデル / アーキテクチャ
    テスト時の工夫
    - 学習済みモデルをfine-tuning
    - Xception
    - DenseNet121
    - 7:3でデータセットを分割
    - 同一患者のデータが leakしないように
    - 分割したtrain/valは両方oversamplingして、ク
    ラス間の偏りを無くした
    - 階層的なクラス分類システム
    - 2クラス (NV or other) を分類した後、 6
    クラスに分類する
    - 224, 256, 299, 512サイズで予測した結果を
    averaging
    外部データの使用：なし
    

    View Slide

18. Deep-Learning Ensembles for Skin-Lesion Segmentation, Analysis,
    Classification: RECOD Titans at ISIC Challenge 2018 [Bissoto et. al.]
    18
    前処理 data augmentation
    テスト時の工夫
    使用モデル / アーキテクチャ
    - リサイズ
    - ResNet and DenseNet: 224x224
    - Inception-v4: 299x299
    - Random crop, rotation
    - Random flip (vertically / horizontally)
    - Random brightness, contrast and hue
    - Area scaling など、詳細は [Perez+, 2018]
    - Random flipやcolor jitterを加えたTTA
    - 学習済みモデルをfine-tuning
    - Inception-v4, ResNet152,
    DenseNet161
    - Class weighted loss function 外部データの使用：なし
    Perez, Fábio, et al. "Data augmentation for skin lesion analysis." ISIC Skin Image Analysis Workshop. 2018.
    著者らの実装：learningtitans/isic2018-part3: Source code for 'ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection' - Task 3 (Classification)
    https://github.com/learningtitans/isic2018-part3
    

    View Slide

19. Residual Network based Aggregation Model for Skin Lesion
    Classification [Pan et. al.]
    19
    前処理について 使用モデル / アーキテクチャ
    - 画像中からランダムに大小のパッチを取得
    - 取得したパッチを224x224にリサイズ
    DCNN-FV
    - DCNNとFisher Vectorから構成されている
    - 学習済みResNet101をfine-tuning
    - `res5c_branch2a` からlocal featureを取得
    - Local featureからFisher Vector (FV) を計算
    - FVを用いてSVMで分類を行う
    外部データの使用：なし
    その他
    CNN + Fisher Vectorについて
    - Palasek, Petar, and Ioannis Patras. "Discriminative convolutional Fisher vector network for action
    recognition." arXiv preprint arXiv:1707.06119 (2017).
    - Tang, Peng, et al. "Deep fishernet for object classification." arXiv preprint arXiv:1608.00182 (2016).
    - Liu, Lingqiao, et al. "Compositional model based fisher vector coding for image classification." IEEE
    transactions on pattern analysis and machine intelligence 39.12 (2017): 2335-2348.
    

    View Slide

20. WonDerM: Skin Lesion Classification with Fine-tuned Neural
    Networks [Lee et. al.]
    20
    前処理について data augmentation
    使用モデル / アーキテクチャ
    テスト時の工夫
    - 450x600の画像を600x600にパディング
    - リサイズ (448x448 for DenseNet)
    - 体毛があるかどうかを分類する CNNを構築
    - ある場合は [Tim+, 1997] で除去
    - 90°ごとにrandom rotation
    - Random flip (vertically)
    - 少ないDFとVASCは追加でhorizontally
    Tim Lee, et. al. : A software approach to hair removal from images.　Computers in biology and medicine, 27(6):533–543, 1997.
    著者らの実装：YeongChanLee/WonDerM_ISIC2018_SkinLesionAnalysis: WonDerM: Skin Lesion Classification with Fine-tuned Neural Networks
    https://github.com/YeongChanLee/WonDerM_ISIC2018_SkinLesionAnalysis
    WonDerM
    - Segmentationタスクを解くDenseNetベースの
    UNetを学習させる
    - 学習させたDenseNetを用いて病徴分類
    - 9:1でデータを分け、trainはoversampling
    - 複数モデルから得られたスコアを重み付け平
    均した
    外部データの使用：あり (ISIC 2017)
    

    View Slide

21. ISIC 2018 Journey, Skin Lesion Analysis [Dobrenkii et. al.]
    21
    使用モデル / アーキテクチャ
    テスト時の工夫
    Huang, Gao, et al. "Snapshot ensembles: Train 1, get M for free." arXiv preprint arXiv:1704.00109 (2017).
    - 学習済みモデルをfine-tuning
    - ResNeXt101
    - DPN92
    - 4-fold cross validationしたモデルを使ってア
    ンサンブル
    - snapshot ensemble [Huang+, 2017] 使用
    - Test time augmentation
    - Semantic segmentationで学習したモデルを
    分類モデルの初期値として用いて予測も行っ
    たが、ImageNet学習済みモデルのfine-tuning
    のほうが良かった
    - アンサンブルモデルに混ぜると多様性が
    増した
    外部データの使用：なし
    一般的な学習率スケジューリングによる最適化 (左) と
    snapshot ensemble (右) による最適化
    

    View Slide

22. Skin lesion classification with ensemble of squeeze-and-excitation
    networks and semi-supervised learning [Kitada et. al.]
    22
    前処理について data augmentation
    使用モデル / アーキテクチャ
    テスト時の工夫
    - 短辺に合わせて316x316にクロップ - Random crop, rotate, erasing, flip
    - Between class learning [Tokozume+, 2017]
    - Body hair augmentation [Ours]
    Tokozume, Yuji, Yoshitaka Ushiku, and Tatsuya Harada. "Between-class Learning for Image Classification." arXiv preprint arXiv:1711.10284 (2017).
    Tarvainen, Antti, and Harri Valpola. "Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning
    results." Advances in neural information processing systems. 2017.
    - 学習済みモデルSEResNet101をfine-tuning
    - Mean teacher [Tarvainen+, 2017] を用いた
    半教師あり学習
    - 5-fold cross validationしたモデルの予測値を
    averaging
    - Test time augmentation (144 crop)
    - 短辺が256, 288, 320, 352サイズになる
    ようリサイズ (x4)
    - 正方形になるようクロップ (x3)
    - 各角と中央でクロップ + リサイズ (x6)
    - オリジナルと水平フリップ (x2) 外部データの使用：なし
    

    View Slide

23. 目次
    23
    医用画像診断 研究動向2018
    “ISIC 2018 Challenge”に見る皮膚障害認識
    ○ 医用画像診断の現状
    ○ ISIC2018 Challengeとは
    ○ 上位者の提案手法 & 解法
    ○ まとめ
    

    View Slide

24. 目次
    24
    医用画像診断 研究動向2018
    “ISIC 2018 Challenge”に見る皮膚障害認識
    ○ 医用画像診断の現状
    ○ ISIC2018 Challengeとは
    ○ 上位者の提案手法 & 解法
    ○ まとめ
    

    View Slide

25. まとめ
    皮膚障害認識における最新の研究動向を調査
    25
    ● 医療画像認識の現状を把握
    ● 皮膚障害認識における最先端手法の応用方法
    ○ 複数のSoTAモデルをアンサンブル
    ■ 学習済みモデルの使用は必須
    ○ 不均衡データへの対応
    ■ Data augmentation
    ■ Oversampling
    ■ Class weighted loss function
    

    View Slide