医療画像診断 研究動向 2018 “ISIC 2018 Challenge”に見る皮膚障害認識 法政大学 理工学研究科 応用情報工学専攻 北田 俊輔 CpawLT in ディップ株式会社 2018/09/09

自己紹介 2 ● 北田 俊輔 (Shunsuke KITADA) @shunk031 shunk031 ○ 法政大学大学院 理工学研究科 M1 彌冨研 所属 ■ 文字形状に着目した CJK 自然言語処理 ■ 皮膚障害画像を用いた自動診断システムの構築 ■ 広告自動生成に向けた基礎研究 ○ Cpaw AI Competition (AIC) 運営・作問 ■ スポンサーを募集してます！ https://www.cpaw.site/cpaw-sponser/

目次 3 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ○ 医用画像診断の現状 ○ ISIC2018 Challengeとは ○ 上位者の提案手法 & 解法 ○ まとめ

目次 4 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ○ 医用画像診断の現状 ○ ISIC2018 Challengeとは ○ 上位者の提案手法 & 解法 ○ まとめ

医療画像診断の現場 Google本格参入でホットに 5 - グーグルが狙う次の覇権は「医療」、AIで画像診断に革命 | Close-Up Enterprise | ダイヤモンド・オンライン https://diamond.jp/articles/-/170503 (2018/08/20) - 460億件のデータで訓練した医療の経過予測AI--グーグルが研究成果を発表 - CNET Japan https://japan.cnet.com/article/35121125/ (2018/08/20) - Scalable and accurate deep learning with electronic health records | npj Digital Medicine https://www.nature.com/articles/s41746-018-0029-1 (2018/08/20)

目次 6 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ○ 医用画像診断の現状 ○ ISIC2018 Challengeとは ○ 上位者の提案手法 & 解法 ○ まとめ

目次 7 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ○ 医用画像診断の現状 ○ ISIC2018 Challengeとは ○ 上位者の提案手法 & 解法 ○ まとめ

ISIC2018 Challengeとは 入力画像から悪性黒色腫 (メラノーマ)* を診断する 8 *悪性黒色腫（メラノーマ）｜一般社団法人日本皮膚悪性腫瘍学会 http://www.skincancer.jp/citizens_skincancer05.html ** ISIC 2018 | ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection https://challenge2018.isic-archive.com/ - Task 1: Lesion Segmentation - 病変部位の輪郭の検出 - Task 2: Lesion Attribute Detection - 病変部位の検出 - Task 3: Disease Classification - 多クラスの病徴分類 Examples of lesion segmenttation Examples of lesion attribute detection システムを構築し、精度を競うコンペティション**

ISIC2018 Challengeとは 入力画像から悪性黒色腫 (メラノーマ)* を診断する 9 *悪性黒色腫（メラノーマ）｜一般社団法人日本皮膚悪性腫瘍学会 http://www.skincancer.jp/citizens_skincancer05.html ** ISIC 2018 | ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection https://challenge2018.isic-archive.com/ - Task 1: Lesion Segmentation - 病変部位の輪郭の検出 - Task 2: Lesion Attribute Detection - 病変部位の検出 - Task 3: Disease Classification - 多クラスの病徴分類 Examples of lesion segmenttation Examples of lesion attribute detection システムを構築し、精度を競うコンペティション**

Task 3: Disease Classificationについて 学習用データ (HAM) について [Tschandl+, 2018] 10 症例 症例数 Melanoma (MEL) 1,113 例 Melanocytic nevus (NV) 6,705 例 Basal cell carcinoma (BCC) 514 例 Actinic keratosis / Bowen’s disease (AKIEC) 327 例 Benign keratosis (BKL) 1,099 例 Dermatofibroma (DF) 115 例 Vascular lesion (VASC) 142 例 Total 10,015 例 データ数が少ない・不均衡 Tschandl P., Rosendahl C. & Kittler H. The HAM10000 dataset, a large collection of multi-source dermatoscopic images of common pigmented skin lesions. Sci. Data 5, 180161 doi.10.1038/sdata.2018.161 (2018)

Task 3: Disease Classificationについて ■ 評価用データ - Validation: 193 例、test: 1,512 例 - Validationセットにもラベルは付与されていない 11 ■ 評価方法 - Balanced accuracy - 各症例数にしたがった正解率 - 症例が少ないクラスを間違えるとスコアが下がってしまう ■ 外部データの使用 - 公開されているデータセットを追加で使用可能

目次 12 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ○ 医用画像診断の現状 ○ ISIC2018 Challengeとは ○ 上位者の提案手法 & 解法 ○ まとめ

目次 13 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ○ 医用画像診断の現状 ○ ISIC2018 Challengeとは ○ 上位者の提案手法 & 解法 ○ まとめ

Ensembling Convolutional Neural Networks for Skin Cancer Classification [Nozdryn-Plotnicki et. al.] 14 前処理について data augmentation 使用モデル / アーキテクチャ テスト時の工夫 - リサイズ - 短辺が入力サイズより 1.25x大きく - Color constancy normalization - Shades of gray [Finlayson+, 2004] - Random flip (horizontal) - Random rotation (0, 90°, 180°, 270°) - Brightness / contrast augmentation Finlayson, Graham D., and Elisabetta Trezzi. "Shades of gray and colour constancy." Color and Imaging Conference. Vol. 2004. No. 1. Society for Imaging Science and Technology, 2004. - ImageNet学習済みモデルを複数 fine-tuning - 5-fold cross validationのaveraging - ヒストグラム特徴などの shallow featureを使用 したXGBoostモデルも混ぜている - Test time augmentation (24予測 / sample) - 0.8 ~ 1.0 倍のサイズでクロップ (x3) - 90°回転 (x4) - 水平フリップ (x2) 外部データの使用：あり (ISIC 2017)

Skin Lesion Diagnosis using Ensembles, Unscaled Multi-Crop Evaluation and Loss Weighting [Geseert et. at.] 15 前処理 data augmentation テスト時の工夫 使用モデル / アーキテクチャ - HAM：600x450 のまま - ISIC2017：HAMに合わせてbicubicで拡大 - リサイズせずrandom crop - random flip, brightness and saturation - 元画像から224x224で36クロップ取得 - 学習済みDenseNet, ResNeXt, SENet - モデルの予測を使った meta learning - Pre test time augmentation (24予測 / 画像) - クロップ (x3), 回転 (x4), フリップ (x2) 外部データの使用：あり (ISIC 2017)

Skin Lesion Analysis Towards Melanoma Detection Using Deep Neural Network Ensemble [Zhuang et. at.] 16 前処理 data augmentation テスト時の工夫 使用モデル / アーキテクチャ - Color constancy normalization - SENet用に300x300、PNASNet用に441x441 に画像をリサイズ - Random flip (horizontally & vertically) - Random brightness, contrast and saturation - Random crop (adjusted SENet, PNASNet) *著者らの実装：SYSU-MIA/ISIC_2018_Classification https://github.com/SYSU-MIA/ISIC_2018_Classification - 2つのモデルをweighted ensemble - Test time augmentation - 学習済みモデルをfine-tuning - SENet154 - PNASNet-5-large - Class weighted loss function - 著者らの実装が公開されている * 外部データの使用：なし

Skin Lesion Classification and Segmentation for Imbalanced Classes using Deep Learning [Mohammed et. al.] 17 使用モデル / アーキテクチャ テスト時の工夫 - 学習済みモデルをfine-tuning - Xception - DenseNet121 - 7:3でデータセットを分割 - 同一患者のデータが leakしないように - 分割したtrain/valは両方oversamplingして、ク ラス間の偏りを無くした - 階層的なクラス分類システム - 2クラス (NV or other) を分類した後、 6 クラスに分類する - 224, 256, 299, 512サイズで予測した結果を averaging 外部データの使用：なし

Deep-Learning Ensembles for Skin-Lesion Segmentation, Analysis, Classification: RECOD Titans at ISIC Challenge 2018 [Bissoto et. al.] 18 前処理 data augmentation テスト時の工夫 使用モデル / アーキテクチャ - リサイズ - ResNet and DenseNet: 224x224 - Inception-v4: 299x299 - Random crop, rotation - Random flip (vertically / horizontally) - Random brightness, contrast and hue - Area scaling など、詳細は [Perez+, 2018] - Random flipやcolor jitterを加えたTTA - 学習済みモデルをfine-tuning - Inception-v4, ResNet152, DenseNet161 - Class weighted loss function 外部データの使用：なし Perez, Fábio, et al. "Data augmentation for skin lesion analysis." ISIC Skin Image Analysis Workshop. 2018. 著者らの実装：learningtitans/isic2018-part3: Source code for 'ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection' - Task 3 (Classification) https://github.com/learningtitans/isic2018-part3

Residual Network based Aggregation Model for Skin Lesion Classification [Pan et. al.] 19 前処理について 使用モデル / アーキテクチャ - 画像中からランダムに大小のパッチを取得 - 取得したパッチを224x224にリサイズ DCNN-FV - DCNNとFisher Vectorから構成されている - 学習済みResNet101をfine-tuning - `res5c_branch2a` からlocal featureを取得 - Local featureからFisher Vector (FV) を計算 - FVを用いてSVMで分類を行う 外部データの使用：なし その他 CNN + Fisher Vectorについて - Palasek, Petar, and Ioannis Patras. "Discriminative convolutional Fisher vector network for action recognition." arXiv preprint arXiv:1707.06119 (2017). - Tang, Peng, et al. "Deep fishernet for object classification." arXiv preprint arXiv:1608.00182 (2016). - Liu, Lingqiao, et al. "Compositional model based fisher vector coding for image classification." IEEE transactions on pattern analysis and machine intelligence 39.12 (2017): 2335-2348.

WonDerM: Skin Lesion Classification with Fine-tuned Neural Networks [Lee et. al.] 20 前処理について data augmentation 使用モデル / アーキテクチャ テスト時の工夫 - 450x600の画像を600x600にパディング - リサイズ (448x448 for DenseNet) - 体毛があるかどうかを分類する CNNを構築 - ある場合は [Tim+, 1997] で除去 - 90°ごとにrandom rotation - Random flip (vertically) - 少ないDFとVASCは追加でhorizontally Tim Lee, et. al. : A software approach to hair removal from images.　Computers in biology and medicine, 27(6):533–543, 1997. 著者らの実装：YeongChanLee/WonDerM_ISIC2018_SkinLesionAnalysis: WonDerM: Skin Lesion Classification with Fine-tuned Neural Networks https://github.com/YeongChanLee/WonDerM_ISIC2018_SkinLesionAnalysis WonDerM - Segmentationタスクを解くDenseNetベースの UNetを学習させる - 学習させたDenseNetを用いて病徴分類 - 9:1でデータを分け、trainはoversampling - 複数モデルから得られたスコアを重み付け平 均した 外部データの使用：あり (ISIC 2017)

ISIC 2018 Journey, Skin Lesion Analysis [Dobrenkii et. al.] 21 使用モデル / アーキテクチャ テスト時の工夫 Huang, Gao, et al. "Snapshot ensembles: Train 1, get M for free." arXiv preprint arXiv:1704.00109 (2017). - 学習済みモデルをfine-tuning - ResNeXt101 - DPN92 - 4-fold cross validationしたモデルを使ってア ンサンブル - snapshot ensemble [Huang+, 2017] 使用 - Test time augmentation - Semantic segmentationで学習したモデルを 分類モデルの初期値として用いて予測も行っ たが、ImageNet学習済みモデルのfine-tuning のほうが良かった - アンサンブルモデルに混ぜると多様性が 増した 外部データの使用：なし 一般的な学習率スケジューリングによる最適化 (左) と snapshot ensemble (右) による最適化

Skin lesion classification with ensemble of squeeze-and-excitation networks and semi-supervised learning [Kitada et. al.] 22 前処理について data augmentation 使用モデル / アーキテクチャ テスト時の工夫 - 短辺に合わせて316x316にクロップ - Random crop, rotate, erasing, flip - Between class learning [Tokozume+, 2017] - Body hair augmentation [Ours] Tokozume, Yuji, Yoshitaka Ushiku, and Tatsuya Harada. "Between-class Learning for Image Classification." arXiv preprint arXiv:1711.10284 (2017). Tarvainen, Antti, and Harri Valpola. "Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results." Advances in neural information processing systems. 2017. - 学習済みモデルSEResNet101をfine-tuning - Mean teacher [Tarvainen+, 2017] を用いた 半教師あり学習 - 5-fold cross validationしたモデルの予測値を averaging - Test time augmentation (144 crop) - 短辺が256, 288, 320, 352サイズになる ようリサイズ (x4) - 正方形になるようクロップ (x3) - 各角と中央でクロップ + リサイズ (x6) - オリジナルと水平フリップ (x2) 外部データの使用：なし

目次 23 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ○ 医用画像診断の現状 ○ ISIC2018 Challengeとは ○ 上位者の提案手法 & 解法 ○ まとめ

目次 24 医用画像診断 研究動向2018 “ISIC 2018 Challenge”に見る皮膚障害認識 ○ 医用画像診断の現状 ○ ISIC2018 Challengeとは ○ 上位者の提案手法 & 解法 ○ まとめ

まとめ 皮膚障害認識における最新の研究動向を調査 25 ● 医療画像認識の現状を把握 ● 皮膚障害認識における最先端手法の応用方法 ○ 複数のSoTAモデルをアンサンブル ■ 学習済みモデルの使用は必須 ○ 不均衡データへの対応 ■ Data augmentation ■ Oversampling ■ Class weighted loss function