金研究室 勉強会 『U-Netとそのバリエーションについて』

U-Netとそのバリエーションについて, 中村勇士, 2022

Transcript

1. U-Netとそのバリエーションにつ いて 金研 機械学習勉強会 2022/05/10 中村勇士
2. 今回紹介する論文 R2U-Net Attention U-Net R2AU-Net
3. • U-Net ◦ 生命医科学用に開発された画像認識モデル ◦ 細胞がどこにあるか検出 • PhaseNet ◦ U-Netを地震動検出に応用 ◦ P・S波の立ち上がりを検出 ◦ U-Netのバリエーションを PhaseNetに活用できるかも？ そもそもU-Netってなに？
4. • Convolutional Neural Network（CNN） ◦ 画像データ ◦ 圧縮して特徴を抽出 • Recurrent Neural Network（RNN） ◦ 時系列データ ◦ 時刻 t のデータを もとに時刻 t + 1 の 値を計算 • Recurrent CNN（RCNN） ◦ t0：もとの画像 → CNN ◦ t1：もとの画像 + t0 → CNN ◦ t2：もとの画像 + t1 → CNN …… ◦ もとの画像 ≠ 時系列データ 使われている技術 ①
5. • Residual Network ◦ 層の前にあるデータを足し合わせる ◦ 学習が簡単になる ◦ スキップ コネクション 使われている技術 ② • Recurrent Residual CNN（RRCNN） ◦ Recurrent + Residual ◦ 精度が良い ◦ 学習しやすい • Attention ◦ どこに「注目」すべきか分かる ◦ 離れた要素間でも関係性を学習 差分であるF(x)だけ学習すればよい （xを学習しなくてよい）
6. U-Netとは？ • U-Net ◦ U字型アーキテクチャ ◦ 画像認識モデル ◦ Encoder・Decoderで構成 ◦ スキップコネクションをもつ • Encoder ◦ ダウンサンプリング ◦ 畳み込み ◦ 特徴量抽出 • Decoder ◦ アップサンプリング ◦ 逆畳み込み ◦ 特徴量のマッピング 特徴量抽出 特徴量のマッピング 逆畳み込み 畳み込み
7. R2U-Netとは？ • R2U-Net ◦ ほぼU-Net ◦ 畳み込み層と逆畳み込み層に RRCNNブロックを追加 時刻 t - 1 時刻 t ReLU スキップコネクション
8. Attention U-Netとは？ • Attention U-Net ◦ 逆畳み込み層の前に Attention Gate（AG）を追加 ◦ Encoderの出力とDecoderの出力の 関係性に「注目」 • QueryとKeyを対応させる • Key・QueryとValueを対応させる Query Value Key Encoder Decoder
9. AR2U-Netとは？ • AR2U-Net（Attention R2U-Net） ◦ R2U-Net + Attention U-Net ◦ 2つを合わせただけ
10. 結果：皮膚病変のセグメンテーション • データ：2594枚 ◦ トレーニングデータ：1815枚 ◦ バリデーションデータ：259枚 ◦ テストデータ：520枚 ◦ サイズ：700 × 900 → 256 × 256 TP：真陽性 FP：偽陽性 Recall： 再現性 Precision： 適合率
11. 結果：網膜血管セグメンテーション • 元データ：565 × 584, 40枚 ◦ パッチに分割：64 × 64, 380,000パッチ • トレーニングデータ：171,000パッチ • バリデーションデータ：19,000パッチ • テストデータ：190,000パッチ TP：真陽性 FP：偽陽性 Recall： 再現性 Precision： 適合率
12. 結果：肺のセグメンテーション • 元データ：512 × 512, 267枚 ◦ トレーニングデータ：134枚 ◦ バリデーションデータ：54枚 ◦ テストデータ：79枚 TP：真陽性 FP：偽陽性 Recall： 再現性 Precision： 適合率
13. 参考資料 • U-Net: Convolutional Networks for Biomedical Image Segmentation, arxiv, Olaf Ronneberger et al., 2015 • Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation, arxiv, Md Zahangir Alom et al., 2018 • Attention U-Net: Learning Where to Look for the Pancreas, arxiv, Ozan Oktay et al., 2018 • R2AU-Net: Attention Recurrent Residual Convolutional Neural Network for Multimodal Medical Image Segmentation, Hindawi, Qiang Zuo et al., 2021 • PhaseNet: a deep-neural-network-based seismic arrival-time picking method, Geophysical Journal International, Weiqiang Zhu et al., 2019 • Attention Is All You Need, arxiv, Ashish Vaswani et al., 2017 • pytorch Implementation of U-Net, R2U-Net, Attention U-Net, Attention R2U-Net, GitHub, LeeJunHyun