マルチスケール敵対的生成ネットワークを用いた 高解像度医用画像位置合わせ手法の検討

Transcript

1. マルチスケール敵対的⽣成ネットワークを⽤いた ⾼解像度医⽤画像位置合わせ⼿法の検討 CSセミナー 2020/07/09 M2 ⾦ 成⾬
2. 2 1. 背景 l 医⽤画像の位置合わせ l 位置合わせ⼿法 l 深層学習による既存⼿法 l 既存⼿法の課題 2. 関連研究 l パッチ学習 l アーチファクト 3. 提案⼿法 l マルチスケール敵対的⽣成ネットワークを⽤いた⾼解像度医⽤画像位置 合わせ⼿法の検討 l メモリ使⽤量の削減 l アーチファクトの低減 4. まとめと今後の⽅針 l まとめ l 今後の⽅針 ⽬次
3. 3 1. 背景 l 医⽤画像の位置合わせ l 位置合わせ⼿法 l 深層学習による既存⼿法 l 既存⼿法の課題 2. 関連研究 3. 提案⼿法 4. まとめと今後の⽅針 ⽬次
4. 4 2つの異なる医⽤画像間で画素の対応関係を決定し，患者の呼吸や 体位の変化により⽣じる画像間の位置ずれを補正する技術 l 撮影したモダリティ（MRIやCT）の画像では判別しにくい構造を， 別のモダリティの画像から，より詳細に判別する l 同⼀⼈物の別の⽇時に撮影された画像から，臓器がどのくらい変 形・移動したかを⾒積もることで，腫瘍の増殖や転移を正確に診 断する 医⽤画像の位置合わせ 位置合わせ 参照画像! 浮動画像" （変形前） 浮動画像"′ （変形後）
5. 5 位置合わせ⼿法 空間変換 変形場! 浮動画像" （変形前） 浮動画像"(!) （変形後） 変形場を計算し、変形場によって浮動画像を空間変換することで位置合わせを⾏う
6. 6 l CNN（Convolution Neural Network）の教師あり学習による⼿ 法[1] l 画像位置合わせにおける教師データとは、位置合わせ前と位置合わせ後 のペアが揃っている画像 l 位置合わせの教師データの作成は⼿間がかかる l CNNの教師なし学習による⼿法[2] l 類似度指標は学習画像に⼤きく依存するため、未知のデータに対して位 置合わせが失敗する可能性がある l GANの教師なし学習による⼿法[3] l 学習データから特徴を学習し，学習データに類似する画像を⽣成する GANの仕組みを利⽤することで、画像間の類似度を最⼤化する 深層学習による既存⼿法 [1] Sokooti H, et al., Nonrigid Image Registration Using Multi-scale 3D Convolutional Neural Networks. in MICCAI, Springer (2017) [2] Li H and Fan Y, Non-Rigid Image Registration Using Self-Supervised Fully Convolutional Networks without Training Data. arXiv preprint arXiv:1801.04012 (2018) [3] Jingfan Fan, Xiaohuan Cao, Zhong Xue, Pew-Thian Yap, and Dinggang Shen. Adversarial similarity network for evaluating image alignment in deep learning based registration. In MICCAI, pp. 739–746. Springer, (2018)
7. 7 GAN（Generative Adversarial Network） l 学習データの特徴を学習して，学習データに類似する新たなデータを⽣成する l Generator（!）とDiscriminator（"）の2つのニューラルネットワークから構成 される # 偽物 データ !(#) 本物 データ & 本物 or 偽物 !は乱数ベクトル#から学習データにありそうなデータ!(#)を⽣成する "は与えられたデータが!により⽣成された偽物なのか， 学習データから取ってきた本物なのかを識別する !は"に⾒破られないように，"は!を⾒破れるように競争して学習することで， お互いの精度が向上し，!が学習データに類似するデータを⽣成できるようになる
8. 8 GANによる⼿法 Discriminator Discriminatorが識別を間違えるようにパラメータを更新 Generator !と"($)を識別できるように⾃⾝のパラメータを更新 変形場$
9. 9 GANによる⼤規模画像の⽣成には⼤容量メモリが必要 3次元画像を⽣成する場合、画像の⼤きさを!"として、O(!")のメモリ 医⽤画像は⼀般的に、⼤きさ512"以上の⾼解像度3次元画像であり、 GANでの⽣成には、数百 GB 程度のメモリが必要 →⼀度の学習で画像全体を⽣成することは実⽤的でない ⼀度の学習：GeneratorとDiscriminatorがそれぞれ誤差逆伝播を1回⾏い、パラ メータを更新することを指す 例） l Shinら[4] (128, 128, 54)の3次元画像⽣成に16GBのGPUメモリが必要 GANによる⼿法の課題 [4] Shin, H.C., Tenenholtz, N.A., Rogers, J.K., Schwarz, C.G., Senjem, M.L., Gunter, J.L., Andriole, K.P., Michalski, M.: Medical image synthesis for data augmentation and anonymization using generative adversarial networks. In: Simulation and Synthesis in Medical Imaging. pp. 1–11 (2018)
10. 10 1. 背景 2. 関連研究 l パッチ学習 l アーチファクト 3. 提案⼿法 4. まとめと今後の⽅針 ⽬次
11. 11 l Yangら[6] 画像をパッチに分割し、パッチ毎に学習と⽣成を⾏う 得られた複数の画像を繋ぎ合わせて⾼解像度画像を得る 関連研究 [6] Yang, Xiao, et al. "Quicksilver: Fast predictive image registration–a deep learning approach." NeuroImage 158 (2017): 378-396. GAN GAN GAN GAN パッチ
12. 12 パッチの繋ぎ⽬部分にアーチファクトが⽣じる 画像全体の情報を持たないことが原因 アーチファクト オリジナル画像 ⽣成画像 [6] Uzunova, Hristina, et al. "Multi-scale GANs for Memory-efficient Generation of High Resolution Medical Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, (2019)
13. 13 1. 背景 2. 関連研究 3. 提案⼿法 l マルチスケール敵対的⽣成ネットワークを⽤いた⾼解像度医⽤画像位置 合わせ⼿法の検討 l メモリ使⽤量の削減 l アーチファクトの低減 4. まとめと今後の⽅針 ⽬次
14. 14 ⽬的 l ⼀度の学習に必要なメモリ使⽤量を削減し、画像の⼤きさに関わ らず⼀定のメモリでの位置合わせを実現する l パッチ学習によるアーチファクトを低減する ⼿法 1. 低解像度の全体画像を⽣成する 2. その画像の⼀部を条件として⾼解像度の画像を⽣成することを 解像度を上げながら繰り返す 条件として：条件画像と⽣成画像の誤差が⼩さくなるよう学習する 概要
15. 15 提案⼿法 LR GAN 浮動画像!" （128&） 参照画像'" （128&） !" ()) （128&） スケール0 ⾼解像度浮動画像!（1024&） ⾼解像度参照画像'（1024&） ダウンサンプリング ダウンサンプリング
16. 16 提案⼿法 浮動画像!" （128&） HR GAN 参照画像'" （128&） スケール1 !" ()) （128&） パッチ !+ ()) （128&） ⾼解像度浮動画像!（256&） ⾼解像度参照画像'（256&）
17. 17 提案⼿法 浮動画像!" （128&） HR GAN 参照画像'" （128&） スケール1 !" ()) （128&） パッチ !+ ()) （128&） ・・・ 浮動画像!, （128&） HR GAN 参照画像', （128&） パッチ スケール2 元の解像度になる まで繰り返す
18. 18 メモリ使⽤量の削減 メモリ使⽤量（byte）=（ニューロンの数 ∗ バッチサイズ + パラメータ数）∗ 8 ⽣成画像の⼤きさに依存 既存⼿法では⼀度の学習におけるメモリ使⽤量が3次関数的に増加するのに対し、 提案⼿法では⼀定 0.001 0.01 0.1 1 10 100 1000 10000 16 216 416 616 816 1016 1216 メモリ使⽤量（GB） 全体画像の⼤きさ（voxel） 既存⼿法と提案⼿法におけるメモリ使⽤量 既存⼿法 提案⼿法
19. 19 従来のパッチ学習は、画像全体の情報を持たないため、それぞれの パッチ間に⽭盾が⽣じ、繋ぎ⽬部分にアーチファクトが⽣じる 提案⼿法では、画像全体の情報を学習・⽣成に利⽤できるため、 パッチ間の⽭盾が抑制され、繋ぎ⽬部分のアーチファクトを低減で きる アーチファクトの低減
20. 20 1. 背景 2. 関連研究 3. 提案⼿法 4. まとめと今後の⽅針 l まとめ l 今後の⽅針 ⽬次
21. 21 l マルチスケール敵対的⽣成ネットワークを⽤いた⾼解像度医⽤画 像位置合わせ⼿法を検討した l 既存⼿法では画像全体を⽣成するのに対し、提案⼿法ではパッチ 毎に画像を⽣成することで、⼀度の学習に必要なメモリ使⽤量を 削減し、画像の⼤きさに関わらず⼀定のメモリで位置合わせを⾏ える l パッチの学習時に画像全体の情報を与えるため、アーチファクト を低減できる まとめ
22. 22 現状 l GANによる既存⼿法の再現の途中 l 教師なし学習による位置合わせまで実装済み l 残りはDiscriminatorの作成 1. マルチスケール敵対的⽣成ネットワークを構築する 2. LPBA40 データセットに対して位置合わせを⾏い、アトラス画 像を⽤いて位置合わせの精度を既存⼿法と⽐較する LPBA40：既存⼿法で評価実験に⽤いられた、40⼈の脳MRIデータセット。既 存⼿法と精度を⽐較するために⽤いる。 今後の⽅針