Share
Embed
Transcript
22 slides
-
2 1. 背景 l 医⽤画像の位置合わせ l 位置合わせ⼿法 l 深層学習による既存⼿法 l
既存⼿法の課題 2. 関連研究 l パッチ学習 l アーチファクト 3. 提案⼿法 l マルチスケール敵対的⽣成ネットワークを⽤いた⾼解像度医⽤画像位置 合わせ⼿法の検討 l メモリ使⽤量の削減 l アーチファクトの低減 4. まとめと今後の⽅針 l まとめ l 今後の⽅針 ⽬次 -
3 1. 背景 l 医⽤画像の位置合わせ l 位置合わせ⼿法 l 深層学習による既存⼿法 l
既存⼿法の課題 2. 関連研究 3. 提案⼿法 4. まとめと今後の⽅針 ⽬次 -
4 2つの異なる医⽤画像間で画素の対応関係を決定し,患者の呼吸や 体位の変化により⽣じる画像間の位置ずれを補正する技術 l 撮影したモダリティ(MRIやCT)の画像では判別しにくい構造を, 別のモダリティの画像から,より詳細に判別する l 同⼀⼈物の別の⽇時に撮影された画像から,臓器がどのくらい変 形・移動したかを⾒積もることで,腫瘍の増殖や転移を正確に診 断する
医⽤画像の位置合わせ 位置合わせ 参照画像! 浮動画像" (変形前) 浮動画像"′ (変形後) -
6 l CNN(Convolution Neural Network)の教師あり学習による⼿ 法[1] l 画像位置合わせにおける教師データとは、位置合わせ前と位置合わせ後 のペアが揃っている画像 l
位置合わせの教師データの作成は⼿間がかかる l CNNの教師なし学習による⼿法[2] l 類似度指標は学習画像に⼤きく依存するため、未知のデータに対して位 置合わせが失敗する可能性がある l GANの教師なし学習による⼿法[3] l 学習データから特徴を学習し,学習データに類似する画像を⽣成する GANの仕組みを利⽤することで、画像間の類似度を最⼤化する 深層学習による既存⼿法 [1] Sokooti H, et al., Nonrigid Image Registration Using Multi-scale 3D Convolutional Neural Networks. in MICCAI, Springer (2017) [2] Li H and Fan Y, Non-Rigid Image Registration Using Self-Supervised Fully Convolutional Networks without Training Data. arXiv preprint arXiv:1801.04012 (2018) [3] Jingfan Fan, Xiaohuan Cao, Zhong Xue, Pew-Thian Yap, and Dinggang Shen. Adversarial similarity network for evaluating image alignment in deep learning based registration. In MICCAI, pp. 739–746. Springer, (2018) -
7 GAN(Generative Adversarial Network) l 学習データの特徴を学習して,学習データに類似する新たなデータを⽣成する l Generator(!)とDiscriminator(")の2つのニューラルネットワークから構成 される #
偽物 データ !(#) 本物 データ & 本物 or 偽物 !は乱数ベクトル#から学習データにありそうなデータ!(#)を⽣成する "は与えられたデータが!により⽣成された偽物なのか, 学習データから取ってきた本物なのかを識別する !は"に⾒破られないように,"は!を⾒破れるように競争して学習することで, お互いの精度が向上し,!が学習データに類似するデータを⽣成できるようになる -
9 GANによる⼤規模画像の⽣成には⼤容量メモリが必要 3次元画像を⽣成する場合、画像の⼤きさを!"として、O(!")のメモリ 医⽤画像は⼀般的に、⼤きさ512"以上の⾼解像度3次元画像であり、 GANでの⽣成には、数百 GB 程度のメモリが必要 →⼀度の学習で画像全体を⽣成することは実⽤的でない ⼀度の学習:GeneratorとDiscriminatorがそれぞれ誤差逆伝播を1回⾏い、パラ メータを更新することを指す
例) l Shinら[4] (128, 128, 54)の3次元画像⽣成に16GBのGPUメモリが必要 GANによる⼿法の課題 [4] Shin, H.C., Tenenholtz, N.A., Rogers, J.K., Schwarz, C.G., Senjem, M.L., Gunter, J.L., Andriole, K.P., Michalski, M.: Medical image synthesis for data augmentation and anonymization using generative adversarial networks. In: Simulation and Synthesis in Medical Imaging. pp. 1–11 (2018) -
10 1. 背景 2. 関連研究 l パッチ学習 l アーチファクト 3.
提案⼿法 4. まとめと今後の⽅針 ⽬次 -
11 l Yangら[6] 画像をパッチに分割し、パッチ毎に学習と⽣成を⾏う 得られた複数の画像を繋ぎ合わせて⾼解像度画像を得る 関連研究 [6] Yang, Xiao, et
al. "Quicksilver: Fast predictive image registration–a deep learning approach." NeuroImage 158 (2017): 378-396. GAN GAN GAN GAN パッチ -
12 パッチの繋ぎ⽬部分にアーチファクトが⽣じる 画像全体の情報を持たないことが原因 アーチファクト オリジナル画像 ⽣成画像 [6] Uzunova, Hristina, et
al. "Multi-scale GANs for Memory-efficient Generation of High Resolution Medical Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, (2019) -
13 1. 背景 2. 関連研究 3. 提案⼿法 l マルチスケール敵対的⽣成ネットワークを⽤いた⾼解像度医⽤画像位置 合わせ⼿法の検討
l メモリ使⽤量の削減 l アーチファクトの低減 4. まとめと今後の⽅針 ⽬次 -
14 ⽬的 l ⼀度の学習に必要なメモリ使⽤量を削減し、画像の⼤きさに関わ らず⼀定のメモリでの位置合わせを実現する l パッチ学習によるアーチファクトを低減する ⼿法 1. 低解像度の全体画像を⽣成する
2. その画像の⼀部を条件として⾼解像度の画像を⽣成することを 解像度を上げながら繰り返す 条件として:条件画像と⽣成画像の誤差が⼩さくなるよう学習する 概要 -
15 提案⼿法 LR GAN 浮動画像!" (128&) 参照画像'" (128&) !" ())
(128&) スケール0 ⾼解像度浮動画像!(1024&) ⾼解像度参照画像'(1024&) ダウンサンプリング ダウンサンプリング -
16 提案⼿法 浮動画像!" (128&) HR GAN 参照画像'" (128&) スケール1 !"
()) (128&) パッチ !+ ()) (128&) ⾼解像度浮動画像!(256&) ⾼解像度参照画像'(256&) -
17 提案⼿法 浮動画像!" (128&) HR GAN 参照画像'" (128&) スケール1 !"
()) (128&) パッチ !+ ()) (128&) ・・・ 浮動画像!, (128&) HR GAN 参照画像', (128&) パッチ スケール2 元の解像度になる まで繰り返す -
18 メモリ使⽤量の削減 メモリ使⽤量(byte)=(ニューロンの数 ∗ バッチサイズ + パラメータ数)∗ 8 ⽣成画像の⼤きさに依存 既存⼿法では⼀度の学習におけるメモリ使⽤量が3次関数的に増加するのに対し、
提案⼿法では⼀定 0.001 0.01 0.1 1 10 100 1000 10000 16 216 416 616 816 1016 1216 メモリ使⽤量(GB) 全体画像の⼤きさ(voxel) 既存⼿法と提案⼿法におけるメモリ使⽤量 既存⼿法 提案⼿法 -
20 1. 背景 2. 関連研究 3. 提案⼿法 4. まとめと今後の⽅針 l
まとめ l 今後の⽅針 ⽬次 -
21 l マルチスケール敵対的⽣成ネットワークを⽤いた⾼解像度医⽤画 像位置合わせ⼿法を検討した l 既存⼿法では画像全体を⽣成するのに対し、提案⼿法ではパッチ 毎に画像を⽣成することで、⼀度の学習に必要なメモリ使⽤量を 削減し、画像の⼤きさに関わらず⼀定のメモリで位置合わせを⾏ える l
パッチの学習時に画像全体の情報を与えるため、アーチファクト を低減できる まとめ -
22 現状 l GANによる既存⼿法の再現の途中 l 教師なし学習による位置合わせまで実装済み l 残りはDiscriminatorの作成 1. マルチスケール敵対的⽣成ネットワークを構築する
2. LPBA40 データセットに対して位置合わせを⾏い、アトラス画 像を⽤いて位置合わせの精度を既存⼿法と⽐較する LPBA40:既存⼿法で評価実験に⽤いられた、40⼈の脳MRIデータセット。既 存⼿法と精度を⽐較するために⽤いる。 今後の⽅針