20180920_GAN_部内セミナー / GAN: introduction and application for medical imaging

部内のセミナーでGANを紹介したときのスライドです．素人が独学で勉強した知識で構成されているので，間違いがあればご指摘頂ければ幸いです．

以下，各スライドの補足です．

p.6, 7 GANの主な役割は画像の生成にあるかと思いますが，中でもインパクトの大きかったアプリケーションはこの画像変換だと思います．スライドにあるように線から猫を描画したり，線画から色塗り後の画像を生成したり(https://paintschainer.preferred.tech/index_ja.html)．
p.8 超解像のアプリケーションは医用画像界隈で最も流行っている気がします．今年の米国核医学会(SNMMI)でも複数演題が出ていました．
p.10 生成器(G)と判別器(D)の２つセットになっているのがGANの基本構造です．
p.11 GはDが本物と判別できないようなfakeを作り，DはGの作ったfakeと本物を正しく見分けるように学習していきます．つまり，GとDのばかしあい，騙し合いをしていくことになります．
p.12 Dはこの評価関数を最大化しようと，Gは最小化しようとします．
p.13 よくある例えですが，偽札作りと警察で例えるとわかりやすいかと思います．
p.14 最終的に生成データ分布と訓練データ分布が同じになるように学習を行います．
p.16 MSEとかを使って得られる解はあり得る解の平均的な解になるため，どうしてもボケたりしてしまいます．GANは判別器との騙し合いにより程よくうまい具合のところの解に落ち着くことができます．
p.18 医用画像への応用例としてMR画像からCT画像を生成する研究を紹介します．放射線治療における治療計画では領域の特定にMR，照射線量の計画にCTを使いますが，両方やるのは面倒であり，CTによる放射線被曝も問題になります．そこでMR画像からCT画像を生成して，CT撮像を省略しようという試みです．
p.19 GANの欠点として対となっているデータを学習のために用意しなければいけないということがあります．特に医用画像においてはMRとCTとの位置合わせを行う必要があるのですが，位置合わせを失敗することもあります．
p.20 そこで開発されたのがCycleGANになります．後でも説明しますが，２セットのGANを組み合わせて，一方で生成した画像を戻す処理をいれ，戻した画像と元画像との一致度を使って学習します．
p.21 CycleGANを使うことで必ずしも位置合わせが必要でなくなるというストーリーです．
p.22 p.20の説明の通り，２つのGで復元した画像と元画像との一致度を評価関数に含めるのがCycleGANの特徴です．
p.23 学習条件を記したスライドです．最後のURLはCycleGANの開発者のGitHubになっており，本研究でもその開発者のコードを使ったようです．なお，データは放射線治療の対象となった患者さんのデータのようです．
p.24 従来法と比較するべくpaired dataでGANを使って生成した場合と比較しています．
p.26 全体としてはうまく生成できていますが，骨などのMRに写り込んでいない構造については生成が上手くいかなかったようです．
p.27, 30 pairedよりunpairedで精度が良い現象は先行研究でも確認されております．これはCycleGANが位置合わせの失敗に対しても強いからだと論文では説明しています．
p.29 この論文ではおおむね生成に成功したという流れになっておりますが，腫瘍がある場合にはどうなるかの結果・考察がなかったので，実際に放射線治療に使えるのかどうかは不明です．