AI×医用画像の現状と可能性/AI×medical imaging in japan(2018)

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 20181204 @Tdys13 2 本スライドは製作者が趣味でリサーチしていたものをまとめ， 11⽉に「AI×医⽤画像」というテーマで講演をした際のスライドです． (イメージとして，この分野に⻑けている⽅ではなくなんとなく知っている，もっと知りたい⽅向けに作成させて頂きました．) きちんと出典元から情報を引⽤し，まとめたつもりではありますが，⾄らぬ点が点在する可能性がございます．その際は何なりとお知らせしていただけると幸いですこのスライドを⼿に取ってくれる⽅に AI×医療の難しさと⾯⽩さが伝わりますことを願って． 20181204

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 20181204 @Tdys13 -所属- ⽴命館⼤学情報理⼯学研究科修⼠2年 - 研究テーマ - 「深層学習を⽤いたCT画像に映る肝臓腫瘍候補⾃動検出」分野：医⽤画像処理，機械学習，深層学習 -略歴- 2017.4 ⽴命館⼤学⼤学院⼊学 2017.8 ~ 11 シンガポール国⽴情報研究所 (A*star/i2r Knowledge-Assisted Vision Lab) -好きなもの- #最新テクノロジー，#ヘルスケア，#アイス (20181204時点) 5 轟佳⼤ (ﾄﾄﾞﾛｷﾖｼﾋﾛ) ：@Tdys13

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© 20181204 @Tdys13 11 医⽤画像処理について - MRI - CT - PET - X線 - 超⾳波 - 内視鏡 - 細胞画像 - その他撮影⼿法 (眼底画像など) - 病変検出 - 病変分類 - セグメテーション - ⽣成 - 超解像 - 推定(動作) - 画像処理 - パターン認識 - 機械学習 - 深層学習 - 教師あり学習 - 半教師あり学習 - 教師なし学習 < 医⽤画像 > < ⼿法 > < 最終⽬的 >

Slide 12

Slide 12 text

© 20181204 @Tdys13 12 医⽤画像処理について 2017 Nature Letterに投稿されたStanford University研究グループの論⽂『⽪膚の病変画像』を『深層学習(教師あり学習)』にて『分類』した Ҿ༻ɿ ɾ&TUFWB "OESF FUBM%FSNBUPMPHJTUMFWFMDMBTTJGJDBUJPOPGTLJODBODFS XJUIEFFQOFVSBMOFUXPSLT /BUVSF

Slide 13

Slide 13 text

© 20181204 @Tdys13 13 医⽤画像処理について - MRI - CT - PET - X線 - 超⾳波 - 内視鏡 - 細胞画像 - ͦͷଞࡱӨख๏ (眼底画像など) - 病変検出 - පม෼ྨ - セグメテーション - ⽣成 - 超解像 - 推定(動作) - ը૾ॲཧ - パターン認識 - 機械学習 - ਂ૚ֶश - ڭࢣ͋Γֶश - 半教師あり学習 - 教師なし学習 < 医⽤画像 > < ⼿法 > < 最終⽬的 >

Slide 14

Slide 14 text

© 20181204 @Tdys13 14 医⽤画像処理について - MRI - CT - PET - X線 - 超⾳波 - 内視鏡 - 細胞画像 - ͦͷଞࡱӨख๏ (眼底画像など) - 病変検出 - 病変分類 - セグメテーション - ⽣成 - 超解像 - 推定(動作) - ը૾ॲཧ - パターン認識 - 機械学習 - ਂ૚ֶश - ڭࢣ͋Γֶश - 半教師あり学習 - 教師なし学習 < 医⽤画像 > < ⼿法 > < 最終⽬的 > ⽣成モデル GAN… 検出モデル SSD,Yolo,Fast-RCNN… 分類モデル VGG,Inception,ResNet… セグメンテーションモデル FCN,Unet… その他モデル Bert，R2D2…

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© 20181204 @Tdys13 31 深層学習×医⽤画像の研究トレンド <頭部> 脳：脳腫瘍(検出，セグメンテーション)，アルツハイマー(検出，分類)，脳⾎管疾患(検出) ⽬：糖尿病網膜症(検出)，緑内障(検出) ⻭：⼝腔内病変(検出．セグメンテーション) <胸部> ⼼臓：⾎管(検出)，脂肪(セグメンテーション) 乳部：腫瘍(検出，分類) 肺：肺結節(検出，分類)，肺炎(検出) 胃：腫瘍(検出)，胃潰瘍(検出) <腹部> 肝臓：腫瘍(検出，分類，セグメンテーション)，肝臓部(⽣成) 腸：腫瘍(検出，分類) <その他> 病理-細胞：がん細胞(検出，分類，セグメンテーション)，細胞分裂(検出) ⽪膚- ：腫瘍(分類) - 検出 - 分類 - セグメテーション - ⽣成 - 超解像 - 推定(動作) <ジャンル>

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

© 20181204 @Tdys13 46 『X線画像』を⽤いて『深層学習』で『肺部疾病の検出&分類』をした深層学習×画像処理のトレンド(医⽤画像-検出) Ҿ༻ɿ ɾ8BOH 9JBPTPOH FUBM $IFTUYSBZ)PTQJUBMTDBMFDIFTUYSBZEBUBCBTFBOECFODINBSLT POXFBLMZTVQFSWJTFEDMBTTJGJDBUJPOBOEMPDBMJ[BUJPOPGDPNNPOUIPSBYEJTFBTFT $PNQVUFS7JTJPOBOE1BUUFSO3FDPHOJUJPO $713 *&&&$POGFSFODFPO*&&&

Slide 47

Slide 47 text

© 20181204 @Tdys13 47 CTやMRIでの検出タスクはヒートマップが使われることがある (病変の位置を⾒るため) <技術概要> Trainデータ : 8種類の疾病含む胸部X線画像“ChestX-ray8” 使⽤ネットワーク : AlexNet,GoogleNet VGG,ResNet ⼊⼒(Testデータ) : 未知の胸部x線画像出⼒ : 病変名&病変位置深層学習×画像処理のトレンド(医⽤画像-検出) Ҿ༻ɿ ɾ8BOH 9JBPTPOH FUBM $IFTUYSBZ)PTQJUBMTDBMFDIFTUYSBZEBUBCBTFBOECFODINBSLT POXFBLMZTVQFSWJTFEDMBTTJGJDBUJPOBOEMPDBMJ[BUJPOPGDPNNPOUIPSBYEJTFBTFT $PNQVUFS7JTJPOBOE1BUUFSO3FDPHOJUJPO $713 *&&&$POGFSFODFPO*&&&

Slide 48

Slide 48 text

© 20181204 @Tdys13 48 散らばっているデータを整理し，データセットを作成した (世界中の誰でもが使える形に精製した) 深層学習×画像処理のトレンド(医⽤画像-検出) <技術概要> Trainデータ : 8種類の疾病含む胸部X線画像“ChestX-ray8” 使⽤ネットワーク : AlexNet,GoogleNet VGG,ResNet ⼊⼒(Testデータ) : 未知の胸部x線画像出⼒ : 病変名&病変位置 Ҿ༻ɿ ɾ8BOH 9JBPTPOH FUBM $IFTUYSBZ)PTQJUBMTDBMFDIFTUYSBZEBUBCBTFBOECFODINBSLT POXFBLMZTVQFSWJTFEDMBTTJGJDBUJPOBOEMPDBMJ[BUJPOPGDPNNPOUIPSBYEJTFBTFT $PNQVUFS7JTJPOBOE1BUUFSO3FDPHOJUJPO $713 *&&&$POGFSFODFPO*&&&

Slide 49

Slide 49 text

Slide 50

Slide 50 text

© 20181204 @Tdys13 50 CTやMRIでの検出タスクは『腫瘍のみの結果画像』が返されることが多い <技術概要> Trainデータ : 5種類の腫瘍を含む腹部CT画像使⽤ネットワーク : Mics-CNN(提案モデル) ⼊⼒(Testデータ) : 未知の腹部CT画像出⼒ : 腫瘍の場所深層学習×画像処理のトレンド(医⽤画像-検出) Red : TP / Green : FP / Blue : FN Ҿ༻ QSFTVCNJUUJOH5PEPSPLJ@:PTIJIJSP

Slide 51

Slide 51 text

© 20181204 @Tdys13 51 『内視鏡画像』を⽤いて『SSD』で『⼤腸病変の検出』をした深層学習×画像処理のトレンド(医⽤画像-検出) Ҿ༻ ɾ"PLJ 5PNPOPSJ FUBM "VUPNBUJDEFUFDUJPOPGFSPTJPOTBOEVMDFSBUJPOTJOXJSFMFTTDBQTVMFFOEPTDPQZJNBHFT CBTFEPOBEFFQDPOWPMVUJPOBMOFVSBMOFUXPSL (BTUSPJOUFTUJOBM&OEPTDPQZ

Slide 52

Slide 52 text

© 20181204 @Tdys13 52 内視鏡画像系や⽪膚系タスクでは，⼤枠で囲う検出表⽰⽅法がメイン <技術概要> Trainデータ : 内視鏡画像 (5,360枚) 使⽤ネットワーク : SSD ⼊⼒(Testデータ) : 未知の内視鏡画像 (10,440枚) 出⼒ : 腫瘍の場所深層学習×画像処理のトレンド(医⽤画像-検出) ⻩枠：医師により検出された病変緑枠：AIにより検出された病変 Ҿ༻ ɾ"PLJ 5PNPOPSJ FUBM "VUPNBUJDEFUFDUJPOPGFSPTJPOTBOEVMDFSBUJPOTJOXJSFMFTTDBQTVMFFOEPTDPQZJNBHFT CBTFEPOBEFFQDPOWPMVUJPOBMOFVSBMOFUXPSL (BTUSPJOUFTUJOBM&OEPTDPQZ

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

© 20181204 @Tdys13 56 757種類の⽪膚病変画像を学習させ，未知な病変を「757種&悪性度」にて分類した <技術概要> Trainデータ : 757種類の⽪膚病変画像 (約13万枚) 使⽤ネットワーク: Inception v3 ⼊⼒(Testデータ) : 未知の病変画像出⼒ : 病変名(+悪性度) 深層学習×医⽤画像のトレンド(医⽤画像-分類) Ҿ༻ɿ ɾ&TUFWB "OESF FUBM%FSNBUPMPHJTUMFWFMDMBTTJGJDBUJPOPGTLJODBODFS XJUIEFFQOFVSBMOFUXPSLT /BUVSF

Slide 57

Slide 57 text

© 20181204 @Tdys13 57 分類精度は現役の⽪膚科医の分類精度を超えた深層学習×医⽤画像のトレンド(医⽤画像-分類) <技術概要> Trainデータ : 757種類の⽪膚病変画像 (約13万枚) 使⽤ネットワーク: Inception v3 ⼊⼒(Testデータ) : 未知の病変画像出⼒ : 病変名(+悪性度) Ҿ༻ɿ ɾ&TUFWB "OESF FUBM%FSNBUPMPHJTUMFWFMDMBTTJGJDBUJPOPGTLJODBODFS XJUIEFFQOFVSBMOFUXPSLT /BUVSF

Slide 58

Slide 58 text

© 20181204 @Tdys13 58 『腹部MR画像』を『3D CNN』にて『腫瘍の悪性度分類(Low:ステージ1,2/ high:ステージ3,4)』をした深層学習×医⽤画像のトレンド(医⽤画像-分類) Ҿ༻ɿ ,PSPMFW 4FSHFZ FUBM 3FTJEVBMBOEQMBJODPOWPMVUJPOBMOFVSBMOFUXPSLTGPSECSBJONSJ DMBTTJGJDBUJPO #JPNFEJDBM*NBHJOH *4#* *&&&UI*OUFSOBUJPOBM4ZNQPTJVNPO*&&&

Slide 59

Slide 59 text

© 20181204 @Tdys13 59 CNNを⽤いて患者のステージ分布を⾏なった論⽂ <技術概要> Trainデータ : 腹部MR画像肝細胞がん(HCC)罹患患者使⽤ネットワーク : 3D CNN ⼊⼒(Testデータ) : HCC罹患者の腹部MR画像出⼒ : クラス分類 (悪性度-早期or遅期) 深層学習×医⽤画像のトレンド(医⽤画像-分類) Ҿ༻ɿ ,PSPMFW 4FSHFZ FUBM 3FTJEVBMBOEQMBJODPOWPMVUJPOBMOFVSBMOFUXPSLTGPSECSBJONSJ DMBTTJGJDBUJPO #JPNFEJDBM*NBHJOH *4#* *&&&UI*OUFSOBUJPOBM4ZNQPTJVNPO*&&&

Slide 60

Slide 60 text

© 20181204 @Tdys13 60 『脳MRI画像』を⽤いて『ResNet』にて『アルツハイマー罹患患者の分類』をした深層学習×医⽤画像のトレンド(医⽤画像-分類) Ҿ༻ɿ ,PSPMFW 4FSHFZ FUBM 3FTJEVBMBOEQMBJODPOWPMVUJPOBMOFVSBMOFUXPSLTGPSECSBJONSJ DMBTTJGJDBUJPO #JPNFEJDBM*NBHJOH *4#* *&&&UI*OUFSOBUJPOBM4ZNQPTJVNPO*&&&

Slide 61

Slide 61 text

© 20181204 @Tdys13 61 アルツハイマー患者の脳画像を学習し，患者がアルツハイマー罹患者かを分類する →軽度認知障害を罹患する患者も⾒抜けることが分かった深層学習×医⽤画像のトレンド <技術概要> Trainデータ : アルツハイマー患者の脳MRI 使⽤ネットワーク : Res-Net，VoxCNN ⼊⼒(Testデータ) : 脳MRI画像出⼒ : クラス分類 (アルツハイマーor 軽度認知障害or正常) ↑ResNet ↑VoxCNN Ҿ༻ɿ ,PSPMFW 4FSHFZ FUBM 3FTJEVBMBOEQMBJODPOWPMVUJPOBMOFVSBMOFUXPSLTGPSECSBJONSJ DMBTTJGJDBUJPO #JPNFEJDBM*NBHJOH *4#* *&&&UI*OUFSOBUJPOBM4ZNQPTJVNPO*&&&

Slide 62

Slide 62 text

Slide 63

Slide 63 text

© 20181204 @Tdys13 63 『病理画像』を⽤いて『U-Net』にて『細胞のセグメンテーション』をした深層学習×医⽤画像のトレンド(医⽤画像-Seg) Ҿ༻ɿ ɾ3POOFCFSHFS 0MBG 1IJMJQQ'JTDIFS BOE5IPNBT#SPY 6OFU$POWPMVUJPOBMOFUXPSLTGPSCJPNFEJDBMJNBHFTFHNFOUBUJPO *OUFSOBUJPOBM$POGFSFODFPO.FEJDBMJNBHFDPNQVUJOH BOEDPNQVUFSBTTJTUFEJOUFSWFOUJPO4QSJOHFS $IBN

Slide 64

Slide 64 text

© 20181204 @Tdys13 64 ISBI cell tracking challengeにて優勝し注⽬される (先ほど紹介した医⽤画像コンペティション) <技術概要> Trainデータ : コンペ側が⽤意した細胞画像使⽤ネットワーク : U-Net ⼊⼒(testデータ) : 細胞画像出⼒ : セグメンテーション結果深層学習×医⽤画像のトレンド(医⽤画像-Seg) Ҿ༻ɿ ɾ3POOFCFSHFS 0MBG 1IJMJQQ'JTDIFS BOE5IPNBT#SPY 6OFU$POWPMVUJPOBMOFUXPSLTGPSCJPNFEJDBMJNBHFTFHNFOUBUJPO *OUFSOBUJPOBM$POGFSFODFPO.FEJDBMJNBHFDPNQVUJOH BOEDPNQVUFSBTTJTUFEJOUFSWFOUJPO4QSJOHFS $IBN

Slide 65

Slide 65 text

© 20181204 @Tdys13 65 『医⽤画像セグメンテーションコンペで優勝 → ⼀般物体セグメンテーションに応⽤』という流れを作ったセグメンテーション界のトップ <技術概要> Trainデータ : コンペ側が⽤意した細胞画像使⽤ネットワーク : U-Net ⼊⼒(testデータ) : 細胞画像出⼒ : セグメンテーション結果深層学習×医⽤画像のトレンド(医⽤画像-Seg) Ҿ༻ɿ ɾ3POOFCFSHFS 0MBG 1IJMJQQ'JTDIFS BOE5IPNBT#SPY 6OFU$POWPMVUJPOBMOFUXPSLTGPSCJPNFEJDBMJNBHFTFHNFOUBUJPO *OUFSOBUJPOBM$POGFSFODFPO.FEJDBMJNBHFDPNQVUJOH BOEDPNQVUFSBTTJTUFEJOUFSWFOUJPO4QSJOHFS $IBN

Slide 66

Slide 66 text

© 20181204 @Tdys13 66 『3Dのraw画像』を『3D U-Net』にて『腎臓部のセグメンテーション』をした深層学習×医⽤画像のトレンド(医⽤画像-Seg) Ҿ༻ɿ ɾªJÇFL ¹[HÛO FUBM %6/FUMFBSOJOHEFOTFWPMVNFUSJDTFHNFOUBUJPOGSPNTQBSTFBOOPUBUJPO *OUFSOBUJPOBM$POGFSFODFPO.FEJDBM*NBHF$PNQVUJOH BOE$PNQVUFS"TTJTUFE*OUFSWFOUJPO4QSJOHFS $IBN

Slide 67

Slide 67 text

© 20181204 @Tdys13 67 U-Netが考案された翌年に，3D U-Netが考案された <技術概要> Trainデータ : 腎部の映るraw画像使⽤ネットワーク : 3D U-Net ⼊⼒(Testデータ) : 3Dのraw画像出⼒ : 腎部セグメンテーション深層学習×医⽤画像のトレンド(医⽤画像-Seg) Ҿ༻ɿ ɾªJÇFL ¹[HÛO FUBM %6/FUMFBSOJOHEFOTFWPMVNFUSJDTFHNFOUBUJPOGSPNTQBSTFBOOPUBUJPO *OUFSOBUJPOBM$POGFSFODFPO.FEJDBM*NBHF$PNQVUJOH BOE$PNQVUFS"TTJTUFE*OUFSWFOUJPO4QSJOHFS $IBN

Slide 68

Slide 68 text

© 20181204 @Tdys13 68 『腹部CT画像』を『H-DenseU-Net』にて『肝臓腫瘍&肝臓部セグメンテーション』した深層学習×医⽤画像のトレンド(医⽤画像-Seg) Ҿ༻ɿɾ -J 9JBPNFOH FUBM )%FOTF6/FU)ZCSJEEFOTFMZDPOOFDUFE6OFU GPSMJWFSBOEMJWFSUVNPSTFHNFOUBUJPOGSPN$5WPMVNFT BS9JW QSFQSJOUBS9JW

Slide 69

Slide 69 text

© 20181204 @Tdys13 69 Miccai Liver Tumor Segmentation Challengeにて優勝 (先ほど紹介した医⽤画像コンペティション) <技術概要> Trainデータ : 腹部CT画像使⽤ネットワーク : U-Net+3D-Unet+DenseNet ⼊⼒(Testデータ) : 腹部CT画像出⼒ : セグメンテーション結果深層学習×医⽤画像のトレンド(医⽤画像-Seg) Ҿ༻ɿɾ -J 9JBPNFOH FUBM )%FOTF6/FU)ZCSJEEFOTFMZDPOOFDUFE6OFU GPSMJWFSBOEMJWFSUVNPSTFHNFOUBUJPOGSPN$5WPMVNFT BS9JW QSFQSJOUBS9JW

Slide 70

Slide 70 text

© 20181204 @Tdys13 70 しかし近年の医⽤画像セグメンテーション系は SOTAを⽬指すがあまりモデルが複雑化しつつある深層学習×医⽤画像のトレンド(医⽤画像-Seg) <技術概要> Trainデータ : 腹部CT画像使⽤ネットワーク : U-Net+3D-Unet+DenseNet ⼊⼒(Testデータ) : 腹部CT画像出⼒ : セグメンテーション結果 Ҿ༻ɿɾ -J 9JBPNFOH FUBM )%FOTF6/FU)ZCSJEEFOTFMZDPOOFDUFE6OFU GPSMJWFSBOEMJWFSUVNPSTFHNFOUBUJPOGSPN$5WPMVNFT BS9JW QSFQSJOUBS9JW

Slide 71

Slide 71 text

Slide 72

Slide 72 text

© 20181204 @Tdys13 72 『偽札造り(Generator)』と『偽札を⾒抜く検査官(Discriminator)』深層学習×画像処理のトレンド(⼀般物体⽣成) Ҿ༻ɿ ɾ3BEGPSE "MFD -VLF.FU[ BOE4PVNJUI $IJOUBMB 6OTVQFSWJTFESFQSFTFOUBUJPOMFBSOJOH XJUIEFFQDPOWPMVUJPOBMHFOFSBUJWFBEWFSTBSJBMOFUXPSLT BS9JW QSFQSJOUBS9JW

Slide 73

Slide 73 text

© 20181204 @Tdys13 73 『偽札造り(Generator)』と『偽札を⾒抜く検査官(Discriminator)』深層学習×画像処理のトレンド(⼀般物体⽣成) Discriminatorに本物と誤認識させるような偽物を作る⼊⼒画像が本物か偽物か⾒分ける Ҿ༻ɿ ɾ3BEGPSE "MFD -VLF.FU[ BOE4PVNJUI $IJOUBMB 6OTVQFSWJTFESFQSFTFOUBUJPOMFBSOJOH XJUIEFFQDPOWPMVUJPOBMHFOFSBUJWFBEWFSTBSJBMOFUXPSLT BS9JW QSFQSJOUBS9JW

Slide 74

Slide 74 text

© 20181204 @Tdys13 74 深層学習×画像処理のトレンド(⼀般物体⽣成) ホテルの部屋画像を学習し，この世に無いホテルの部屋画像を⽣成それぞれの⼈間が持つ特徴を抽出し新たな特徴を持つ⼈間の写真を⽣成 Ҿ༻ɿ ɾ3BEGPSE "MFD -VLF.FU[ BOE4PVNJUI $IJOUBMB 6OTVQFSWJTFESFQSFTFOUBUJPOMFBSOJOH XJUIEFFQDPOWPMVUJPOBMHFOFSBUJWFBEWFSTBSJBMOFUXPSLT BS9JW QSFQSJOUBS9JW

Slide 75

Slide 75 text

Slide 76

Slide 76 text

© 20181204 @Tdys13 76 深層学習×医⽤画像のトレンド(医⽤画像-⽣成) CTから取得した肝臓腫瘍 GANにより⽣成された肝臓腫瘍の⽣成画像『肝臓腫瘍病変画像』を『GAN』にて『⽣成』『⽣成した画像』を『CNN』にて『学習』『未知の病変画像』を『CNN』にて『分類』 Ҿ༻ɿ ɾ'SJE"EBS .BBZBO FUBM ("/CBTFE4ZOUIFUJD.FEJDBM*NBHF"VHNFOUBUJPOGPSJODSFBTFE$//1FSGPSNBODF JO-JWFS-FTJPO$MBTTJGJDBUJPO BS9JW QSFQSJOUBS9JW

Slide 77

Slide 77 text

© 20181204 @Tdys13 77 GANを⽤いて肝臓腫瘍っぽい画像を⽣成した <技術概要> Trainデータ : 肝臓腫瘍病変画像使⽤ネットワーク : GAN ⼊⼒(Testデータ) : 腹部CT画像出⼒ : 肝臓腫瘍に似ている画像深層学習×医⽤画像のトレンド(医⽤画像-⽣成) Ҿ༻ɿ ɾ'SJE"EBS .BBZBO FUBM ("/CBTFE4ZOUIFUJD.FEJDBM*NBHF"VHNFOUBUJPOGPSJODSFBTFE$//1FSGPSNBODF JO-JWFS-FTJPO$MBTTJGJDBUJPO BS9JW QSFQSJOUBS9JW

Slide 78

Slide 78 text

© 20181204 @Tdys13 78 GANで作られた肝臓腫瘍っぽい画像で，⽣成データを⽤いて肝臓腫瘍を分類した <技術概要> Trainデータ : GANによって⽣成された肝臓腫瘍病変画像使⽤ネットワーク : CNN ⼊⼒(Testデータ) : 腹部CT画像出⼒ : 分類結果 (胚のうor肝⾎管腫or転移がん) 深層学習×医⽤画像のトレンド(医⽤画像-⽣成) Ҿ༻ɿ ɾ'SJE"EBS .BBZBO FUBM ("/CBTFE4ZOUIFUJD.FEJDBM*NBHF"VHNFOUBUJPOGPSJODSFBTFE$//1FSGPSNBODF JO-JWFS-FTJPO$MBTTJGJDBUJPO BS9JW QSFQSJOUBS9JW

Slide 79

Slide 79 text

© 20181204 @Tdys13 79 『眼球の⾎管マスク画像と眼球画像』を『GAN』にて『⽣成』をした深層学習×医⽤画像のトレンド(医⽤画像-⽣成) Ҿ༻ɿ ɾ(VJCBT +PIO5 5FKQBM 47JSEJ BOE1FUFS4-J 4ZOUIFUJD.FEJDBM*NBHFTGSPN%VBM(FOFSBUJWF"EWFSTBSJBM/FUXPSLTz BS9JW QSFQSJOUBS9JW

Slide 80

Slide 80 text

© 20181204 @Tdys13 80 GANを２回⽤いて眼球画像と眼球⾎管マスク画像を⽣成 <技術概要> Trainデータ : 本物の眼球⾎管マスク画像使⽤ネットワーク : GAN 出⼒(⽣成画像1) : 眼球⾎管マスク画像のような画像 Trainデータ : 本物の眼球画像と眼球⾎管マスク画像(ペア) ⼊⼒ : ⽣成画像1 出⼒ : ⽣成画像1とペアになる⽣成された眼球画像 ←本物画像 ←GANによる⽣成画像深層学習×医⽤画像のトレンド(医⽤画像-⽣成) Ҿ༻ɿ ɾ(VJCBT +PIO5 5FKQBM 47JSEJ BOE1FUFS4-J 4ZOUIFUJD.FEJDBM*NBHFTGSPN%VBM(FOFSBUJWF"EWFSTBSJBM/FUXPSLTz BS9JW QSFQSJOUBS9JW

Slide 81

Slide 81 text

© 20181204 @Tdys13 81 GANを２回⽤いて眼球画像と眼球⾎管マスク画像を⽣成 ←本物画像 ←GANによる⽣成画像深層学習×医⽤画像のトレンド(医⽤画像-⽣成) <技術概要> Trainデータ : 本物の眼球⾎管マスク画像使⽤ネットワーク : GAN 出⼒(⽣成画像1) : 眼球⾎管マスク画像のような画像 Trainデータ : 本物の眼球画像と眼球⾎管マスク画像(ペア) ⼊⼒ : ⽣成画像1 出⼒ : ⽣成画像1とペアになる⽣成された眼球画像 Ҿ༻ɿ ɾ(VJCBT +PIO5 5FKQBM 47JSEJ BOE1FUFS4-J 4ZOUIFUJD.FEJDBM*NBHFTGSPN%VBM(FOFSBUJWF"EWFSTBSJBM/FUXPSLTz BS9JW QSFQSJOUBS9JW

Slide 82

Slide 82 text

Slide 83

Slide 83 text

© 20181204 @Tdys13 83 その他DL研究のトレンド(おまけ) 深層学習ネットワーク・GoogleNet (Inception v3) - Google AI Research - 2012年に考案されたネットワーク - ネットワーク考案者が映画INCEPTIONのファン ”We need to go deeper”という台詞から取ったと⾔われている映画 INCEPTION Ҿ༻ɿ ɾ(PJOH%FFQFSXJUI$POWPMVUJPOT IUUQTXXXDTVODFEVdXMJVQBQFST(PPH-F/FUQEG ɾIUUQHMFFXJLJBDPNXJLJ'JMF8FOFFEUPHPEFFQFS@JODFQUJPOKQH ɾBNB[PO Πϯηϓγϣϯ<%7%>

Slide 84

Slide 84 text

© 20181204 @Tdys13 84 その他DL研究のトレンド(おまけ) ⾃然⾔語処理分野・BERT (Pre-training of Deep Bidirectional Transformers for Language Understanding) - Google AI Language - 画像分野ではImageNetなどの⼤規模画像データセットを事前学習するpre-train⼿法があるが⾃然⾔語処理分野にてもそのポジションが爆誕 - 各結果でSOTA(State-Of-The-Art) - 最近の最新⼿法にてELMOという⼿法がありその⼿法よりも良いという事でBERT セサミストリートのキャラクター Ҿ༻ɿ ɾBS9JW #&351SFUSBJOJOHPG%FFQ#JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF6OEFSTUBOEJOH IUUQTBSYJWPSHBCT ɾηαϛετϦʔτެࣜαΠτ

Slide 85

Slide 85 text

© 20181204 @Tdys13 85 その他DL研究のトレンド(おまけ) 強化学習分野： AIに報酬を与え，⾃⼰学習的に結果を向上することが⽬的の研究分野・R2D2 (the Recurrent Replay Distributed DQN ) - ゲームの攻略を強化学習にて⾏った - atariのゲーム57種類が強化学習研究において指標として度々⽤いられる他にはスーパーマリオブラザーズやパックマン，ソニックなど - 最近の最新⼿法のApe-Xよりも良いという事で SOTAを更新したスターウォーズのキャラクター[2] Ҿ༻ɿ ɾ3FDVSSFOU&YQFSJFODF3FQMBZJO%JTUSJCVUFE3FJOGPSDFNFOU-FBSOJOH IUUQTPQFOSFWJFXOFUGPSVN JESMZ5K"R:9 ɾελʔ΢ΥʔζެࣜαΠτ

Slide 86

Slide 86 text

Slide 87

Slide 87 text

Slide 88

Slide 88 text

Slide 89

Slide 89 text

Slide 90

Slide 90 text

Slide 91

Slide 91 text

Slide 92

Slide 92 text

Slide 93

Slide 93 text

Slide 94

Slide 94 text

Slide 95

Slide 95 text

Slide 96

Slide 96 text

© 20181204 @Tdys13 96 ⽇本におけるAI×医⽤画像診断(詳細) [ ./&4ʷ -1JYFM ʷ ϝσΟΧϧνΣοΫελδΦ ] 脳病変部の遠隔診断および病変検出・技術的視点 - ルックレックというサービス - AI構築に必要なデータ整備ができる・サービスの流れ A E () E 引⽤・メディカルチェックスタジオhttps://medicalcheckstudio.jp/ ・株式会社エムネス https://www.mnes.org/ ・Google Cloud Platfprm Japan Blog 「株式会社エムネスの導⼊事例」2018 0914 https://cloudplatform-jp.googleblog.com/2018/09/mens-app-engine-kubernetes-Engine.html ・PR TIMES「予防医学のアンファーがスマート脳ドックをプロデュース」 2018 0118 https://prtimes.jp/main/html/rd/p/000000129.000013377.html

Slide 97

Slide 97 text

© 20181204 @Tdys13 ・技術的視点 - Trainデータ : 1271枚のMRA画像 (1477個の脳動脈瘤) - ネットワーク : ???? - Testデータ : 未知のMRA画像 - 出⼒結果 : 検出 97 ⽇本におけるAI×医⽤画像診断(詳細) [ -1JYFM ʷ େࡕࢢཱେֶ ] 脳動脈瘤の検出・サービスの流れ引⽤：・⼤阪市⽴⼤学深層学習を⽤いたAIによる脳動脈瘤検出アルゴリズム AI補助下での読影精度の向上を検証 2018 1024 https://www.osaka-cu.ac.jp/ja/news/2018/181024-2 ・6FEB %BJKV FUBM %FFQMFBSOJOHGPS.3BOHJPHSBQIZBVUPNBUFEEFUFDUJPOPGDFSFCSBMBOFVSZTNT 3BEJPMPHZ

Slide 98

Slide 98 text

Slide 99

Slide 99 text

Slide 100

Slide 100 text

© 20181204 @Tdys13 100 ⽇本におけるAI×医⽤画像診断(詳細) [ 2VFVFʷ ౦େපӃ ] 眼底画像からの緑内障の診断⽀援・サービスの流れ ! ! ・技術的視点 - Trainデータ : 緑内障患者の眼底画像(1,364枚) ⾮緑内障者の眼底画像(1,768枚) - ネットワーク : ResNet - Testデータ : 未知の眼底画像(110枚) - 出⼒結果 : 緑内障のテストデータに対する検出精度→96.5% 実験結果と医師診察との⽐較 Ҿ༻ɿ ɾ 4IJCBUB /BPUP FUBM %FWFMPQNFOUPGBEFFQSFTJEVBMMFBSOJOHBMHPSJUIN UPTDSFFOGPSHMBVDPNBGSPNGVOEVTQIPUPHSBQIZ 4DJFOUJGJDSFQPSUT ɾ2VFVFJOD IUUQTXXXRVFVFJODDPNOFXTOFXT

Slide 101

Slide 101 text

Slide 102

Slide 102 text

© 20181204 @Tdys13 102 ⽇本におけるAI×医⽤画像診断(詳細) [ 3JTU ʷπΧβΩපӃ ] 広⾓眼底画像からの網膜中⼼静脈閉塞症(CRVO)の判定・サービスの流れ・技術的視点 - Trainデータ : CRVO者(125名) ⾮CRVO者(238名)の眼底画像 - ネットワーク : 事前学習(ImageNet)+VGG - Testデータ : 未知の眼底画像 - 出⼒結果 : CRVO or それ以外引⽤： ɾ /BHBTBUP %BJTVLF FUBM%FFQ/FVSBM/FUXPSL#BTFE.FUIPE GPS%FUFDUJOH$FOUSBM3FUJOBM7FJO0DDMVTJPO6TJOH6MUSBXJEF'JFME'VOEVT0QIUIBMNPTDPQZ +PVSOBMPG0QIUIBMNPMPHZ ɾ ʲੈքॳʳ ޿֯؟ఈը૾͔Β"*Λ༻͍ͯ໢ບத৺੩຺ด࠹঱൑ఆͰ"6$Λୡ੒ IUUQTXXXSJTUDPKQOFXT

Slide 103

Slide 103 text

© 20181204 @Tdys13 103 ⽇本におけるAI×医⽤画像診断(詳細) [ .JF5FDI ʷ ܚጯେֶҩֶ෦؟Պڭࣨ ʷ 0,8"7&] 眼底写真を⽤いた眼疾患のスクリーニング⽀援・サービスの流れ・技術的視点 - Trainデータ : 9,400枚の眼底画像 - ネットワーク : ???? - Testデータ : 未知の眼底画像 - 出⼒結果 : 眼疾患のクラス分類引⽤：・⽇本経済新聞電⼦版 2018 02⽉13⽇慶⼤医学部眼科教室とMieTechとオウケイウェイヴ、「眼底の疾患をスクリーニングするAI」の開発に着⼿ https://www.nikkei.com/article/DGXLRSP471323_T10C18A2000000/ ・プレスリリース ܚጯେֶҩֶ෦؟Պڭࣨͱ.JF5FDIͱΦ΢έΠ΢ΣΠϰɺ ʮ؟ఈͷ࣬ױΛεΫϦʔχϯά͢Δ"*ʯͷ։ൃʹணख https://www.okwave.co.jp/press/20180213/

Slide 104

Slide 104 text

© 20181204 @Tdys13 104 ⽇本におけるAI×医⽤画像診断(詳細) [ $3&4$0 ϛωϧϰΝείʔϓ ʷ ໊ݹ԰ࢢཱେֶ ] 眼底写真を⽤いた眼疾患のスクリーニング⽀援(研究⽤途) ・サービスの流れ引⽤：・ݚڀ༻؟࣬ױ൑ఆ"*Τϯδϯ .JOFSWBF 4$01& ϛωϧϰΝ είʔϓ https://www.cresco.co.jp/service/minervae/minervae-scope/

Slide 105

Slide 105 text

Slide 106

Slide 106 text

© 20181204 @Tdys13 106 ⽇本におけるAI×医⽤画像診断(詳細) <WFSJMZʷ /JLPO> 網膜画像を⽤いた⼼疾患リスクの予測(研究段階) ・サービスの流れ・技術的視点 - Trainデータ : 28万4335⼈分の患者データ - ネットワーク : 事前学習+Inception v3 - Testデータ : 12,026⼈&999⼈の眼底画像 - 出⼒結果 : 年齢，性別，BMI，⾎圧喫煙習慣の有無，⼼臓発作の経験引⽤：・⽇経新聞電⼦版 2016/12/27 IUUQTXXXOJLLFJDPNBSUJDMF%(9-341@9$" ・Poplin, Ryan, et al. "Prediction of cardiovascular risk factors from retinal fundus photographs via deep learning." Nature Biomedical Engineering 2.3 (2018): 158.

Slide 107

Slide 107 text

© 20181204 @Tdys13 107 ⽇本におけるAI×医⽤画像診断(詳細) <.FEJIPNF ʷѮձ > ⻭科パノラマx線画像を⽤いた病変検出 (研究段階) ・サービスの流れ・技術的視点 - Trainデータ : 12,000枚のパノラマx線画像 - ネットワーク : ???? - Testデータ : 未知のx線画像 - 出⼒結果 : 病変分類 (むし⻭，根尖病巣，⻭⽯，嚢胞，根分岐部病変) プレスリリースに載っているイメージ図引⽤：・【業界初】⻭科X線における診断AIの開発 http://www.aoikai.jp/aoiuniversalhospital/wp-content/uploads/sites/ 50/2018/06/aa82e2a1644840a735d43adfe44e715b.pdf

Slide 108

Slide 108 text

© 20181204 @Tdys13 108 ⽇本におけるAI×医⽤画像診断(詳細) <σϯλϧαϙʔτ ʷ%8> ύʔιφΠζ͞Εͨਓ޻ࣃͷ%Ϟσϧࣗಈੜ੒ ・サービスの流れ・技術的視点 - Trainデータ : 10,000例の⻭の形状データ - ネットワーク : ???? - Testデータ : 患者の⼝腔内情報 - 出⼒結果 : ⽣成引⽤：・株式会社9DW ࣃͷϞσϧͷࣗಈੜ੒"* https://9dw.jp/tooth/

Slide 109

Slide 109 text

Slide 110

Slide 110 text

© 20181204 @Tdys13 110 ⽇本におけるAI×医⽤画像診断(詳細) <෋࢜௨ ʷ޿ౡେֶ > ഏපมͷݕग़ɼ෼ྨ ・サービスの流れ・技術的視点 - Trainデータ : 胸部CT画像 - ネットワーク : ???? - Testデータ : 未知のCT画像 - 出⼒結果 : 肺病変部の位置検出＆分類 (肺がん，肺炎，びまん性肺疾患) ෋࢜௨ݚڀॴ͕ ։ൃͨ͠"* 引⽤：・類似の病気、AIで3次元検索。CT画像検査時間6分の1に https://newswitch.jp/p/9499

Slide 111

Slide 111 text

© 20181204 @Tdys13 111 ⽇本におけるAI×医⽤画像診断(詳細) <&9"8*;"3%4 ʷ $7ΠϝʔδϯάαΠΤϯε $7*4 > ৺ଁڱࡥͷ਍அࢧԉγεςϜ ・サービスの流れ・技術的視点 - Trainデータ : ⼼臓狭窄を患っていない⼼臓MR画像 - ネットワーク : ???? - Testデータ : 未知のMR画像 - 出⼒結果 : 分類(⼼臓狭窄 or それ以外) "*ϓϥοτϑΥʔϜ 引⽤：・⼼臓狭窄診断⽀援システムの構築 2016 0727 http://www.medtecjapan.com/ja/news/2016/07/27/1612 ・エクサウィザーズ事業紹介 https://exawizards.com/service/solution

Slide 112

Slide 112 text

© 20181204 @Tdys13 112 ⽇本におけるAI×医⽤画像診断(詳細) <෋࢜௨ ʷ ཧԽֶݚڀॴ ʷ ত࿨େֶ > AIを⽤いた胎児⼼臓超⾳波スクリーニング・サービスの流れ・技術的視点 - Trainデータ : 正常胎児⼼臓の超⾳波画像 2,000枚 - ネットワーク : ???? - Testデータ : 胎児⼼臓の超⾳波画像 - 出⼒結果 : 正常胎児との⽐較結果 B ਖ਼ৗ଻ࣇͷσʔλ CൺֱʹΑΓҟৗ͕ൃݟ͞Εͨ଻ࣇͷσʔλ ϦΞϧλΠϜ ࣗಈݕ஌γεςϜ 引⽤：・プレスリリース "*Λ༻͍ͨ଻ࣇ৺ଁ௒Ի೾εΫϦʔχϯά http://pr.fujitsu.com/jp/news/2018/09/18-2.html

Slide 113

Slide 113 text

© 20181204 @Tdys13 113 ⽇本におけるAI×医⽤画像診断(詳細) <(&ϔϧεέΞ δϟύϯ ʷ খ૔ه೦පӃ> ףಈ຺಺ߢͷࣗಈηάϝϯςʔγϣϯ ・サービスの流れ・技術的視点 - Trainデータ : ⼼臓CT画像20,000例 - ネットワーク : 事前学習+U-Net - Testデータ : 未知のCT画像 - 出⼒結果 : 対象部のセグメンテーション ϦΞϧλΠϜ ࣗಈηάϝϯςʔγϣϯ γεςϜ 引⽤：・⼩倉記念病院とGEヘルスケア・ジャパン、 AI技術を活⽤した冠動脈内腔⾃動検出に向けた共同研究を開始 2018 0920 https://www.genewsroom.com/press-releases

Slide 114

Slide 114 text

© 20181204 @Tdys13 114 ⽇本におけるAI×医⽤画像診断(詳細) <%FFQ.JOEʷ ౦ژ࣊ܙձҩՊେֶ > ೕ͕ΜͷεΫϦʔχϯά ݚڀ ・サービスの流れ・技術的視点 - Trainデータ : 乳部超⾳波画像(3万例) 乳房MR画像(3,500例) - ネットワーク : ???? - Testデータ : 未知の乳部超⾳波画像 - 出⼒結果 : 病変分類 $BODFS3FTFBSDI6, *NQFSJBM$FOUSF ओମͷೕ͕Μݚڀάϧʔϓ 引⽤：・プレスリリース ౦ژ࣊ܙձҩՊେֶෟଐපӃɺ %FFQ.JOE)FBMUIͱ ೕ͕ΜεΫϦʔχϯάͷݚڀʹؔ͢ΔύʔτφʔγοϓΛక݁ http://www.jikei.ac.jp/news/pdf/press_release_2018-10-04.pdf ・ Research collaboration aims to improve breast cancer diagnosis using AI 2017 11 24 http://www.imperial.ac.uk/news/183293/research-collaboration-aims-improve-breast-cancer/

Slide 115

Slide 115 text

© 20181204 @Tdys13 115 ⽇本におけるAI×医⽤画像診断(詳細) <%FFQ.JOEʷ ೕ͕Μݚڀ > ೕ͕ΜͷεΫϦʔχϯά ・技術的視点 - Trainデータ : 乳部病理画像270枚 - ネットワーク : 事前学習+Inception v3 - Testデータ : 乳部病理画像108枚，126枚 - 出⼒結果 : 病変検出 $BODFS3FTFBSDI6, *NQFSJBM$FOUSF ओମͷೕ͕Μݚڀάϧʔϓ ֶձɾδϟʔφϧ ・サービスの流れ引⽤：・Google AI 転移性乳がんの検出で99%の正確性を達成 http://thebridge.jp/2018/10/google-ai-claims-99-accuracy-in-metastatic-breast-cancer-detection ・-JV :VO FUBM"SUJGJDJBM*OUFMMJHFODFr#BTFE#SFBTU$BODFS/PEBM.FUBTUBTJT %FUFDUJPO*OTJHIUT*OUPUIF#MBDL#PYGPS1BUIPMPHJTUT "SDIJWFTPGQBUIPMPHZMBCPSBUPSZNFEJDJOF

Slide 116

Slide 116 text

© 20181204 @Tdys13 116 ⽇本におけるAI×医⽤画像診断(詳細) <-1JYFM ʷ େࡕࢢཱେֶ > ೕ͕Μͷݕग़γεςϜ ・サービスの流れ・技術的視点 - Trainデータ : 乳部超⾳波画像(3万例) - ネットワーク : ???? - Testデータ : 未知の乳部超⾳波画像 - 出⼒結果 : 病変検出引⽤：・産経新聞⼤阪市⼤がＡＩ活⽤した乳がんの画像診断システム開発 2018 0414 https://www.sankei.com/west/news/180413/wst1804130090-n2.html ・ReadyFor 【精度は医師以上】乳癌の早期発⾒を⼈⼯知能の⼒で実現したい！ https://readyfor.jp/projects/deeplearning

Slide 117

Slide 117 text

© 20181204 @Tdys13 117 ⽇本におけるAI×医⽤画像診断(詳細) <ཧԽֶݚڀॴ ʷ ࠃཱ͕Μݚڀηϯλʔ > ң͕Μͷݕग़γεςϜ ・サービスの流れ・技術的視点 - Trainデータ : 内視鏡画像，2万枚 (正常 : 病変=1 : 1) - ネットワーク : 事前学習+Inception v3 - Testデータ : 未知の内視鏡画像 - 出⼒結果 : 病変検出 ֶձɾδϟʔφϧ 引⽤：・ AIで早期胃がん領域の⾼精度検出に成功早期発⾒・領域検出で早期治療に⼤きく貢献 2018 0720 https://www.ncc.go.jp/jp/information/pr_release/2018/0721/index.html

Slide 118

Slide 118 text

© 20181204 @Tdys13 118 ⽇本におけるAI×医⽤画像診断(詳細) <"*.ʷ͕Μݚ༗໌පӃ> ң͕Μͷݕग़γεςϜ ・サービスの流れ ֶձɾδϟʔφϧ 引⽤：・プレスリリースがん研究会有明病院⼈⼯知能で胃がんを発⾒する！ −AIを活⽤した内視鏡画像診断⽀援システムの開発− https://www.jfcr.or.jp/hospital/information/general/5376.html

Slide 119

Slide 119 text

© 20181204 @Tdys13 119 ⽇本におけるAI×医⽤画像診断(詳細) <"*.ʷ͕Μݚ༗໌පӃ> ң͕Μͷݕग़γεςϜ ・サービスの流れ・技術的視点 - Trainデータ : 内視鏡画像，13,584枚 - ネットワーク : 16層のSSD - Testデータ : 未知の内視鏡画像，2,296枚 - 出⼒結果 : 病変検出 6mm以上->98.6% 6mm以下も含む->92.2% ֶձɾδϟʔφϧ AIにより検出された⾷道がん⻩枠：AIによる予測場所緑枠：医師による候補場所引⽤：・プレスリリースがん研究会有明病院⼈⼯知能で胃がんを発⾒する！ −AIを活⽤した内視鏡画像診断⽀援システムの開発− https://www.jfcr.or.jp/hospital/information/general/5376.html ・ )PSJF :PTIJNBTB FUBM %JBHOPTUJDPVUDPNFTPGFTPQIBHFBMDBODFSCZBSUJGJDJBMJOUFMMJHFODF VTJOHDPOWPMVUJPOBMOFVSBMOFUXPSLT (BTUSPJOUFTUJOBMFOEPTDPQZ

Slide 120

Slide 120 text

Slide 121

Slide 121 text

© 20181204 @Tdys13 121 ⽇本におけるAI×医⽤画像診断(詳細) <"*.ʷ͕Μݚ༗໌පӃ> ৯ಓ͕Μͷݕग़γεςϜ ・サービスの流れ・技術的視点 - Trainデータ : 内視鏡画像，8,428枚 - ネットワーク : 16層のSSD - Testデータ : 未知の内視鏡画像，1,118枚 - 出⼒結果 : 病変検出検出精度98% ֶձɾδϟʔφϧ AIにより検出された⾷道がん⽩枠：AIによる予測場所緑枠：医師による候補場所 Ҿ༻ɿ ɾϓϨεϦϦʔε ͕Μݚڀձ༗໌පӃ ਓ޻஌ೳʹΑΔ৯ಓ͕Μͷ਍அ "*ʹΑΔ಺ࢹڸը૾਍அࢧԉγεςϜ IUUQTXXXKGDSPSKQVQ@QEG@QEG ɾ )PSJF :PTIJNBTB FUBM %JBHOPTUJDPVUDPNFTPGFTPQIBHFBMDBODFSCZBSUJGJDJBMJOUFMMJHFODF VTJOHDPOWPMVUJPOBMOFVSBMOFUXPSLT (BTUSPJOUFTUJOBMFOEPTDPQZ

Slide 122

Slide 122 text

Slide 123

Slide 123 text

© 20181204 @Tdys13 123 ⽇本におけるAI×医⽤画像診断(詳細) <໋ཱؗେֶ ʷ ᔳߐେֶ෇ଐපӃ > ؊ଁ͕Μͷݕग़γεςϜ ・サービスの流れ ઌ୺*$5 ϝσΟΧϧɾϔϧεέΞ ݚڀηϯλʔ ϦΞϧλΠϜ ࣗಈݕ஌γεςϜ ֶձ δϟʔφϧ 引⽤：・⽇経デジタルヘルスプレスリリース AIで肝臓がんの画像診断を⽀援 2016 1214 https://tech.nikkeibp.co.jp/dm/atcl/news/16/121405475/?ST=health

Slide 124

Slide 124 text

© 20181204 @Tdys13 124 ⽇本におけるAI×医⽤画像診断(詳細) <໋ཱؗେֶ ʷ ᔳߐେֶ෇ଐපӃ > ؊ଁ͕Μͷݕग़γεςϜ ・サービスの流れ・技術的視点 - Trainデータ : 腹部CT画像(88症例) - ネットワーク : Mics-CNN(AlexNetの派⽣) - Testデータ : 腹部CT画像(30症例) - 出⼒結果 : 病変検出 ઌ୺*$5 ϝσΟΧϧɾϔϧεέΞ ݚڀηϯλʔ ϦΞϧλΠϜ ࣗಈݕ஌γεςϜ ֶձ δϟʔφϧ ⾚⾊ : TP(正解)，⻘⾊ : FN(⾒落とし)，緑⾊ : FP(⾒間違い) 引⽤：・⽇経デジタルヘルスプレスリリース AIで肝臓がんの画像診断を⽀援 2016 1214 https://tech.nikkeibp.co.jp/dm/atcl/news/16/121405475/?ST=health ・pre-submitting by Yoshihiro Todoroki

Slide 125

Slide 125 text

© 20181204 @Tdys13 125 ⽇本におけるAI×医⽤画像診断(詳細) <"*ϝσΟΧϧαʔϏε ʷ ࢈૯ݚ> େ௎͕ΜͷϦΞϧλΠϜݕग़γεςϜ ・サービスの流れ ֶձɾδϟʔφϧ 引⽤：・⼈⼯知能研究センター news 2018.06.22 「"*ʢਓ޻஌ೳʣʹΑΔ಺ࢹڸը૾਍அࢧԉʢපมर্͍͛ʣγεςϜͷݚڀ։ൃʯ ࣮ূ࣮ݧͷ͓஌Βͤ https://www.airc.aist.go.jp/aiart/info.html

Slide 126

Slide 126 text

Slide 127

Slide 127 text

© 20181204 @Tdys13 127 ⽇本におけるAI×医⽤画像診断(詳細) <-1JYFM ʷ ౦ژ࣊ܙձҩՊେֶ > େ௎͕ΜͷϦΞϧλΠϜݕग़γεςϜ ・サービスの流れ・技術的視点 - Trainデータ : 内視鏡画像(50,000枚) - ネットワーク : ????(おそらくSSD系) - Testデータ : 内視鏡画像 - 出⼒結果 : 病変検出検出感度 ->98% 陽性的中率 ->91.2%(2018.5⽉) ֶձɾδϟʔφϧ A A 検出結果のデモ (プレスリリースより引⽤) 引⽤：・プレスリリース⼤腸内視鏡病変検出・鑑別診断サポートを⾏うAIを開発 2018 0817 https://lpixel.net/2018/08/17/7506/

Slide 128

Slide 128 text

© 20181204 @Tdys13 128 ⽇本におけるAI×医⽤画像診断(詳細) <$:#&3/&5ʷ ত࿨େֶ > େ௎͕ΜͷϦΞϧλΠϜݕग़γεςϜ ・サービスの流れ ͦͷଞେֶපӃ ݚڀػؔ ( ) ( ) Ҿ༻ɿ ɾϓϨεϦϦʔε ত࿨େֶ "*Λซ༻ͨ͠େ௎಺ࢹڸݕࠪɿ਍ྍݱ৔Ͱͷਫ਼౓͕໌Β͔ʹ IUUQTXXXVQSFTTDFOUFSKQQPTUIUNM ɾত࿨େֶͱαΠόωοτɼ"*Λซ༻ͨ͠Ѫௌ಺ࢹڸݕࠪʹͯਫ਼౓Λୡ੒ IUUQTNFEJUUFDISFBMUJNFQBUIPMPHJDBMEJBHOPTJTXJUITVQFSFYQBOEFE FOEPTDPQFQPXFSFECZBJTIPXBVOJWFSTJUZBOEDZCFSOFUBDRVJSF

Slide 129

Slide 129 text

© 20181204 @Tdys13 129 ⽇本におけるAI×医⽤画像診断(詳細) <$:#&3/&5ʷ ত࿨େֶ > େ௎͕ΜͷϦΞϧλΠϜݕग़γεςϜ ・サービスの流れ ͦͷଞେֶපӃ ݚڀػؔ ( ) ( ) ・技術的視点 - Trainデータ : 内視鏡動画像 (35分,63,135フレームと80分,133,496フレーム) - ネットワーク : 3D CNN(x*y*time) - Testデータ : 内視鏡動画像 - 出⼒結果 : 病変分類⽩く反射をするところを中⼼に画像取得 3D CNN クラス分類取得した部分が腫瘍か否か Ҿ༻ɿ ɾϓϨεϦϦʔε ত࿨େֶ "*Λซ༻ͨ͠େ௎಺ࢹڸݕࠪɿ਍ྍݱ৔Ͱͷਫ਼౓͕໌Β͔ʹ IUUQTXXXVQSFTTDFOUFSKQQPTUIUNM ɾত࿨େֶͱαΠόωοτɼ"*Λซ༻ͨ͠Ѫௌ಺ࢹڸݕࠪʹͯਫ਼౓Λୡ੒ IUUQTNFEJUUFDISFBMUJNFQBUIPMPHJDBMEJBHOPTJTXJUITVQFSFYQBOEFE FOEPTDPQFQPXFSFECZBJTIPXBVOJWFSTJUZBOEDZCFSOFUBDRVJSF

Slide 130

Slide 130 text

© 20181204 @Tdys13 130 ⽇本におけるAI×医⽤画像診断(詳細) </&$ʷ ࠃཱ͕Μݚڀηϯλʔ > େ௎͕ΜͷϦΞϧλΠϜݕग़γεςϜ ・サービスの流れ ֶձɾδϟʔφϧ ・技術的視点 - Trainデータ : 内視鏡画像(5,000枚) - ネットワーク : CNN - Testデータ : 内視鏡画像(5,000枚) - 出⼒結果 : 病変検出検出結果引⽤：・プレスリリース国⽴がん研究センター 2017 0710 AIを活⽤したリアルタイム内視鏡診断サポートシステム開発⼤腸内視鏡検査での⾒逃し回避を⽬指す https://www.ncc.go.jp/jp/information/pr_release/2017/0710/index.html

Slide 131

Slide 131 text

Slide 132

Slide 132 text

© 20181204 @Tdys13 132 ⽇本におけるAI×医⽤画像診断(詳細) <"*.ʷ ౦େපӃ> Χϓηϧ಺ࢹڸΛ༻͍ͨখ௎೪ບো֐ͷ਍அࢧԉγεςϜ ・サービスの流れ・技術的視点 - Trainデータ : 内視鏡画像(5,360枚) - ネットワーク : SSD - Testデータ : 内視鏡動画像(10,440枚) - 出⼒結果 : 病変検出 ROC 0.985 ֶձɾδϟʔφϧ 検出結果 SSD 病変正常部引⽤：・プレスリリース東⼤病院⼈⼯知能による⼩腸粘膜傷害の診断 2018 1026 http://www.h.u-tokyo.ac.jp/press/press_archives/20181026.html ɾ"PLJ 5PNPOPSJ FUBM"VUPNBUJDEFUFDUJPOPGFSPTJPOTBOEVMDFSBUJPOT JOXJSFMFTTDBQTVMFFOEPTDPQZJNBHFTCBTFEPOBEFFQDPOWPMVUJPOBMOFVSBMOFUXPSL (BTUSPJOUFTUJOBM&OEPTDPQZ

Slide 133

Slide 133 text

Slide 134

Slide 134 text

© 20181204 @Tdys13 134 ⽇本におけるAI×医⽤画像診断(詳細) <ژηϥ ʷஜ೾େֶ > ྟচը૾ʹΑΔൽෘ͕Μͷࣗಈݕग़ ・サービスの流れ ֶձɾδϟʔφϧ ・技術的視点 - Trainデータ : 臨床画像(4,800枚) - ネットワーク : 事前学習(ImageNet)+CNN - Testデータ : 臨床画像(1,200枚) - 出⼒結果 : 14種の病変分類 Ҿ༻ɿ ɾϓϨεϦϦʔε ژηϥൽෘजᙾͷྑѱੑΛ൑ఆ͢Δਓ޻஌ೳ਍அิॿγεςϜΛ։ൃ IUUQTXXXLDDTDPKQOFXTSFMFBTF ɾ 'VKJTBXB : FUBM %FFQMFBSOJOHʖCBTFE DPNQVUFSʖBJEFEDMBTTJGJFSEFWFMPQFE XJUIBTNBMMEBUBTFUPGDMJOJDBMJNBHFTTVSQBTTFTCPBSEʖDFSUJGJFEEFSNBUPMPHJTUT JOTLJOUVNPSEJBHOPTJT #SJUJTI+PVSOBMPG%FSNBUPMPHZ

Slide 135

Slide 135 text

Slide 136

Slide 136 text

Slide 137

Slide 137 text

© 20181204 @Tdys13 137 ⽇本におけるAI×医⽤画像診断(詳細) <ΦϦϯύε ʷ தࠃ͕Μηϯλʔ> 病理画像の⾃動診断システム・サービスの流れ・技術的視点 - Trainデータ : 病理画像(368例) - ネットワーク : CNN - Testデータ : 病理画像(786例) - 出⼒結果 : 14種の病変分類引⽤：・プレスリリースオリンパスと呉医療センター・中国がんセンター AI病理診断⽀援ソフトウェアを共同研究 https://www.olympus.co.jp/news/2018/nr00867.html

Slide 138

Slide 138 text

Slide 139

Slide 139 text

© 20181204 @Tdys13 139 ⽇本におけるAI×医⽤画像診断(詳細) <೔ຊපཧֶձ > 病理画像から胃がん診断システム・サービスの流れ引⽤：・⽇本病理学会学会主導による病理診断AI（artificial intelligence; ⼈⼯知能）エンジンの開発 20181109 http://p-wsi.jp/press_release/ පཧֶձ ॴଐපӃ පཧֶձ ॴଐපӃ ・技術的視点 - Trainデータ : 病理画像(17万枚) - ネットワーク : ??? - Testデータ : 病理画像 - 出⼒結果 : 胃がんの診断 ※感度93.3%，特異度73.5%，不⼀致率16.2%

Slide 140

Slide 140 text

© 20181204 @Tdys13 140 ⽇本におけるAI×医⽤画像診断(詳細) <015*.ʷ ΤϜεϦʔ> 画像診断⽀援AIプラットフォーム・サービスの流れ "*ϓϥοτϑΥʔϜ %PD"* පӃ େख ҩྍػثϝʔΧʔ 引⽤：・プレスリリースオプティム医療⽤画像診断⽀援AIオープンプラットフォーム「Doc+AI」（ドクエイ）の構築を開始 2018 0725 https://www.optim.co.jp/news-detail/38409 ・エムスリー，オプティムと共同で画像診断⽀援プラットフォーム提供へ https://medit.tech/optim-m3-jointed-for-ai-platform/ ・技術的視点 - このプラットフォームはどんな感じになるのか楽しみ！

Slide 141

Slide 141 text

Slide 142

Slide 142 text

Slide 143

Slide 143 text

© 20181204 @Tdys13 143 おまけ PFN × PFDeNA(PFNとDeNAの合弁会社) 政府の推し進めるAIホスピタル構想引⽤：・PFN Newa 2018 1029 https://www.preferred-networks.jp/ja/news/pr20181029 ・AIホスピタルによる⾼度診断・治療システム http://www8.cao.go.jp/cstp/gaiyo/sip/iinkai2/aihospital_1/siryo3-1.pdf

Slide 144

Slide 144 text

© 20181204 @Tdys13 144 おまけ隣国では企業主体のスマートホスピタル計画が進⾏している引⽤：・ *OUFSOFUCBTFETNBSUIFBMUIDBSFDIBOHFT$IJOFTFMJWFT https://www.telegraph.co.uk/news/world/china-watch/technology/smart-healthcare-china/ ・A Fudan University, Tencent to Build Smart Hospital in Shanghai 2017 1122 https://www.yicaiglobal.com/news/ fudan-university-tencent-build-smart-hospital-shanghai?utm _content=buffere9509&utm_medium=social&utm_source=pinterest.com&utm_campaign=buffer