【論文紹介】医用画像への転移学習の有効性について Transfusion: Understanding Transfer Learning for Medical Imaging

D79e3b0b78ca7027eb61d73028d45ad6?s=47 uchi_k
September 13, 2019

【論文紹介】医用画像への転移学習の有効性について Transfusion: Understanding Transfer Learning for Medical Imaging

特に医用画像を対象としたタスクにおいて、ImageNetなどの自然画像から学習したモデルを用いた転移学習がよく行われていますがそれは本当に有効なの?という疑問を検証した論文を紹介します。
結果として、転移学習はパフォーマンスにほとんど影響がなく、収束速度が早くなるという限定的な恩恵であることが明らかになり、さらにこの速度向上は、事前学習されたモデルの重みを使うのではなくその統計量から平均と分散を一致させることによっても十分得られることが新たにわかりました。
他にもいろいろ面白い実験があり、転移学習の実態をよく知ることができる論文です。

D79e3b0b78ca7027eb61d73028d45ad6?s=128

uchi_k

September 13, 2019
Tweet

Transcript

  1. ҩ༻ը૾΁ͷసҠֶश·ͱΊ Transfusion: Understanding Transfer Learning for Medical Imaging

  2. Uchihashi Kenshi uchi_k @wednesdaymuse About me •yuni, inc CEO •Freelance

    Machine Learning Engineer / Researcher •xpaper.challenge ӡӦ •former ະ౿, ژେ৘ใӃ ੴҪݚڀࣨ), FreakOut Machine Learning Engineer
  3. #Abstract #ImageNet #datasize #global / local tecsture ࣗવը૾ͱҩ༻ը૾ʹ͸ଟ͘ͷҧ͍͕͋Δ *NBHF/FU SFUJOBMGVOEVTQIPUPHSBQIT

    $IF9QFSU ௨ৗɺҩྍը૾ॲཧλεΫ͸ɺؔ৺ͷ͋Δ਎ମྖҬͷେ͖ͳը૾͔Β ࢝·ΓɺපมΛࣝผ͢ΔͨΊʹϩʔΧϧςΫενϟͷόϦΤʔγϣϯ Λ࢖༻͍͕ͯ͘͠ɺ͜Ε͸શମతͳओ୊Λಛఆ͍ͨ͠*NBHF/FUͷ λεΫͱ͸ର৅త ໢ບͷ؟ఈը૾Ͱ͸ɺখ͞ͳԫ৭ͷʮ఺ʯ͕ඍখಈ຺ᚅͱ౶೘පੑ໢ ບ঱ͷஹީͰ͋Γʢ""0ɺʣɺڳ෦9ઢͰ͸ɺہॴతͳന͍ෆ ಁ໌ͳൗ఺͕ѹີͱഏԌͷ௃ީ *NBHF/FU͸໿ສຕͷը૾͕͋Δͷʹରͯ͠ɺҩ༻ը૾͸਺ઍʙ ਺ेສͷΦʔμʔɻ͔ͭɺʢϩʔΧϧςΫενϟΛ࢖༻͢ΔͨΊʹʣ αΠζͷେ͖͍ը૾ͩͬͨΓ͢Δ
  4. #Abstract #class number #transfer learning ࣗવը૾Ͱֶशͨ͠ϞσϧΛҩ༻ը૾ʹసҠֶश͢Δͷ͸ຊ౰ʹ༗ޮʁ *NBHF/FU SFUJOBMGVOEVTQIPUPHSBQIT $IF9QFSU *NBHF/FU͸Ϋϥε෼ྨ͕ͩɺ౶೘පੑ໢ບ঱਍அ͸Ϋϥε

    Ͱɺ9ઢʹΑΔڳ෦පม਍அ͸ʙΫϥε ͦͷΫϥε਺ͷଟ͔͞Βɺඪ४ͷ*NBHF/FUͰ͸ޙஈͷϨΠϠʔʹύ ϥϝʔλ͕ूத͓ͯ͠Γɺҩ༻ը૾΁ͷస༻ʹ࠷దͰ͸ͳ͍Մೳੑ͕ ͋Δ ࣗવը૾ͰҰൠతͳ*NBHF/FU͔Βɺҩ༻ը૾ͰҰൠతͳͭͷσʔ λʹసҠֶशΛߦ͍ɺਫ਼౓΍ϑΟϧλʔɺֶश଎౓ͳͲͷ؍఺͔Βղ ੳͨ͠
  5. #Conclusion ݁࿦͔Βݴ͏ͱ సҠֶश͕ඪ४తʹߦΘΕΔͭͷେن໛ͳҩྍ༻ը૾ॲཧλεΫͰɺ *NBHF/FUͷඪ४ΞʔΩςΫνϟɺ͓Αͼඪ४Ͱ͸ͳ͍͕খ͘͞γϯ ϓϧͳϞσϧϑΝϛϦʔͷύϑΥʔϚϯεΛධՁ ˠ*NBHF/FUͰͷਫ਼౓͸͸Δ͔ʹ௿͍ʹ΋͔͔ΘΒͣɺసҠֶशͰύ ϑΥʔϚϯε͕େ෯ʹ޲্͢Δ͜ͱ͸ͳ͘ɺখ͞ͳϞσϧ͸ಉ౳ͷύ ϑΥʔϚϯεΛൃشͨ͠ ࣄલֶशࡁΈͷॏΈΛ࢖༻͢ΔͱɺϥϯμϜͳॳظԽͱ͸ҟͳΔֶश දݱ͕ಘΒΕΔ͔Ͳ͏͔Λௐࠪ

    ˠϥϯμϜͰ͸ݟΒΕͳ͍(BCPSMJLFͳϑΟϧλʔ͕ಘΒΕ͍ͯΔ ͷ͕֬ೝͰ͖ͨɻ͕͜Ε͸ॳظԽ͔࣌ΒసҠֶशʹΑͬͯϞσϧ͕ಈ ͔ͳ͔ͬͨʹա͗ͳ͍
  6. #Conclusion ݁࿦͔Βݴ͏ͱ సҠֶश͕͋·Γਐ·ͳ͔ͬͨཧ༝Λௐࠪ ˠPWFSQBSBNFUSJ[BUJPOͷ݁ՌͰ͋Δͱߟ͑ΒΕΔɻͨͩ͠ɺҙຯ ͷ͋Δ෦෼ͷΈநग़͢Δ͜ͱ΋Մೳ సҠֶशͷར఺͸ଞʹ΋ͳ͍͔ௐ΂ͯΈͨ ˠਫ਼౓͸ಛʹ্͕Βͳ͍͕ΑΓ༏ΕͨεέʔϦϯάͷॏΈ͕ಘΒΕͨ ͷʹՃ͑ɺऩଋ଎౓΋্͕ͬͨ

  7. #Dataset #AUC-ROC ࣗવը૾ͱͯ͠*NBHF/FUΛɺҩ༻ը૾ͱͯ͠໢ບը૾ͱڳ෦9ઢը૾ΛऔΓ্͛Δ ໢ບը૾ͷσʔληοτͰɺ؟ఈ͔ΒࡱӨͨ͠ºͷը૾ɻ౶ ೘පੑ໢ບ঱ʢ%3ʣͳͲͷ؟࣬ױͷ਍அʹར༻͞ΕΔɻάϨʔυ   ͷॱʹॏ঱౓͕ߴ·Γɺ"6$30$Λ༻͍ͯධՁ͞ΕΔ *NBHF/FU SFUJOBMGVOEVTQIPUPHSBQIT

    $IF9QFSU SFUJOBMGVOEVTQIPUPHSBQIT $IF9QFSU ڳ෦9ઢը૾ͷσʔληοτͰɺºͷը૾ɻͭͷҟͳΔڳ෦ පมʢແؾഏɺ৺ංେɺѹີɺුजɺڳਫʣͷ਍அʹར༻͞ΕΔɻ"6$ Λ༻͍ͯධՁɻ ͖͍͠஋Λ͍Ζ͍Ζม͑ͨͱ͖ͷਅཅੑ ͱِཅੑͷׂ߹มԽΛϓϩοτͨ͠΋ͷ
  8. #Model #ResNet50 #Inception-v3 #CNN 3FT/FU *ODFQUJPOW ελϯμʔυͳ$//Λύλʔϯ࢖༻ ҩྍܥసҠֶशͰ࿦จ࣮੷͕͋Δ3FT/FU *ODFQUJPOWΛ࠾༻ EDPOWPMVUJPO

    CBUDIOPSNBMJ[BUJPO 3F-6ΛੵΈॏͶΔجຊత ͳߏ੒ͷ΋ͷΛ$#3ͱͯ͠ఆٛ͠ɺ*NBHF/FUͷඪ४αΠζͱൺ΂ ͯ -BSHF ΍ 5JOZ ͷϞσϧΛ࡞ͬͨ
  9. #Result #Figure సҠֶशʹΑͬͯਫ਼౓޲্͕ݟΒΕΔ͔ʁݩλεΫͰͷਫ਼౓͸ؔ܎͋Δʁ ϥϯμϜͱൺֱͯ͠ɺసҠֶशʹΑͬͯਫ਼౓͕ྑ͘ͳͬͯ͸͍ͳ͍ ݩλεΫͰ͋Δ*NBHF/FUͰͷਫ਼౓΋ɺసҠֶशʹΑΔਫ਼౓޲্ʹ͸ ແؔ܎ɻٯʹݴ͏ͱɺͳΜͰ΋ͳ͍Α͏ͳϞσϧͰ*NBHF/FU͸ବ໨ Ͱ΋গͳ͘ͱ΋໢ບσʔλʹؔͯ͠͸DPNQBUJCMF Ͱ͸ଞʹసҠֶशʹΑΔϝϦοτ͸ͳʹ͔ͳ͍͔ʁऩଋ଎౓ͱ͔ɾɾɾ

  10. #Result #Figure సҠֶशͱϥϯμϜͰਫ਼౓͕มΘΒͳ͍ͷͰ͋Ε͹ɺಛ௃දݱ΋ಉ͡ʁ શͯͷϞσϧʹ͍ͭͯɺϥϯμϜؒͷ$$"ͷํ͕ϥϯμϜసҠֶशؒͷ $$"ΑΓߴ͍ $$"ʢ$BOPOJDBM$PSSFMBUJPO"OBMZTJTʣͰͭͷϞσϧʹ͍ͭͯ ֤ϨΠϠʔͷBDUJWBUJPOWFDUPS͔ΒྨࣅੑΛଌΔ ਫ਼౓͸ಉ͡Ͱ΋ɺసҠֶशʹΑͬͯಛ௃දݱʹԿΒ͔ͷଌఆՄೳͳมԽ ͕ੜ͍ͯ͡ΔʢϞσϧαΠζ΋Өڹ͢Δʣ

  11. #Result #Figure సҠֶशʹΑͬͯྑ͍ಛ௃දݱ͕ಘΒΕ͍ͯΔͱ͍͏ΑΓ͸ɺ ୯ʹࣄલֶशͨ͠ॏΈ͕มԽ͍ͯ͠ͳ͍͚ͩͰ͸ʁ $$"ʢ$BOPOJDBM$PSSFMBUJPO"OBMZTJTʣͰॳظঢ়ଶͱऩଋޙʹͭ ͍֤ͯϨΠϠʔͷBDUJWBUJPOWFDUPS͔ΒྨࣅੑΛଌΔ సҠֶश͸ɺ୯ʹϞσϧ͕ॳظঢ়ଶ͔Β΄΅มԽͤͣɺࣄલֶश͞Εͨ ॏΈ͕ͦͷ··༻͍ΒΕ͍ͯΔʹա͗ͳ͍ʢͱ͍͏িܸͷࣄ࣮ʣ

  12. #Figure #weight scaling #Xavier algorithm సҠֶशʹ͸ɺֶश͞Εͨಛ௃ͱؔ܎ͳ͘ ॏΈͷεέʔϦϯά͕վળ͢Δͱ͍͏ϝϦοτ͕͋Δ ॏΈͷεέʔϦϯάʹ͸ɺ9BWJFSΞϧΰϦζϜ͕Α͘༻͍ΒΕΔ USVODBUFE Ψ΢ε෼෍Λ༻͍ͯॳظԽɻO͸ͦΕͧΕ઀ଓ਺ɻ

    ͜Εʹର͠ɺࣄલֶश͞ΕͨॏΈͷฏۉͱ෼ࢄͷΈΛ࢖ͬͯʢpMUFS͸ શࣺͯͯͯʣˣਖ਼ن෼෍͔ΒJJEʹऔΓग़ͨ͠ॏΈͰॳظԽ͢Δͱɺ ࣄલֶश͞ΕͨεέʔϦϯά৘ใͷΈΛอ͍࣋ͯ͠Δ͜ͱͱ౳ՁͰ͋ Δɻ సҠֶशͷॏΈεέʔϦϯάվળͷ෦෼ͷΈΛऔΓग़ͯ͠ɺऩଋ଎౓΁ ͷد༩Λௐ΂͍ͨ
  13. #Figure #convergence speed #weight scaling సҠֶशٴͼεέʔϦϯάվળʹΑͬͯऩଋ଎౓͕ૣ͘ͳΔ ऩଋޙͷ"6$ʹ͸΄ͱΜͲ͕ࠩͳ͍͕ɺసҠֶशΛ͢Δͱ࠷΋ऩଋ͕ ૣ͘ɺ.FBO7BS*OJUͰ΋ϥϯμϜΑΓ͸͔ͳΓऩଋ͕ૣ͘ͳ͍ͬͯ Δ εέʔϦϯά৘ใͷΈΛอ࣋ͨ͠.FBO7BS*OJUͰ΋ૣ͘ͳ͍ͬͯΔ

    ͷͰɺऩଋ଎౓ͷߴ଎Խ͸ɺ൒෼͘Β͍͸ॏΈͷεέʔϦϯάͷվળ͔ Βى͍ͬͯ͜Δͱߟ͑ΒΕΔ
  14. #Figure #feature extraction *NBHF/FU͔ΒͷసҠֶशʹΑͬͯ(BCPSMJLFϑΟϧλʔ͕ಘΒΕΔ సҠֶश ϥϯμϜ ॏΈͷεέʔϦϯάͷΈసҠͷͭͰॳஈͷϑΟϧ λʔΛՄࢹԽൺֱͨ͠ *NBHF/FU͔ΒసҠֶशͨ͠৔߹ͷΈ(BCPSMJLFϑΟϧλʔ͕ಘΒ Ε͍ͯΔɻεέʔϦϯάͰ͸ಛ௃͕ࣦΘΕΔͷͰ௚ײͱ߹͏

    ͦ΋ͦ΋సҠֶशͰ΄ͱΜͲϞσϧ͕ಈ͍͍ͯͳ͍͚ͩͱࢥΘΕΔɾɾɾ ͳͥ͜ͷΑ͏ͳ໰୊͕ൃੜ͢Δͷ͔ʁ
  15. #Figure #feature re-use సҠֶशʹΑͬͯϞσϧ͕ͲΕ͚ͩಈ͔͘ΛධՁ͢Δ ઙ͍ϨΠϠʔͰ͸ڑ཭͕୹͘ͳΓʢ࠶ར༻͕ڧ͍ʣɺਂ͍ϨΠϠʔͰ͸ ڑ཭͕௕͘ͳͬͨʢ࠶ར༻͕ऑ͍ʣ εέʔϦϯά৘ใͷΈΛอ࣋ͨ͠.FBO7BS*OJUͰ΋ૣ͘ͳ͍ͬͯΔ ͷͰɺऩଋ଎౓ͷߴ଎Խ͸ɺ൒෼͘Β͍͸ॏΈͷεέʔϦϯάͷվળ͔ Βى͍ͬͯ͜Δͱߟ͑ΒΕΔ ॳظԽ͞ΕͨॏΈΛX

    ऩଋޙͷॏΈΛX5ͱͯ͠ɺˢͷύϥϝʔλؒ ਖ਼نԽڑ཭Λܭࢉ͢Δ͜ͱͰϞσϧͷಈ͖ΛධՁ͢Δɻ
  16. #Figure #weight ϨΠϠʔຖͷॏΈมԽΛධՁ͢Δ DPOWͰ͸ɺ*NBHF/FUͷࣄલֶशΑΓ΋ϥϯμϜͷํ͕େ͖ͳมԽ ͕͋ͬͨͷʹରͯ͠ɺ*NBHF/FUͷࣄલֶश͸ΑΓଟ͘ͷϨΠϠʔͰ มԽ 3FT/FU͕*NBHF/FUͷద੾ͳύϥϝʔλΛ͍࣋ͬͯΔՄೳੑΛ ͍ࣔࠦͯ͠Δ͕ɺҩྍλεΫͰ͸PFWSQBSBNFUSJ[FE

  17. #Conclusion ͓࣋ͪؼΓͯ͠΄͍͠஌ݟʢ࠶ܝʣ సҠֶश͕ඪ४తʹߦΘΕΔͭͷେن໛ͳҩྍ༻ը૾ॲཧλεΫͰɺ *NBHF/FUͷඪ४ΞʔΩςΫνϟɺ͓Αͼඪ४Ͱ͸ͳ͍͕খ͘͞γϯ ϓϧͳϞσϧϑΝϛϦʔͷύϑΥʔϚϯεΛධՁ ˠ*NBHF/FUͰͷਫ਼౓͸͸Δ͔ʹ௿͍ʹ΋͔͔ΘΒͣɺసҠֶशͰύ ϑΥʔϚϯε͕େ෯ʹ޲্͢Δ͜ͱ͸ͳ͘ɺখ͞ͳϞσϧ͸ಉ౳ͷύ ϑΥʔϚϯεΛൃشͨ͠ ࣄલֶशࡁΈͷॏΈΛ࢖༻͢ΔͱɺϥϯμϜͳॳظԽͱ͸ҟͳΔֶश දݱ͕ಘΒΕΔ͔Ͳ͏͔Λௐࠪ

    ˠϥϯμϜͰ͸ݟΒΕͳ͍(BCPSMJLFͳϑΟϧλʔ͕ಘΒΕ͍ͯΔ ͷ͕֬ೝͰ͖ͨɻ͕͜Ε͸ॳظԽ͔࣌ΒసҠֶशʹΑͬͯϞσϧ͕ಈ ͔ͳ͔ͬͨʹա͗ͳ͍
  18. #Conclusion ͓࣋ͪؼΓͯ͠΄͍͠஌ݟʢ࠶ܝʣ సҠֶश͕͋·Γਐ·ͳ͔ͬͨཧ༝Λௐࠪ ˠPWFSQBSBNFUSJ[BUJPOͷ݁ՌͰ͋Δͱߟ͑ΒΕΔɻͨͩ͠ɺҙຯ ͷ͋Δ෦෼ͷΈநग़͢Δ͜ͱ΋Մೳ సҠֶशͷར఺͸ଞʹ΋ͳ͍͔ௐ΂ͯΈͨ ˠਫ਼౓͸ಛʹ্͕Βͳ͍͕ΑΓ༏ΕͨεέʔϦϯάͷॏΈ͕ಘΒΕͨ ͷʹՃ͑ɺऩଋ଎౓΋্͕ͬͨ