Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【論文紹介】医用画像への転移学習の有効性について Transfusion: Understanding Transfer Learning for Medical Imaging

uchi_k
September 13, 2019

【論文紹介】医用画像への転移学習の有効性について Transfusion: Understanding Transfer Learning for Medical Imaging

特に医用画像を対象としたタスクにおいて、ImageNetなどの自然画像から学習したモデルを用いた転移学習がよく行われていますがそれは本当に有効なの?という疑問を検証した論文を紹介します。
結果として、転移学習はパフォーマンスにほとんど影響がなく、収束速度が早くなるという限定的な恩恵であることが明らかになり、さらにこの速度向上は、事前学習されたモデルの重みを使うのではなくその統計量から平均と分散を一致させることによっても十分得られることが新たにわかりました。
他にもいろいろ面白い実験があり、転移学習の実態をよく知ることができる論文です。

uchi_k

September 13, 2019
Tweet

More Decks by uchi_k

Other Decks in Research

Transcript

  1. ҩ༻ը૾΁ͷసҠֶश·ͱΊ
    Transfusion:
    Understanding Transfer Learning for Medical
    Imaging

    View full-size slide

  2. Uchihashi Kenshi
    uchi_k @wednesdaymuse
    About me
    •yuni, inc CEO
    •Freelance Machine Learning Engineer /
    Researcher
    •xpaper.challenge ӡӦ
    •former ະ౿, ژେ৘ใӃ ੴҪݚڀࣨ),
    FreakOut Machine Learning Engineer

    View full-size slide

  3. #Abstract #ImageNet #datasize #global / local tecsture
    ࣗવը૾ͱҩ༻ը૾ʹ͸ଟ͘ͷҧ͍͕͋Δ
    *NBHF/FU SFUJOBMGVOEVTQIPUPHSBQIT $IF9QFSU
    ௨ৗɺҩྍը૾ॲཧλεΫ͸ɺؔ৺ͷ͋Δ਎ମྖҬͷେ͖ͳը૾͔Β
    ࢝·ΓɺපมΛࣝผ͢ΔͨΊʹϩʔΧϧςΫενϟͷόϦΤʔγϣϯ
    Λ࢖༻͍͕ͯ͘͠ɺ͜Ε͸શମతͳओ୊Λಛఆ͍ͨ͠*NBHF/FUͷ
    λεΫͱ͸ର৅త
    ໢ບͷ؟ఈը૾Ͱ͸ɺখ͞ͳԫ৭ͷʮ఺ʯ͕ඍখಈ຺ᚅͱ౶೘පੑ໢
    ບ঱ͷஹީͰ͋Γʢ""0ɺʣɺڳ෦9ઢͰ͸ɺہॴతͳന͍ෆ
    ಁ໌ͳൗ఺͕ѹີͱഏԌͷ௃ީ
    *NBHF/FU͸໿ສຕͷը૾͕͋Δͷʹରͯ͠ɺҩ༻ը૾͸਺ઍʙ
    ਺ेສͷΦʔμʔɻ͔ͭɺʢϩʔΧϧςΫενϟΛ࢖༻͢ΔͨΊʹʣ
    αΠζͷେ͖͍ը૾ͩͬͨΓ͢Δ

    View full-size slide

  4. #Abstract #class number #transfer learning
    ࣗવը૾Ͱֶशͨ͠ϞσϧΛҩ༻ը૾ʹసҠֶश͢Δͷ͸ຊ౰ʹ༗ޮʁ
    *NBHF/FU SFUJOBMGVOEVTQIPUPHSBQIT $IF9QFSU
    *NBHF/FU͸Ϋϥε෼ྨ͕ͩɺ౶೘පੑ໢ບ঱਍அ͸Ϋϥε
    Ͱɺ9ઢʹΑΔڳ෦පม਍அ͸ʙΫϥε
    ͦͷΫϥε਺ͷଟ͔͞Βɺඪ४ͷ*NBHF/FUͰ͸ޙஈͷϨΠϠʔʹύ
    ϥϝʔλ͕ूத͓ͯ͠Γɺҩ༻ը૾΁ͷస༻ʹ࠷దͰ͸ͳ͍Մೳੑ͕
    ͋Δ
    ࣗવը૾ͰҰൠతͳ*NBHF/FU͔Βɺҩ༻ը૾ͰҰൠతͳͭͷσʔ
    λʹసҠֶशΛߦ͍ɺਫ਼౓΍ϑΟϧλʔɺֶश଎౓ͳͲͷ؍఺͔Βղ
    ੳͨ͠

    View full-size slide

  5. #Conclusion
    ݁࿦͔Βݴ͏ͱ
    సҠֶश͕ඪ४తʹߦΘΕΔͭͷେن໛ͳҩྍ༻ը૾ॲཧλεΫͰɺ
    *NBHF/FUͷඪ४ΞʔΩςΫνϟɺ͓Αͼඪ४Ͱ͸ͳ͍͕খ͘͞γϯ
    ϓϧͳϞσϧϑΝϛϦʔͷύϑΥʔϚϯεΛධՁ
    ˠ*NBHF/FUͰͷਫ਼౓͸͸Δ͔ʹ௿͍ʹ΋͔͔ΘΒͣɺసҠֶशͰύ
    ϑΥʔϚϯε͕େ෯ʹ޲্͢Δ͜ͱ͸ͳ͘ɺখ͞ͳϞσϧ͸ಉ౳ͷύ
    ϑΥʔϚϯεΛൃشͨ͠
    ࣄલֶशࡁΈͷॏΈΛ࢖༻͢ΔͱɺϥϯμϜͳॳظԽͱ͸ҟͳΔֶश
    දݱ͕ಘΒΕΔ͔Ͳ͏͔Λௐࠪ
    ˠϥϯμϜͰ͸ݟΒΕͳ͍(BCPSMJLFͳϑΟϧλʔ͕ಘΒΕ͍ͯΔ
    ͷ͕֬ೝͰ͖ͨɻ͕͜Ε͸ॳظԽ͔࣌ΒసҠֶशʹΑͬͯϞσϧ͕ಈ
    ͔ͳ͔ͬͨʹա͗ͳ͍

    View full-size slide

  6. #Conclusion
    ݁࿦͔Βݴ͏ͱ
    సҠֶश͕͋·Γਐ·ͳ͔ͬͨཧ༝Λௐࠪ
    ˠPWFSQBSBNFUSJ[BUJPOͷ݁ՌͰ͋Δͱߟ͑ΒΕΔɻͨͩ͠ɺҙຯ
    ͷ͋Δ෦෼ͷΈநग़͢Δ͜ͱ΋Մೳ
    సҠֶशͷར఺͸ଞʹ΋ͳ͍͔ௐ΂ͯΈͨ
    ˠਫ਼౓͸ಛʹ্͕Βͳ͍͕ΑΓ༏ΕͨεέʔϦϯάͷॏΈ͕ಘΒΕͨ
    ͷʹՃ͑ɺऩଋ଎౓΋্͕ͬͨ

    View full-size slide

  7. #Dataset #AUC-ROC
    ࣗવը૾ͱͯ͠*NBHF/FUΛɺҩ༻ը૾ͱͯ͠໢ບը૾ͱڳ෦9ઢը૾ΛऔΓ্͛Δ
    ໢ບը૾ͷσʔληοτͰɺ؟ఈ͔ΒࡱӨͨ͠ºͷը૾ɻ౶
    ೘පੑ໢ບ঱ʢ%3ʣͳͲͷ؟࣬ױͷ਍அʹར༻͞ΕΔɻάϨʔυ
    ͷॱʹॏ঱౓͕ߴ·Γɺ"6$30$Λ༻͍ͯධՁ͞ΕΔ
    *NBHF/FU SFUJOBMGVOEVTQIPUPHSBQIT $IF9QFSU
    SFUJOBMGVOEVTQIPUPHSBQIT
    $IF9QFSU
    ڳ෦9ઢը૾ͷσʔληοτͰɺºͷը૾ɻͭͷҟͳΔڳ෦
    පมʢແؾഏɺ৺ංେɺѹີɺුजɺڳਫʣͷ਍அʹར༻͞ΕΔɻ"6$
    Λ༻͍ͯධՁɻ
    ͖͍͠஋Λ͍Ζ͍Ζม͑ͨͱ͖ͷਅཅੑ
    ͱِཅੑͷׂ߹มԽΛϓϩοτͨ͠΋ͷ

    View full-size slide

  8. #Model #ResNet50 #Inception-v3 #CNN
    3FT/FU *ODFQUJPOW ελϯμʔυͳ$//Λύλʔϯ࢖༻
    ҩྍܥసҠֶशͰ࿦จ࣮੷͕͋Δ3FT/FU *ODFQUJPOWΛ࠾༻
    EDPOWPMVUJPO CBUDIOPSNBMJ[BUJPO 3F-6ΛੵΈॏͶΔجຊత
    ͳߏ੒ͷ΋ͷΛ$#3ͱͯ͠ఆٛ͠ɺ*NBHF/FUͷඪ४αΠζͱൺ΂
    ͯ -BSHF
    ΍ 5JOZ
    ͷϞσϧΛ࡞ͬͨ

    View full-size slide

  9. #Result #Figure
    సҠֶशʹΑͬͯਫ਼౓޲্͕ݟΒΕΔ͔ʁݩλεΫͰͷਫ਼౓͸ؔ܎͋Δʁ
    ϥϯμϜͱൺֱͯ͠ɺసҠֶशʹΑͬͯਫ਼౓͕ྑ͘ͳͬͯ͸͍ͳ͍
    ݩλεΫͰ͋Δ*NBHF/FUͰͷਫ਼౓΋ɺసҠֶशʹΑΔਫ਼౓޲্ʹ͸
    ແؔ܎ɻٯʹݴ͏ͱɺͳΜͰ΋ͳ͍Α͏ͳϞσϧͰ*NBHF/FU͸ବ໨
    Ͱ΋গͳ͘ͱ΋໢ບσʔλʹؔͯ͠͸DPNQBUJCMF
    Ͱ͸ଞʹసҠֶशʹΑΔϝϦοτ͸ͳʹ͔ͳ͍͔ʁऩଋ଎౓ͱ͔ɾɾɾ

    View full-size slide

  10. #Result #Figure
    సҠֶशͱϥϯμϜͰਫ਼౓͕มΘΒͳ͍ͷͰ͋Ε͹ɺಛ௃දݱ΋ಉ͡ʁ
    શͯͷϞσϧʹ͍ͭͯɺϥϯμϜؒͷ$$"ͷํ͕ϥϯμϜసҠֶशؒͷ
    $$"ΑΓߴ͍
    $$"ʢ$BOPOJDBM$PSSFMBUJPO"OBMZTJTʣͰͭͷϞσϧʹ͍ͭͯ
    ֤ϨΠϠʔͷBDUJWBUJPOWFDUPS͔ΒྨࣅੑΛଌΔ
    ਫ਼౓͸ಉ͡Ͱ΋ɺసҠֶशʹΑͬͯಛ௃දݱʹԿΒ͔ͷଌఆՄೳͳมԽ
    ͕ੜ͍ͯ͡ΔʢϞσϧαΠζ΋Өڹ͢Δʣ

    View full-size slide

  11. #Result #Figure
    సҠֶशʹΑͬͯྑ͍ಛ௃දݱ͕ಘΒΕ͍ͯΔͱ͍͏ΑΓ͸ɺ
    ୯ʹࣄલֶशͨ͠ॏΈ͕มԽ͍ͯ͠ͳ͍͚ͩͰ͸ʁ
    $$"ʢ$BOPOJDBM$PSSFMBUJPO"OBMZTJTʣͰॳظঢ়ଶͱऩଋޙʹͭ
    ͍֤ͯϨΠϠʔͷBDUJWBUJPOWFDUPS͔ΒྨࣅੑΛଌΔ
    సҠֶश͸ɺ୯ʹϞσϧ͕ॳظঢ়ଶ͔Β΄΅มԽͤͣɺࣄલֶश͞Εͨ
    ॏΈ͕ͦͷ··༻͍ΒΕ͍ͯΔʹա͗ͳ͍ʢͱ͍͏িܸͷࣄ࣮ʣ

    View full-size slide

  12. #Figure #weight scaling #Xavier algorithm
    సҠֶशʹ͸ɺֶश͞Εͨಛ௃ͱؔ܎ͳ͘
    ॏΈͷεέʔϦϯά͕վળ͢Δͱ͍͏ϝϦοτ͕͋Δ
    ॏΈͷεέʔϦϯάʹ͸ɺ9BWJFSΞϧΰϦζϜ͕Α͘༻͍ΒΕΔ
    USVODBUFE
    Ψ΢ε෼෍Λ༻͍ͯॳظԽɻO͸ͦΕͧΕ઀ଓ਺ɻ
    ͜Εʹର͠ɺࣄલֶश͞ΕͨॏΈͷฏۉͱ෼ࢄͷΈΛ࢖ͬͯʢpMUFS͸
    શࣺͯͯͯʣˣਖ਼ن෼෍͔ΒJJEʹऔΓग़ͨ͠ॏΈͰॳظԽ͢Δͱɺ
    ࣄલֶश͞ΕͨεέʔϦϯά৘ใͷΈΛอ͍࣋ͯ͠Δ͜ͱͱ౳ՁͰ͋
    Δɻ
    సҠֶशͷॏΈεέʔϦϯάվળͷ෦෼ͷΈΛऔΓग़ͯ͠ɺऩଋ଎౓΁
    ͷد༩Λௐ΂͍ͨ

    View full-size slide

  13. #Figure #convergence speed #weight scaling
    సҠֶशٴͼεέʔϦϯάվળʹΑͬͯऩଋ଎౓͕ૣ͘ͳΔ
    ऩଋޙͷ"6$ʹ͸΄ͱΜͲ͕ࠩͳ͍͕ɺసҠֶशΛ͢Δͱ࠷΋ऩଋ͕
    ૣ͘ɺ.FBO7BS*OJUͰ΋ϥϯμϜΑΓ͸͔ͳΓऩଋ͕ૣ͘ͳ͍ͬͯ
    Δ
    εέʔϦϯά৘ใͷΈΛอ࣋ͨ͠.FBO7BS*OJUͰ΋ૣ͘ͳ͍ͬͯΔ
    ͷͰɺऩଋ଎౓ͷߴ଎Խ͸ɺ൒෼͘Β͍͸ॏΈͷεέʔϦϯάͷվળ͔
    Βى͍ͬͯ͜Δͱߟ͑ΒΕΔ

    View full-size slide

  14. #Figure #feature extraction
    *NBHF/FU͔ΒͷసҠֶशʹΑͬͯ(BCPSMJLFϑΟϧλʔ͕ಘΒΕΔ
    సҠֶश ϥϯμϜ ॏΈͷεέʔϦϯάͷΈసҠͷͭͰॳஈͷϑΟϧ
    λʔΛՄࢹԽൺֱͨ͠
    *NBHF/FU͔ΒసҠֶशͨ͠৔߹ͷΈ(BCPSMJLFϑΟϧλʔ͕ಘΒ
    Ε͍ͯΔɻεέʔϦϯάͰ͸ಛ௃͕ࣦΘΕΔͷͰ௚ײͱ߹͏
    ͦ΋ͦ΋సҠֶशͰ΄ͱΜͲϞσϧ͕ಈ͍͍ͯͳ͍͚ͩͱࢥΘΕΔɾɾɾ
    ͳͥ͜ͷΑ͏ͳ໰୊͕ൃੜ͢Δͷ͔ʁ

    View full-size slide

  15. #Figure #feature re-use
    సҠֶशʹΑͬͯϞσϧ͕ͲΕ͚ͩಈ͔͘ΛධՁ͢Δ
    ઙ͍ϨΠϠʔͰ͸ڑ཭͕୹͘ͳΓʢ࠶ར༻͕ڧ͍ʣɺਂ͍ϨΠϠʔͰ͸
    ڑ཭͕௕͘ͳͬͨʢ࠶ར༻͕ऑ͍ʣ
    εέʔϦϯά৘ใͷΈΛอ࣋ͨ͠.FBO7BS*OJUͰ΋ૣ͘ͳ͍ͬͯΔ
    ͷͰɺऩଋ଎౓ͷߴ଎Խ͸ɺ൒෼͘Β͍͸ॏΈͷεέʔϦϯάͷվળ͔
    Βى͍ͬͯ͜Δͱߟ͑ΒΕΔ
    ॳظԽ͞ΕͨॏΈΛX ऩଋޙͷॏΈΛX5ͱͯ͠ɺˢͷύϥϝʔλؒ
    ਖ਼نԽڑ཭Λܭࢉ͢Δ͜ͱͰϞσϧͷಈ͖ΛධՁ͢Δɻ

    View full-size slide

  16. #Figure #weight
    ϨΠϠʔຖͷॏΈมԽΛධՁ͢Δ
    DPOWͰ͸ɺ*NBHF/FUͷࣄલֶशΑΓ΋ϥϯμϜͷํ͕େ͖ͳมԽ
    ͕͋ͬͨͷʹରͯ͠ɺ*NBHF/FUͷࣄલֶश͸ΑΓଟ͘ͷϨΠϠʔͰ
    มԽ
    3FT/FU͕*NBHF/FUͷద੾ͳύϥϝʔλΛ͍࣋ͬͯΔՄೳੑΛ
    ͍ࣔࠦͯ͠Δ͕ɺҩྍλεΫͰ͸PFWSQBSBNFUSJ[FE

    View full-size slide

  17. #Conclusion
    ͓࣋ͪؼΓͯ͠΄͍͠஌ݟʢ࠶ܝʣ
    సҠֶश͕ඪ४తʹߦΘΕΔͭͷେن໛ͳҩྍ༻ը૾ॲཧλεΫͰɺ
    *NBHF/FUͷඪ४ΞʔΩςΫνϟɺ͓Αͼඪ४Ͱ͸ͳ͍͕খ͘͞γϯ
    ϓϧͳϞσϧϑΝϛϦʔͷύϑΥʔϚϯεΛධՁ
    ˠ*NBHF/FUͰͷਫ਼౓͸͸Δ͔ʹ௿͍ʹ΋͔͔ΘΒͣɺసҠֶशͰύ
    ϑΥʔϚϯε͕େ෯ʹ޲্͢Δ͜ͱ͸ͳ͘ɺখ͞ͳϞσϧ͸ಉ౳ͷύ
    ϑΥʔϚϯεΛൃشͨ͠
    ࣄલֶशࡁΈͷॏΈΛ࢖༻͢ΔͱɺϥϯμϜͳॳظԽͱ͸ҟͳΔֶश
    දݱ͕ಘΒΕΔ͔Ͳ͏͔Λௐࠪ
    ˠϥϯμϜͰ͸ݟΒΕͳ͍(BCPSMJLFͳϑΟϧλʔ͕ಘΒΕ͍ͯΔ
    ͷ͕֬ೝͰ͖ͨɻ͕͜Ε͸ॳظԽ͔࣌ΒసҠֶशʹΑͬͯϞσϧ͕ಈ
    ͔ͳ͔ͬͨʹա͗ͳ͍

    View full-size slide

  18. #Conclusion
    ͓࣋ͪؼΓͯ͠΄͍͠஌ݟʢ࠶ܝʣ
    సҠֶश͕͋·Γਐ·ͳ͔ͬͨཧ༝Λௐࠪ
    ˠPWFSQBSBNFUSJ[BUJPOͷ݁ՌͰ͋Δͱߟ͑ΒΕΔɻͨͩ͠ɺҙຯ
    ͷ͋Δ෦෼ͷΈநग़͢Δ͜ͱ΋Մೳ
    సҠֶशͷར఺͸ଞʹ΋ͳ͍͔ௐ΂ͯΈͨ
    ˠਫ਼౓͸ಛʹ্͕Βͳ͍͕ΑΓ༏ΕͨεέʔϦϯάͷॏΈ͕ಘΒΕͨ
    ͷʹՃ͑ɺऩଋ଎౓΋্͕ͬͨ

    View full-size slide