【論文紹介】医用画像への転移学習の有効性について Transfusion: Understanding Transfer Learning for Medical Imaging

特に医用画像を対象としたタスクにおいて、ImageNetなどの自然画像から学習したモデルを用いた転移学習がよく行われていますがそれは本当に有効なの？という疑問を検証した論文を紹介します。
結果として、転移学習はパフォーマンスにほとんど影響がなく、収束速度が早くなるという限定的な恩恵であることが明らかになり、さらにこの速度向上は、事前学習されたモデルの重みを使うのではなくその統計量から平均と分散を一致させることによっても十分得られることが新たにわかりました。
他にもいろいろ面白い実験があり、転移学習の実態をよく知ることができる論文です。

Transcript

1. ҩ༻ը૾΁ͷసҠֶश·ͱΊ
   Transfusion:
   Understanding Transfer Learning for Medical
   Imaging
   

   View Slide

2. Uchihashi Kenshi
   uchi_k @wednesdaymuse
   About me
   •yuni, inc CEO
   •Freelance Machine Learning Engineer /
   Researcher
   •xpaper.challenge ӡӦ
   •former ະ౿, ژେ৘ใӃ ੴҪݚڀࣨ),
   FreakOut Machine Learning Engineer
   

   View Slide

3. #Abstract #ImageNet #datasize #global / local tecsture
   ࣗવը૾ͱҩ༻ը૾ʹ͸ଟ͘ͷҧ͍͕͋Δ
   *NBHF/FU SFUJOBMGVOEVTQIPUPHSBQIT $IF9QFSU
   ௨ৗɺҩྍը૾ॲཧλεΫ͸ɺؔ৺ͷ͋Δ਎ମྖҬͷେ͖ͳը૾͔Β
   ࢝·ΓɺපมΛࣝผ͢ΔͨΊʹϩʔΧϧςΫενϟͷόϦΤʔγϣϯ
   Λ࢖༻͍͕ͯ͘͠ɺ͜Ε͸શମతͳओ୊Λಛఆ͍ͨ͠*NBHF/FUͷ
   λεΫͱ͸ର৅త
   ໢ບͷ؟ఈը૾Ͱ͸ɺখ͞ͳԫ৭ͷʮ఺ʯ͕ඍখಈ຺ᚅͱ౶೘පੑ໢
   ບ঱ͷஹީͰ͋Γʢ""0ɺʣɺڳ෦9ઢͰ͸ɺہॴతͳന͍ෆ
   ಁ໌ͳൗ఺͕ѹີͱഏԌͷ௃ީ
   *NBHF/FU͸໿ສຕͷը૾͕͋Δͷʹରͯ͠ɺҩ༻ը૾͸਺ઍʙ
   ਺ेສͷΦʔμʔɻ͔ͭɺʢϩʔΧϧςΫενϟΛ࢖༻͢ΔͨΊʹʣ
   αΠζͷେ͖͍ը૾ͩͬͨΓ͢Δ
   

   View Slide

4. #Abstract #class number #transfer learning
   ࣗવը૾Ͱֶशͨ͠ϞσϧΛҩ༻ը૾ʹసҠֶश͢Δͷ͸ຊ౰ʹ༗ޮʁ
   *NBHF/FU SFUJOBMGVOEVTQIPUPHSBQIT $IF9QFSU
   *NBHF/FU͸Ϋϥε෼ྨ͕ͩɺ౶೘පੑ໢ບ঱਍அ͸Ϋϥε
   Ͱɺ9ઢʹΑΔڳ෦පม਍அ͸ʙΫϥε
   ͦͷΫϥε਺ͷଟ͔͞Βɺඪ४ͷ*NBHF/FUͰ͸ޙஈͷϨΠϠʔʹύ
   ϥϝʔλ͕ूத͓ͯ͠Γɺҩ༻ը૾΁ͷస༻ʹ࠷దͰ͸ͳ͍Մೳੑ͕
   ͋Δ
   ࣗવը૾ͰҰൠతͳ*NBHF/FU͔Βɺҩ༻ը૾ͰҰൠతͳͭͷσʔ
   λʹసҠֶशΛߦ͍ɺਫ਼౓΍ϑΟϧλʔɺֶश଎౓ͳͲͷ؍఺͔Βղ
   ੳͨ͠
   

   View Slide

5. #Conclusion
   ݁࿦͔Βݴ͏ͱ
   సҠֶश͕ඪ४తʹߦΘΕΔͭͷେن໛ͳҩྍ༻ը૾ॲཧλεΫͰɺ
   *NBHF/FUͷඪ४ΞʔΩςΫνϟɺ͓Αͼඪ४Ͱ͸ͳ͍͕খ͘͞γϯ
   ϓϧͳϞσϧϑΝϛϦʔͷύϑΥʔϚϯεΛධՁ
   ˠ*NBHF/FUͰͷਫ਼౓͸͸Δ͔ʹ௿͍ʹ΋͔͔ΘΒͣɺసҠֶशͰύ
   ϑΥʔϚϯε͕େ෯ʹ޲্͢Δ͜ͱ͸ͳ͘ɺখ͞ͳϞσϧ͸ಉ౳ͷύ
   ϑΥʔϚϯεΛൃشͨ͠
   ࣄલֶशࡁΈͷॏΈΛ࢖༻͢ΔͱɺϥϯμϜͳॳظԽͱ͸ҟͳΔֶश
   දݱ͕ಘΒΕΔ͔Ͳ͏͔Λௐࠪ
   ˠϥϯμϜͰ͸ݟΒΕͳ͍(BCPSMJLFͳϑΟϧλʔ͕ಘΒΕ͍ͯΔ
   ͷ͕֬ೝͰ͖ͨɻ͕͜Ε͸ॳظԽ͔࣌ΒసҠֶशʹΑͬͯϞσϧ͕ಈ
   ͔ͳ͔ͬͨʹա͗ͳ͍
   

   View Slide

6. #Conclusion
   ݁࿦͔Βݴ͏ͱ
   సҠֶश͕͋·Γਐ·ͳ͔ͬͨཧ༝Λௐࠪ
   ˠPWFSQBSBNFUSJ[BUJPOͷ݁ՌͰ͋Δͱߟ͑ΒΕΔɻͨͩ͠ɺҙຯ
   ͷ͋Δ෦෼ͷΈநग़͢Δ͜ͱ΋Մೳ
   సҠֶशͷར఺͸ଞʹ΋ͳ͍͔ௐ΂ͯΈͨ
   ˠਫ਼౓͸ಛʹ্͕Βͳ͍͕ΑΓ༏ΕͨεέʔϦϯάͷॏΈ͕ಘΒΕͨ
   ͷʹՃ͑ɺऩଋ଎౓΋্͕ͬͨ
   

   View Slide

7. #Dataset #AUC-ROC
   ࣗવը૾ͱͯ͠*NBHF/FUΛɺҩ༻ը૾ͱͯ͠໢ບը૾ͱڳ෦9ઢը૾ΛऔΓ্͛Δ
   ໢ບը૾ͷσʔληοτͰɺ؟ఈ͔ΒࡱӨͨ͠ºͷը૾ɻ౶
   ೘පੑ໢ບ঱ʢ%3ʣͳͲͷ؟࣬ױͷ਍அʹར༻͞ΕΔɻάϨʔυ
   ͷॱʹॏ঱౓͕ߴ·Γɺ"6$30$Λ༻͍ͯධՁ͞ΕΔ
   *NBHF/FU SFUJOBMGVOEVTQIPUPHSBQIT $IF9QFSU
   SFUJOBMGVOEVTQIPUPHSBQIT
   $IF9QFSU
   ڳ෦9ઢը૾ͷσʔληοτͰɺºͷը૾ɻͭͷҟͳΔڳ෦
   පมʢແؾഏɺ৺ංେɺѹີɺුजɺڳਫʣͷ਍அʹར༻͞ΕΔɻ"6$
   Λ༻͍ͯධՁɻ
   ͖͍͠஋Λ͍Ζ͍Ζม͑ͨͱ͖ͷਅཅੑ
   ͱِཅੑͷׂ߹มԽΛϓϩοτͨ͠΋ͷ
   

   View Slide

8. #Model #ResNet50 #Inception-v3 #CNN
   3FT/FU *ODFQUJPOW ελϯμʔυͳ$//Λύλʔϯ࢖༻
   ҩྍܥసҠֶशͰ࿦จ࣮੷͕͋Δ3FT/FU *ODFQUJPOWΛ࠾༻
   EDPOWPMVUJPO CBUDIOPSNBMJ[BUJPO 3F-6ΛੵΈॏͶΔجຊత
   ͳߏ੒ͷ΋ͷΛ$#3ͱͯ͠ఆٛ͠ɺ*NBHF/FUͷඪ४αΠζͱൺ΂
   ͯ -BSHF
   ΍ 5JOZ
   ͷϞσϧΛ࡞ͬͨ
   

   View Slide

9. #Result #Figure
   సҠֶशʹΑͬͯਫ਼౓޲্͕ݟΒΕΔ͔ʁݩλεΫͰͷਫ਼౓͸ؔ܎͋Δʁ
   ϥϯμϜͱൺֱͯ͠ɺసҠֶशʹΑͬͯਫ਼౓͕ྑ͘ͳͬͯ͸͍ͳ͍
   ݩλεΫͰ͋Δ*NBHF/FUͰͷਫ਼౓΋ɺసҠֶशʹΑΔਫ਼౓޲্ʹ͸
   ແؔ܎ɻٯʹݴ͏ͱɺͳΜͰ΋ͳ͍Α͏ͳϞσϧͰ*NBHF/FU͸ବ໨
   Ͱ΋গͳ͘ͱ΋໢ບσʔλʹؔͯ͠͸DPNQBUJCMF
   Ͱ͸ଞʹసҠֶशʹΑΔϝϦοτ͸ͳʹ͔ͳ͍͔ʁऩଋ଎౓ͱ͔ɾɾɾ
   

   View Slide

10. #Result #Figure
    సҠֶशͱϥϯμϜͰਫ਼౓͕มΘΒͳ͍ͷͰ͋Ε͹ɺಛ௃දݱ΋ಉ͡ʁ
    શͯͷϞσϧʹ͍ͭͯɺϥϯμϜؒͷ$$"ͷํ͕ϥϯμϜసҠֶशؒͷ
    $$"ΑΓߴ͍
    $$"ʢ$BOPOJDBM$PSSFMBUJPO"OBMZTJTʣͰͭͷϞσϧʹ͍ͭͯ
    ֤ϨΠϠʔͷBDUJWBUJPOWFDUPS͔ΒྨࣅੑΛଌΔ
    ਫ਼౓͸ಉ͡Ͱ΋ɺసҠֶशʹΑͬͯಛ௃දݱʹԿΒ͔ͷଌఆՄೳͳมԽ
    ͕ੜ͍ͯ͡ΔʢϞσϧαΠζ΋Өڹ͢Δʣ
    

    View Slide

11. #Result #Figure
    సҠֶशʹΑͬͯྑ͍ಛ௃දݱ͕ಘΒΕ͍ͯΔͱ͍͏ΑΓ͸ɺ
    ୯ʹࣄલֶशͨ͠ॏΈ͕มԽ͍ͯ͠ͳ͍͚ͩͰ͸ʁ
    $$"ʢ$BOPOJDBM$PSSFMBUJPO"OBMZTJTʣͰॳظঢ়ଶͱऩଋޙʹͭ
    ͍֤ͯϨΠϠʔͷBDUJWBUJPOWFDUPS͔ΒྨࣅੑΛଌΔ
    సҠֶश͸ɺ୯ʹϞσϧ͕ॳظঢ়ଶ͔Β΄΅มԽͤͣɺࣄલֶश͞Εͨ
    ॏΈ͕ͦͷ··༻͍ΒΕ͍ͯΔʹա͗ͳ͍ʢͱ͍͏িܸͷࣄ࣮ʣ
    

    View Slide

12. #Figure #weight scaling #Xavier algorithm
    సҠֶशʹ͸ɺֶश͞Εͨಛ௃ͱؔ܎ͳ͘
    ॏΈͷεέʔϦϯά͕վળ͢Δͱ͍͏ϝϦοτ͕͋Δ
    ॏΈͷεέʔϦϯάʹ͸ɺ9BWJFSΞϧΰϦζϜ͕Α͘༻͍ΒΕΔ
    USVODBUFE
    Ψ΢ε෼෍Λ༻͍ͯॳظԽɻO͸ͦΕͧΕ઀ଓ਺ɻ
    ͜Εʹର͠ɺࣄલֶश͞ΕͨॏΈͷฏۉͱ෼ࢄͷΈΛ࢖ͬͯʢpMUFS͸
    શࣺͯͯͯʣˣਖ਼ن෼෍͔ΒJJEʹऔΓग़ͨ͠ॏΈͰॳظԽ͢Δͱɺ
    ࣄલֶश͞ΕͨεέʔϦϯά৘ใͷΈΛอ͍࣋ͯ͠Δ͜ͱͱ౳ՁͰ͋
    Δɻ
    సҠֶशͷॏΈεέʔϦϯάվળͷ෦෼ͷΈΛऔΓग़ͯ͠ɺऩଋ଎౓΁
    ͷد༩Λௐ΂͍ͨ
    

    View Slide

13. #Figure #convergence speed #weight scaling
    సҠֶशٴͼεέʔϦϯάվળʹΑͬͯऩଋ଎౓͕ૣ͘ͳΔ
    ऩଋޙͷ"6$ʹ͸΄ͱΜͲ͕ࠩͳ͍͕ɺసҠֶशΛ͢Δͱ࠷΋ऩଋ͕
    ૣ͘ɺ.FBO7BS*OJUͰ΋ϥϯμϜΑΓ͸͔ͳΓऩଋ͕ૣ͘ͳ͍ͬͯ
    Δ
    εέʔϦϯά৘ใͷΈΛอ࣋ͨ͠.FBO7BS*OJUͰ΋ૣ͘ͳ͍ͬͯΔ
    ͷͰɺऩଋ଎౓ͷߴ଎Խ͸ɺ൒෼͘Β͍͸ॏΈͷεέʔϦϯάͷվળ͔
    Βى͍ͬͯ͜Δͱߟ͑ΒΕΔ
    

    View Slide

14. #Figure #feature extraction
    *NBHF/FU͔ΒͷసҠֶशʹΑͬͯ(BCPSMJLFϑΟϧλʔ͕ಘΒΕΔ
    సҠֶश ϥϯμϜ ॏΈͷεέʔϦϯάͷΈసҠͷͭͰॳஈͷϑΟϧ
    λʔΛՄࢹԽൺֱͨ͠
    *NBHF/FU͔ΒసҠֶशͨ͠৔߹ͷΈ(BCPSMJLFϑΟϧλʔ͕ಘΒ
    Ε͍ͯΔɻεέʔϦϯάͰ͸ಛ௃͕ࣦΘΕΔͷͰ௚ײͱ߹͏
    ͦ΋ͦ΋సҠֶशͰ΄ͱΜͲϞσϧ͕ಈ͍͍ͯͳ͍͚ͩͱࢥΘΕΔɾɾɾ
    ͳͥ͜ͷΑ͏ͳ໰୊͕ൃੜ͢Δͷ͔ʁ
    

    View Slide

15. #Figure #feature re-use
    సҠֶशʹΑͬͯϞσϧ͕ͲΕ͚ͩಈ͔͘ΛධՁ͢Δ
    ઙ͍ϨΠϠʔͰ͸ڑ཭͕୹͘ͳΓʢ࠶ར༻͕ڧ͍ʣɺਂ͍ϨΠϠʔͰ͸
    ڑ཭͕௕͘ͳͬͨʢ࠶ར༻͕ऑ͍ʣ
    εέʔϦϯά৘ใͷΈΛอ࣋ͨ͠.FBO7BS*OJUͰ΋ૣ͘ͳ͍ͬͯΔ
    ͷͰɺऩଋ଎౓ͷߴ଎Խ͸ɺ൒෼͘Β͍͸ॏΈͷεέʔϦϯάͷվળ͔
    Βى͍ͬͯ͜Δͱߟ͑ΒΕΔ
    ॳظԽ͞ΕͨॏΈΛX ऩଋޙͷॏΈΛX5ͱͯ͠ɺˢͷύϥϝʔλؒ
    ਖ਼نԽڑ཭Λܭࢉ͢Δ͜ͱͰϞσϧͷಈ͖ΛධՁ͢Δɻ
    

    View Slide

16. #Figure #weight
    ϨΠϠʔຖͷॏΈมԽΛධՁ͢Δ
    DPOWͰ͸ɺ*NBHF/FUͷࣄલֶशΑΓ΋ϥϯμϜͷํ͕େ͖ͳมԽ
    ͕͋ͬͨͷʹରͯ͠ɺ*NBHF/FUͷࣄલֶश͸ΑΓଟ͘ͷϨΠϠʔͰ
    มԽ
    3FT/FU͕*NBHF/FUͷద੾ͳύϥϝʔλΛ͍࣋ͬͯΔՄೳੑΛ
    ͍ࣔࠦͯ͠Δ͕ɺҩྍλεΫͰ͸PFWSQBSBNFUSJ[FE
    

    View Slide

17. #Conclusion
    ͓࣋ͪؼΓͯ͠΄͍͠஌ݟʢ࠶ܝʣ
    సҠֶश͕ඪ४తʹߦΘΕΔͭͷେن໛ͳҩྍ༻ը૾ॲཧλεΫͰɺ
    *NBHF/FUͷඪ४ΞʔΩςΫνϟɺ͓Αͼඪ४Ͱ͸ͳ͍͕খ͘͞γϯ
    ϓϧͳϞσϧϑΝϛϦʔͷύϑΥʔϚϯεΛධՁ
    ˠ*NBHF/FUͰͷਫ਼౓͸͸Δ͔ʹ௿͍ʹ΋͔͔ΘΒͣɺసҠֶशͰύ
    ϑΥʔϚϯε͕େ෯ʹ޲্͢Δ͜ͱ͸ͳ͘ɺখ͞ͳϞσϧ͸ಉ౳ͷύ
    ϑΥʔϚϯεΛൃشͨ͠
    ࣄલֶशࡁΈͷॏΈΛ࢖༻͢ΔͱɺϥϯμϜͳॳظԽͱ͸ҟͳΔֶश
    දݱ͕ಘΒΕΔ͔Ͳ͏͔Λௐࠪ
    ˠϥϯμϜͰ͸ݟΒΕͳ͍(BCPSMJLFͳϑΟϧλʔ͕ಘΒΕ͍ͯΔ
    ͷ͕֬ೝͰ͖ͨɻ͕͜Ε͸ॳظԽ͔࣌ΒసҠֶशʹΑͬͯϞσϧ͕ಈ
    ͔ͳ͔ͬͨʹա͗ͳ͍
    

    View Slide

18. #Conclusion
    ͓࣋ͪؼΓͯ͠΄͍͠஌ݟʢ࠶ܝʣ
    సҠֶश͕͋·Γਐ·ͳ͔ͬͨཧ༝Λௐࠪ
    ˠPWFSQBSBNFUSJ[BUJPOͷ݁ՌͰ͋Δͱߟ͑ΒΕΔɻͨͩ͠ɺҙຯ
    ͷ͋Δ෦෼ͷΈநग़͢Δ͜ͱ΋Մೳ
    సҠֶशͷར఺͸ଞʹ΋ͳ͍͔ௐ΂ͯΈͨ
    ˠਫ਼౓͸ಛʹ্͕Βͳ͍͕ΑΓ༏ΕͨεέʔϦϯάͷॏΈ͕ಘΒΕͨ
    ͷʹՃ͑ɺऩଋ଎౓΋্͕ͬͨ
    

    View Slide