学習しやすいネットワークガチャ？ 深層学習の「宝くじ仮説」 【VRアカデミア クリスマスリレー】 / VR Lottery Ticket Hypothesis

VRアカデミア クリスマスリレーで投稿した動画で使用したスライドです。深層学習の「宝くじ仮説」の話です。
動画はこちら↓
ニコニコ：https://www.nicovideo.jp/watch/sm39802215
YouTube：https://youtu.be/ge3L5edPtuw

This is the slide used in the video I uploaded at the VR Academia Christmas Relay. It’s about “The Lottery Ticket Hypothesis” of deep learning.
Please see the video at the URL above.

Transcript

1. ֶश͠΍͍͢ωοτϫʔΫΨνϟʁ
   ਂ૚ֶशͷʮๅ͘͡Ծઆʯ
   73ΞΧσϛΞ ΫϦεϚεϦϨʔ
   *$5ܥ৽ׁݝ࢈75VCFS 4,"`T8FC CJO
   1
   ʢσΟϨΫλʔ΁ʣ͜ͷը໘ͷ࣌͸εϥΠυඇදࣔͰɺͼΜͪΌΜେө͠ʹ
   

   View Slide

2. ໨࣍
   2
   ɾ࠷ۙͷ"*ͷτϨϯυ
   ɾχϡʔϥϧωοτϫʔΫ
   ɾๅ͘͡Ծઆͷ֓ཁ
   ɾๅ͘͡ԾઆʹΑΔϞσϧѹॖख๏
   ɾๅ͘͡ԾઆͷՄೳੑͱ໰୊఺
   

   View Slide

3. ࠷ۙͷͭͷτϨϯυ
   3
   ʵ ࠷ۙͷ"*ͷτϨϯυ ʵ
   ੲɿΦοΧϜͷం౛
   ඞཁͳදݱೳྗΛຬͨ͢৔߹ɺϞσϧ͕খ͍͞΄Ͳ൚Խੑೳ͕ߴ͘ͳΔ
   ɾ&EHF"*
   ηϯαʔͰऔಘͨ͠σʔλΛͦͷ৔Ͱղੳ ʢྫʣ'BDF*%
   ɾ
   େن໛Ϟσϧɾ
   େྔσʔλ
   ʢྫʣ#&35ɼ5ɼ(15ɼ7JTJPO5SBOTGPSNFS
   ը૾ɿ40;"*$
   

   View Slide

4. ݩωλ
   4
   ݩ࿦จ
   ɾJonathan Frankle, Michael Carbin,
   “The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks”,
   cs.LG : 1803.03635, ICLR 2019
   ɾ5JBOMPOH$IFO +POBUIBO'SBOLMF 4IJZV $IBOH 4JKJB -JV :BOH;IBOH
   ;IBOHZBOH 8BOH .JDIBFM$BSCJO
   l5IF-PUUFSZ5JDLFU)ZQPUIFTJTGPS1SFUSBJOFE#&35/FUXPSLTz BS9JW
   ͦͷଞࢀߟจݙ
   ɾIUUQTEFFQTRVBSFKQMPUUFSZUJDLFU
   ɾIUUQTMBCPSPBJBDUJWJUZDPMVNOFOHJOFFSๅ͘͡Ծઆ
   

   View Slide

5. ֓ཁ
   5
   ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ
   ཚ਺ͰॳظԽ͞Εͨେ͖ͳχϡʔϥϧωοτϫʔΫʹ͸ɺ
   ͦΕͧΕಠཱʹಉ͡൓෮ճ਺ֶशͤͨ͞ͱ͖ʹɺݩͷ
   ωοτϫʔΫͷςετਫ਼౓ͱಉ౳ʹͳΔΑ͏ͳ෦෼ωο
   τϫʔΫؚ͕·Ε͍ͯΔ
   ๅ͘͡Ծઆɿ
   ը૾ɿΫʔͪΌΜ
   

   View Slide

6. χϡʔϥϧωοτϫʔΫ
   6
   ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ
   

   View Slide

7. ෦෼ωοτϫʔΫ
   7
   ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ
   

   View Slide

8. طଘͷࢬמΓख๏ͱͷҧ͍
   8
   طଘͷࢬמΓख๏
   ɾॏΈͷখ͍͞ͱ͜ΖΛמΕ͹
   খ͍͞ϞσϧΛ࡞ΕΔ
   ɾמͬͨޙʹॏΈΛ
   ࠶ॳظԽ
   ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ
   ๅ͘͡Ծઆʹجͮ͘ࢬמΓख๏
   ʏ
   ɾॳظ஋͕
   ॏཁ
   ɾ࠶ॳظԽ͢Δͱֶश଎౓͕
   ஗͘ͳΓ ਫ਼౓΋ѱ͘ͳͬͨ
   

   View Slide

9. ۩ମྫ
   9
   ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ
   ը૾ೝࣝ
   ɾશ݁߹ܕχϡʔϥϧωοτϫʔΫͱ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ
   ɾׂʙׂͷେ͖͞ͷ౰ͨΓ͕͘͡ଘࡏ
   ɾֶशͷߴ଎Խɺςετਫ਼౓ͷ޲্
   MNIST CIFAR-10
   

   View Slide

10. ۩ମྫ
    10
    ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ
    ɾ#&35Ͱ΋ׂʙׂͷେ͖͞ͷ౰ͨΓ͕͘͡ଘࡏ
    ɾࣄલֶशͷஈ֊Ͱׂͷେ͖͞ʹݮΒͨ͠#&35ϞσϧͰ
    ਫ਼౓Λམͱͣ͞ʹసҠֶशՄೳ
    ࣗવݴޠॲཧ
    

    View Slide

11. ๅ͘͡Ծઆʹجͮ͘ࢬמΓ
    11
    ʵ ๅ͘͡ԾઆʹΑΔϞσϧѹॖख๏ ʵ
    ɽେ͖ͳωοτϫʔΫΛ࡞੒ʢ௨ৗͷཚ਺ॳظԽʣ
    ɽॳظ஋Λอଘʢॏཁʣ
    ɽԿճֶ͔शΛਐΊΔ
    ɽॏΈͷઈର஋ͷখ͍͞ॱʹ೚ҙͷ਺͚ͩࢬמΓ
    ɽࢬמΓޙͷωοτϫʔΫͷॏΈΛॳظ஋ʹ෮ݩ
    ɽ൪ʙ൪Λ೚ҙͷࢬמΓ཰ʹͳΔ·Ͱ܁Γฦ͠
    ˞൪ͷ܁Γฦ͠Λ͠ͳ͍৔߹ɺਫ਼౓͸མͪΔ
    

    View Slide

12. Մೳੑ
    12
    ʵ ๅ͘͡ԾઆͷՄೳੑͱ໰୊఺ ʵ
    ɾֶशੑೳͷ޲্
    ֶश଎౓ɾςετਫ਼౓ɾ൚Խੑೳͷ޲্
    ɾ࠷దͳωοτϫʔΫઃܭ
    λεΫʹԠͨ͡༏Εͨখ͞ͳωοτϫʔΫͷߏ଄ͱॳظ஋͕໌Β͔ʹ
    ɾཧ࿦తͳཧղ
    ·ͩ·ͩχϡʔϥϧωοτϫʔΫ͸ϒϥοΫϘοΫε
    

    View Slide

13. ໰୊఺
    13
    ʵ ๅ͘͡ԾઆͷՄೳੑͱ໰୊఺ ʵ
    ɾখن໛ͳσʔληοτͰͷΈݕূ
    ͔͠͠#&35Ͱͷݕূ݁Ռ΋༗Γ
    ɾࢬמΓ͢Δ·Ͱͷܭࢉྔ͕ଟ͍
    ൓෮ΞϧΰϦζϜͷͨΊ
    ɾ࠷ۙͷϋʔυʹ࠷దԽ͞Ε͍ͯͳ͍
    

    View Slide

14. ·ͱΊ
    14
    ɾେن໛Ϟσϧͱ&EHF"*͕ϒʔϜ
    ɾେن໛Ϟσϧ͸౰ͨΓؚ͕͘͡·ΕΔՄೳੑ͕ߴ͘ɺϋζϨ͘͡෦෼͸ֶश͕
    ਐ·ͳ͍ͨΊɺਫ਼౓΋ྑ͘ɺաֶश΋ى͜͠ʹ͍͘
    ɾๅ͘͡Ծઆʹجͮ͘ࢬמΓͰɺখ͞ͳϞσϧͰ΋େ͖ͳϞσϧͱಉ౳ͷੑೳ
    ɾ&EHF"*ͷ໌Δ͍ະདྷ͸࠷దԽ࣍ୈʁ
    

    View Slide