学習しやすいネットワークガチャ？ 深層学習の「宝くじ仮説」 【VRアカデミア クリスマスリレー】 / VR Lottery Ticket Hypothesis

VRアカデミア クリスマスリレーで投稿した動画で使用したスライドです。深層学習の「宝くじ仮説」の話です。
動画はこちら↓
ニコニコ：https://www.nicovideo.jp/watch/sm39802215
YouTube：https://youtu.be/ge3L5edPtuw

This is the slide used in the video I uploaded at the VR Academia Christmas Relay. It’s about “The Lottery Ticket Hypothesis” of deep learning.
Please see the video at the URL above.

Transcript

1. ֶश͠΍͍͢ωοτϫʔΫΨνϟʁ ਂ૚ֶशͷʮๅ͘͡Ծઆʯ  73ΞΧσϛΞ ΫϦεϚεϦϨʔ *$5ܥ৽ׁݝ࢈75VCFS 4,"`T
   8FC CJO 1 ʢσΟϨΫλʔ΁ʣ͜ͷը໘ͷ࣌͸εϥΠυඇදࣔͰɺͼΜͪΌΜେө͠ʹ
2. ໨࣍ 2 ɾ࠷ۙͷ"*ͷτϨϯυ ɾχϡʔϥϧωοτϫʔΫ ɾๅ͘͡Ծઆͷ֓ཁ ɾๅ͘͡ԾઆʹΑΔϞσϧѹॖख๏ ɾๅ͘͡ԾઆͷՄೳੑͱ໰୊఺
3. ࠷ۙͷͭͷτϨϯυ 3 ʵ ࠷ۙͷ"*ͷτϨϯυ ʵ ੲɿΦοΧϜͷం౛ ඞཁͳදݱೳྗΛຬͨ͢৔߹ɺϞσϧ͕খ͍͞΄Ͳ൚Խੑೳ͕ߴ͘ͳΔ ɾ&EHF
   "* ηϯαʔͰऔಘͨ͠σʔλΛͦͷ৔Ͱղੳ ʢྫʣ'BDF
   *% ɾ େن໛Ϟσϧɾ େྔσʔλ ʢྫʣ#&35ɼ5ɼ(15ɼ7JTJPO
   5SBOTGPSNFS ը૾ɿ40;"*$
4. ݩωλ 4 ݩ࿦จ ɾJonathan Frankle, Michael Carbin, “The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks”, cs.LG : 1803.03635, ICLR 2019 ɾ5JBOMPOH
   $IFO
   +POBUIBO
   'SBOLMF
   4IJZV $IBOH
   4JKJB -JV
   :BOH
   ;IBOH
   ;IBOHZBOH 8BOH
   .JDIBFM
   $BSCJO l5IF
   -PUUFSZ
   5JDLFU
   )ZQPUIFTJT
   GPS
   1SFUSBJOFE
   #&35
   /FUXPSLTz BS9JW  ͦͷଞࢀߟจݙ ɾIUUQTEFFQTRVBSFKQMPUUFSZUJDLFU ɾIUUQTMBCPSPBJBDUJWJUZDPMVNOFOHJOFFSๅ͘͡Ծઆ
5. ֓ཁ 5 ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ ཚ਺ͰॳظԽ͞Εͨେ͖ͳχϡʔϥϧωοτϫʔΫʹ͸ɺ ͦΕͧΕಠཱʹಉ͡൓෮ճ਺ֶशͤͨ͞ͱ͖ʹɺݩͷ ωοτϫʔΫͷςετਫ਼౓ͱಉ౳ʹͳΔΑ͏ͳ෦෼ωο τϫʔΫؚ͕·Ε͍ͯΔ ๅ͘͡Ծઆɿ ը૾ɿΫʔͪΌΜ
6. χϡʔϥϧωοτϫʔΫ 6 ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ
7. ෦෼ωοτϫʔΫ 7 ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ
8. طଘͷࢬמΓख๏ͱͷҧ͍ 8 طଘͷࢬמΓख๏ ɾॏΈͷখ͍͞ͱ͜ΖΛמΕ͹ খ͍͞ϞσϧΛ࡞ΕΔ ɾמͬͨޙʹॏΈΛ ࠶ॳظԽ ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ ๅ͘͡Ծઆʹجͮ͘ࢬמΓख๏ ʏ ɾॳظ஋͕ ॏཁ ɾ࠶ॳظԽ͢Δͱֶश଎౓͕ ஗͘ͳΓ ਫ਼౓΋ѱ͘ͳͬͨ
9. ۩ମྫ 9 ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ ը૾ೝࣝ ɾશ݁߹ܕχϡʔϥϧωοτϫʔΫͱ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ ɾׂʙׂͷେ͖͞ͷ౰ͨΓ͕͘͡ଘࡏ ɾֶशͷߴ଎Խɺςετਫ਼౓ͷ޲্ MNIST CIFAR-10
10. ۩ମྫ 10 ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ ɾ#&35Ͱ΋ׂʙׂͷେ͖͞ͷ౰ͨΓ͕͘͡ଘࡏ ɾࣄલֶशͷஈ֊Ͱׂͷେ͖͞ʹݮΒͨ͠#&35ϞσϧͰ ਫ਼౓Λམͱͣ͞ʹసҠֶशՄೳ ࣗવݴޠॲཧ
11. ๅ͘͡Ծઆʹجͮ͘ࢬמΓ 11 ʵ ๅ͘͡ԾઆʹΑΔϞσϧѹॖख๏ ʵ ɽେ͖ͳωοτϫʔΫΛ࡞੒ʢ௨ৗͷཚ਺ॳظԽʣ ɽॳظ஋Λอଘʢॏཁʣ ɽԿճֶ͔शΛਐΊΔ ɽॏΈͷઈର஋ͷখ͍͞ॱʹ೚ҙͷ਺͚ͩࢬמΓ ɽࢬמΓޙͷωοτϫʔΫͷॏΈΛॳظ஋ʹ෮ݩ ɽ൪ʙ൪Λ೚ҙͷࢬמΓ཰ʹͳΔ·Ͱ܁Γฦ͠ ˞
    ൪ͷ܁Γฦ͠Λ͠ͳ͍৔߹ɺਫ਼౓͸མͪΔ
12. Մೳੑ 12 ʵ ๅ͘͡ԾઆͷՄೳੑͱ໰୊఺ ʵ ɾֶशੑೳͷ޲্ ֶश଎౓ɾςετਫ਼౓ɾ൚Խੑೳͷ޲্ ɾ࠷దͳωοτϫʔΫઃܭ λεΫʹԠͨ͡༏Εͨখ͞ͳωοτϫʔΫͷߏ଄ͱॳظ஋͕໌Β͔ʹ ɾཧ࿦తͳཧղ ·ͩ·ͩχϡʔϥϧωοτϫʔΫ͸ϒϥοΫϘοΫε
13. ໰୊఺ 13 ʵ ๅ͘͡ԾઆͷՄೳੑͱ໰୊఺ ʵ ɾখن໛ͳσʔληοτͰͷΈݕূ ͔͠͠#&35Ͱͷݕূ݁Ռ΋༗Γ ɾࢬמΓ͢Δ·Ͱͷܭࢉྔ͕ଟ͍ ൓෮ΞϧΰϦζϜͷͨΊ ɾ࠷ۙͷϋʔυʹ࠷దԽ͞Ε͍ͯͳ͍
14. ·ͱΊ 14 ɾେن໛Ϟσϧͱ&EHF
    "*͕ϒʔϜ ɾେن໛Ϟσϧ͸౰ͨΓؚ͕͘͡·ΕΔՄೳੑ͕ߴ͘ɺϋζϨ͘͡෦෼͸ֶश͕ ਐ·ͳ͍ͨΊɺਫ਼౓΋ྑ͘ɺաֶश΋ى͜͠ʹ͍͘ ɾๅ͘͡Ծઆʹجͮ͘ࢬמΓͰɺখ͞ͳϞσϧͰ΋େ͖ͳϞσϧͱಉ౳ͷੑೳ ɾ&EHF
    "*ͷ໌Δ͍ະདྷ͸࠷దԽ࣍ୈʁ