Upgrade to Pro — share decks privately, control downloads, hide ads and more …

学習しやすいネットワークガチャ? 深層学習の「宝くじ仮説」 【VRアカデミア クリスマスリレー】 / VR Lottery Ticket Hypothesis

学習しやすいネットワークガチャ? 深層学習の「宝くじ仮説」 【VRアカデミア クリスマスリレー】 / VR Lottery Ticket Hypothesis

VRアカデミア クリスマスリレーで投稿した動画で使用したスライドです。深層学習の「宝くじ仮説」の話です。
動画はこちら↓
ニコニコ:https://www.nicovideo.jp/watch/sm39802215
YouTube:https://youtu.be/ge3L5edPtuw

This is the slide used in the video I uploaded at the VR Academia Christmas Relay. It’s about “The Lottery Ticket Hypothesis” of deep learning.
Please see the video at the URL above.

SKA’s Web

December 25, 2021
Tweet

More Decks by SKA’s Web

Other Decks in Programming

Transcript

  1. ֶश͠΍͍͢ωοτϫʔΫΨνϟʁ ਂ૚ֶशͷʮๅ͘͡Ծઆʯ  73ΞΧσϛΞ ΫϦεϚεϦϨʔ *$5ܥ৽ׁݝ࢈75VCFS 4,"`T8FC CJO 1 ʢσΟϨΫλʔ΁ʣ͜ͷը໘ͷ࣌͸εϥΠυඇදࣔͰɺͼΜͪΌΜେө͠ʹ

  2. ໨࣍ 2 ɾ࠷ۙͷ"*ͷτϨϯυ ɾχϡʔϥϧωοτϫʔΫ ɾๅ͘͡Ծઆͷ֓ཁ ɾๅ͘͡ԾઆʹΑΔϞσϧѹॖख๏ ɾๅ͘͡ԾઆͷՄೳੑͱ໰୊఺

  3. ࠷ۙͷͭͷτϨϯυ 3 ʵ ࠷ۙͷ"*ͷτϨϯυ ʵ ੲɿΦοΧϜͷం౛ ඞཁͳදݱೳྗΛຬͨ͢৔߹ɺϞσϧ͕খ͍͞΄Ͳ൚Խੑೳ͕ߴ͘ͳΔ ɾ&EHF"* ηϯαʔͰऔಘͨ͠σʔλΛͦͷ৔Ͱղੳ ʢྫʣ'BDF*%

    ɾ େن໛Ϟσϧɾ େྔσʔλ ʢྫʣ#&35ɼ5ɼ(15ɼ7JTJPO5SBOTGPSNFS ը૾ɿ40;"*$
  4. ݩωλ 4 ݩ࿦จ ɾJonathan Frankle, Michael Carbin, “The Lottery Ticket

    Hypothesis: Finding Sparse, Trainable Neural Networks”, cs.LG : 1803.03635, ICLR 2019 ɾ5JBOMPOH$IFO +POBUIBO'SBOLMF 4IJZV $IBOH 4JKJB -JV :BOH;IBOH  ;IBOHZBOH 8BOH .JDIBFM$BSCJO l5IF-PUUFSZ5JDLFU)ZQPUIFTJTGPS1SFUSBJOFE#&35/FUXPSLTz BS9JW  ͦͷଞࢀߟจݙ ɾIUUQTEFFQTRVBSFKQMPUUFSZUJDLFU ɾIUUQTMBCPSPBJBDUJWJUZDPMVNOFOHJOFFSๅ͘͡Ծઆ
  5. ֓ཁ 5 ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ ཚ਺ͰॳظԽ͞Εͨେ͖ͳχϡʔϥϧωοτϫʔΫʹ͸ɺ ͦΕͧΕಠཱʹಉ͡൓෮ճ਺ֶशͤͨ͞ͱ͖ʹɺݩͷ ωοτϫʔΫͷςετਫ਼౓ͱಉ౳ʹͳΔΑ͏ͳ෦෼ωο τϫʔΫؚ͕·Ε͍ͯΔ ๅ͘͡Ծઆɿ

    ը૾ɿΫʔͪΌΜ
  6. χϡʔϥϧωοτϫʔΫ 6 ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ

  7. ෦෼ωοτϫʔΫ 7 ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ

  8. طଘͷࢬמΓख๏ͱͷҧ͍ 8 طଘͷࢬמΓख๏ ɾॏΈͷখ͍͞ͱ͜ΖΛמΕ͹ খ͍͞ϞσϧΛ࡞ΕΔ ɾמͬͨޙʹॏΈΛ ࠶ॳظԽ ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ

    ๅ͘͡Ծઆʹجͮ͘ࢬמΓख๏ ʏ ɾॳظ஋͕ ॏཁ ɾ࠶ॳظԽ͢Δͱֶश଎౓͕ ஗͘ͳΓ ਫ਼౓΋ѱ͘ͳͬͨ
  9. ۩ମྫ 9 ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ ը૾ೝࣝ ɾશ݁߹ܕχϡʔϥϧωοτϫʔΫͱ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ ɾׂʙׂͷେ͖͞ͷ౰ͨΓ͕͘͡ଘࡏ ɾֶशͷߴ଎Խɺςετਫ਼౓ͷ޲্ MNIST

    CIFAR-10
  10. ۩ମྫ 10 ʵ ๅ͘͡Ծઆͷ֓ཁ ʵ ɾ#&35Ͱ΋ׂʙׂͷେ͖͞ͷ౰ͨΓ͕͘͡ଘࡏ ɾࣄલֶशͷஈ֊Ͱׂͷେ͖͞ʹݮΒͨ͠#&35ϞσϧͰ ਫ਼౓Λམͱͣ͞ʹసҠֶशՄೳ ࣗવݴޠॲཧ

  11. ๅ͘͡Ծઆʹجͮ͘ࢬמΓ 11 ʵ ๅ͘͡ԾઆʹΑΔϞσϧѹॖख๏ ʵ ɽେ͖ͳωοτϫʔΫΛ࡞੒ʢ௨ৗͷཚ਺ॳظԽʣ ɽॳظ஋Λอଘʢॏཁʣ ɽԿճֶ͔शΛਐΊΔ ɽॏΈͷઈର஋ͷখ͍͞ॱʹ೚ҙͷ਺͚ͩࢬמΓ ɽࢬמΓޙͷωοτϫʔΫͷॏΈΛॳظ஋ʹ෮ݩ

    ɽ൪ʙ൪Λ೚ҙͷࢬמΓ཰ʹͳΔ·Ͱ܁Γฦ͠ ˞൪ͷ܁Γฦ͠Λ͠ͳ͍৔߹ɺਫ਼౓͸མͪΔ
  12. Մೳੑ 12 ʵ ๅ͘͡ԾઆͷՄೳੑͱ໰୊఺ ʵ ɾֶशੑೳͷ޲্ ֶश଎౓ɾςετਫ਼౓ɾ൚Խੑೳͷ޲্ ɾ࠷దͳωοτϫʔΫઃܭ λεΫʹԠͨ͡༏Εͨখ͞ͳωοτϫʔΫͷߏ଄ͱॳظ஋͕໌Β͔ʹ ɾཧ࿦తͳཧղ

    ·ͩ·ͩχϡʔϥϧωοτϫʔΫ͸ϒϥοΫϘοΫε
  13. ໰୊఺ 13 ʵ ๅ͘͡ԾઆͷՄೳੑͱ໰୊఺ ʵ ɾখن໛ͳσʔληοτͰͷΈݕূ ͔͠͠#&35Ͱͷݕূ݁Ռ΋༗Γ ɾࢬמΓ͢Δ·Ͱͷܭࢉྔ͕ଟ͍ ൓෮ΞϧΰϦζϜͷͨΊ ɾ࠷ۙͷϋʔυʹ࠷దԽ͞Ε͍ͯͳ͍

  14. ·ͱΊ 14 ɾେن໛Ϟσϧͱ&EHF"*͕ϒʔϜ ɾେن໛Ϟσϧ͸౰ͨΓؚ͕͘͡·ΕΔՄೳੑ͕ߴ͘ɺϋζϨ͘͡෦෼͸ֶश͕ ਐ·ͳ͍ͨΊɺਫ਼౓΋ྑ͘ɺաֶश΋ى͜͠ʹ͍͘ ɾๅ͘͡Ծઆʹجͮ͘ࢬמΓͰɺখ͞ͳϞσϧͰ΋େ͖ͳϞσϧͱಉ౳ͷੑೳ ɾ&EHF"*ͷ໌Δ͍ະདྷ͸࠷దԽ࣍ୈʁ