Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
宝くじ仮説の話を少し / LT Lottery Ticket Hypothesis
SKA’s Web
November 14, 2021
Programming
0
130
宝くじ仮説の話を少し / LT Lottery Ticket Hypothesis
Python機械学習勉強会 in 新潟のLTの資料です。深層学習の「宝くじ仮説」について少しだけ話します。
SKA’s Web
November 14, 2021
Tweet
Share
More Decks by SKA’s Web
See All by SKA’s Web
学習しやすいネットワークガチャ? 深層学習の「宝くじ仮説」 【VRアカデミア クリスマスリレー】 / VR Lottery Ticket Hypothesis
skasweb
1
74
自然言語処理の基本 / Basic of Natural Language Processing
skasweb
0
150
AIとクラスター分析について自作アイテムを用いて解説してみた 【VRアカデミア3周年カウントダウン】 / Explaining AI and Cluster Analysis Using My Item
skasweb
0
97
Other Decks in Programming
See All in Programming
OSS貢献を気軽にしたい Let's Go Talk #1
yuyaabo
2
230
アジャイルで不確実性に向き合うための開発タスクの切り方
tanden
4
1.1k
フロントエンドエンジニアが変える現場のモデリング意識/modeling-awareness-changed-by-front-end-engineers
uggds
32
13k
AWS Config Custom Rule、ノーコードでできるかな?
watany
0
250
Google I/O 2022 Android関連概要 / Google I/O 2022 Android summary
phicdy
0
360
閱讀原始碼 - 再戰十年的 jQuery
eddie
1
280
Licences open source : entre guerre de clochers et radicalité
pylapp
2
550
10歳の minne から、これから長く続くプロダクトを作るすべての人へ
tsumichan
9
3.6k
Google IO 2022 社内LT会 / What's new in Android development tools
shingo_kobayashi
0
380
Haskellでオブジェクト指向プログラミング
koheisakata
0
170
Introduction to Property-Based Testing @ COSCUP 2022
cybai
1
150
パラメタライズドテスト
ledsun
0
220
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
6
560
Rails Girls Zürich Keynote
gr2m
87
12k
Bootstrapping a Software Product
garrettdimon
296
110k
Navigating Team Friction
lara
175
11k
The Pragmatic Product Professional
lauravandoore
19
3.1k
Fashionably flexible responsive web design (full day workshop)
malarkey
396
62k
VelocityConf: Rendering Performance Case Studies
addyosmani
316
22k
The Brand Is Dead. Long Live the Brand.
mthomps
46
2.7k
Learning to Love Humans: Emotional Interface Design
aarron
261
37k
Creatively Recalculating Your Daily Design Routine
revolveconf
207
10k
Ruby is Unlike a Banana
tanoku
91
9.3k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
237
19k
Transcript
͍ۙͷͰʮๅ͘͡ԾઆʯͷΛগ͠ 1ZUIPOػցֶशษڧձ JO৽ׁ ৽ׁݝ࢈75VCFS 4,"`T8FC CJO 1
ࢿྉͷϦϯΫͱࢀߟจݙ 2 IUUQTTQFBLFSEFDLDPNTLBTXFCMUMPUUFSZUJDLFUIZQPUIFTJT ࢀߟจݙ ɾIUUQTEFFQTRVBSFKQMPUUFSZUJDLFU ɾIUUQTMBCPSPBJBDUJWJUZDPMVNOFOHJOFFSๅ͘͡Ծઆ ݩจ ɾJonathan Frankle, Michael
Carbin, “The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks”, cs.LG : 1803.03635, ICLR 2019 ɾ5JBOMPOH$IFO +POBUIBO'SBOLMF 4IJZV $IBOH 4JKJB -JV :BOH;IBOH ;IBOHZBOH 8BOH .JDIBFM$BSCJO l5IF-PUUFSZ5JDLFU)ZQPUIFTJTGPS1SFUSBJOFE#&35/FUXPSLTz
5XJUUFS࿈ܞ 3 #pyml_niigata ͰͭͿ͘ͱʜʜ
࢈ۀ 4 ɾ ڊେ ͳϞσϧʢ#&35ɺ5ɺFUDʣ͕ͳͥਫ਼ྑ͍ͷ͔ʁ ɾύϥϝʔλʔ͕ଟ͍΄ͲΨνϟ͕͋ͨΔʂʁ ɾԠ༻͢Δͱ&EHF"*Ͱߴਫ਼ͳϞσϧΛಈ͔ͤΔʁ
ڊେͳϞσϧ 5
ڊେͳϞσϧ 6 ɾ͜ΜͳʹେྔͷύϥϝʔλʔΛ͏·͘ߋ৽͢Δ͜ͱͰ͖Δͷʁ ɾաֶश͠ͳ͍ͷʁ ๅ͘͡Ծઆ
ๅ͘͡Ծઆ 7 ɾχϡʔϥϧωοτϫʔΫॳظͷॏΈ͕ཚ ɾ࠷ॳ͔Β͍͍ײ͡ʹֶशՄೳͳ෦ωοτϫʔΫ͕͋Δ ɾ͋ͨΓ͘͡ωοτϫʔΫΛத৺ʹֶश͞ΕΔ ɾͣΕ͘͡ωοτϫʔΫࢬמΓͯ͠ਫ਼΄΅མͪͳ͍ ɾ#&35Ͱׂʙׂͷলύϥϝʔλʔ͕Մೳʢʁʣ ɾߴʹֶशɺਪ͕Ͱ͖Δ ɾ&EHF"*Ͱಈ͔ͤΔʁ
Ϟσϧͷݮ 8 ʢ·ͩௐ͍ͯ·ͤΜ PS[ ʣ ʢʣʹಈըߘ͠·͢ ʢࠓ͙͢Γ͍ͨΜ͚ͩͲͬͯਓࢀߟจݙݩจΛಡΜͰΈ͍ͯͩ͘͞ʣ
·ͱΊ 9 ɾχϡʔϥϧωοτϫʔΫͷॳظͷॏΈཚ ɾ͋ͨΓωοτϫʔΫͱͣΕωοτϫʔΫ͕͋Δ ɾ࿈ΨνϟͰͨΒͳ͍ʁ ԯ࿈͘Β͍Ε͚ͬ͜͏ͨΔΑʂ ɾ͍ͬͯ͏ͷ͕࠷ۙͷ ڊେϞσϧʢ#&35ɺ5ɺFUDʣ ɾͣΕωοτϫʔΫΛࢬמΓ͢Εগͳ͍ετϨʔδͰߴʹਪͰ͖Δ ɾ͡Ό͋Ͳ͏Δͷʁ
ˠ ·ͨࠓͳʂ
ࢿྉͷϦϯΫͱࢀߟจݙ 10 IUUQTTQFBLFSEFDLDPNTLBTXFC΄͛΄͛ ࢀߟจݙ ɾIUUQTEFFQTRVBSFKQMPUUFSZUJDLFU ɾIUUQTMBCPSPBJBDUJWJUZDPMVNOFOHJOFFSๅ͘͡Ծઆ ݩจ ɾJonathan Frankle, Michael
Carbin, “The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks”, cs.LG : 1803.03635, ICLR 2019 ɾ5JBOMPOH$IFO +POBUIBO'SBOLMF 4IJZV $IBOH 4JKJB -JV :BOH;IBOH ;IBOHZBOH 8BOH .JDIBFM$BSCJO l5IF-PUUFSZ5JDLFU)ZQPUIFTJTGPS1SFUSBJOFE#&35/FUXPSLTz