Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Residual Network.pdf
Search
Keio Computer Society
November 25, 2021
0
120
Residual Network.pdf
Keio Computer Society
November 25, 2021
Tweet
Share
More Decks by Keio Computer Society
See All by Keio Computer Society
20211208.pdf
kcs
0
12
自然言語処理~Primer
kcs
0
94
Graph Neural Network
kcs
0
27
Kaggle上位者解法紹介.pdf
kcs
0
42
Scaling Laws for NL Models
kcs
0
44
音声合成の精度比較.pdf
kcs
0
150
ブロックチェーンによる自律AIのための遺伝的アルゴリズムの検討
kcs
0
25
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
223
9.7k
Building Applications with DynamoDB
mza
95
6.5k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Code Review Best Practice
trishagee
69
19k
Speed Design
sergeychernyshev
32
1k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
Producing Creativity
orderedlist
PRO
346
40k
Transcript
Residual Network (ResNet)
• CNNとは • ResNetの構造、特徴 • まとめ • 参考文献 目次
CNNとは https://note.com/kawashimaken/n/nc27810b609da ・畳み込み層が用いられている ・画像認識に適している
ResNetとは プレーンネットの構造 ResNetの構造 https://deepage.net/deep_learning/2016/11/30/resnet.html ここで足し合わせる
プレーンネットとResNetの比較 プレーンネット ResNet 34層のほうが誤差率が低い 34層の誤差率が低くない https://arxiv.org/pdf/1512.03385.pdf
ResNetの層の数と誤差率 model top-1 エラー top-5 エラー plain 34層 28.54 9.33
ResNet 34層 25.03 7.76 ResNet 50層 22.85 6.71 ResNet 101層 21.75 6.05 ResNet 152層 21.43 5.71 ・ResNetは層をかなり深くしても 精度が上がっている
• ILSVRC2015にて1位を獲得(top5 エラー 3.57%) ResNetの活躍 https://axa.biopapyrus.jp/deep-learning/cnn/image-classification.html
ResNetの活躍 前年までの優勝モデルの層の数と比べるとResNetは圧倒的に多い https://deepage.net/deep_learning/2016/11/30/resnet.html
ResNetの層の数 誤差率(%) 20層 8.75 32層 7.51 44層 7.17 56層 6.97
110層 6.43 1202層 7.93 ResNetの層の数と精度 1202層では過学習を 起こしている https://arxiv.org/pdf/1512.03385.pdf データセット:CIFAR-10
• ResNetにはshortcut connectionsという構造がある • 単純に層を重ねた場合、深くしすぎると精度が落ちる • ResNetはかなり層を深くしても精度がよくなる • ILSVRC 2015で1位を獲得(誤差率
3.57%) まとめ
• https://arxiv.org/pdf/1512.03385.pdf • https://note.com/kawashimaken/n/nc27810b609da • https://deepage.net/deep_learning/2016/11/30/resnet.html • https://axa.biopapyrus.jp/deep-learning/cnn/image- classification.html 参考文献