2017-deep-learning-and-psychology-gakushuin-05

心理学特殊講義（深層学習の心理学的解釈）第5回 2017年05月19日

Transcript

1. 1 連絡事項 2 連絡事項 3 連絡事項 4 本日(2017 年5 月19 日) のメニューとキーワード 5 実演 6 実演2 7 2 チェインルール 8 4.1 活性化関数 9 ネオコグニトロン( 再) 10 LeNet5(1998) 11 AlexNet(2012) 12 GoogLeNet(2014) 13 GoogLeNet(2014) 14 GoogLeNet(2014) #2 15 SPP(2014) 16 ResNet(He et al.,2015) 17 from ICLR2017(Zoph et al.,2017) 18 That remains me one of the famous studies, Fellman and Van Essen (1991) 19 LeCun 1. piazza に参加してください. https://piazza.com/ 2. 来週 5 月29 日は 休講 休講分は補講を行います 1. piazza に参加してください. https://piazza.com/ 2. 来週 5 月29 日は 休講 休講分は補講を行います 1. piazza に参加してください. https://piazza.com/ 2. 来週 5 月29 日は 休講 休講分は補講を行います 深層学習の心理学的解釈 浅川伸一 19/Mar/2017 1 連絡事項 2 連絡事項 2.1 駄菓子菓子 3 連絡事項
2. 詳しくは口頭で 1. 実演 convnet.js, google playground 2. チェインルール chain rule ( 合成関数の微分法) 3. 勾配消失問題( 再) Gradient Vanishing problems と信用割当問題 credit assignment problems 4. 非線形活性化関数 non-linear activation functions 5. バーニーおじさんのルール Uncle Bernie's rule ( 再) 過学習 overlearning と正則化 regularization 6. 畳み込みニューラルネットワーク Convolutional neural networks (Neo)Cognition(Fukushima, 1979), LeNet5(1998), AlexNet(2012), ZFNet(2013), GoogLeNet(2014), VGG(2014), ResNet(2015) 畳み込み演算 convolution ，プーリング pooling ，ストライド stride ，パディング padding TensorFlow playground http://playground.tensorflow.org/ Convnet.js http://cs.stanford.edu/people/karpathy/convnetjs/ マイクロソフトのキャプションボット https://www.captioinbot.ai Alex graves, 手書き文字生成 http://www.cs.toronto.edu/~graves/handwriting.html] Ink Poster: Handwritten post-it notes http://www.inkposter.com/? prisma http://touchlab.jp/2016/07/prisma_app_review/ pix2pix https://affinelayer.com/pixsrv/ すぎゃーんさんのブログ http://memo.sugyan.com/entry/2016/11/28/131952 1. 多項回帰による過学習のデモ 図 1: Image 1. scikit learn の uderfitting vs. overfitting 2. ロジスティック回帰とML の比較 file:///Users/asakawa/study/2017rnn_book/asa_mlp.ipnb file:///Users/asakawa/study/2017rnn_book/asa_mlp3.ipnb 3.1 駄菓子菓子 4 本日(2017 年5 月19 日) のメニューとキーワード 5 実演 5.0.1 Piazza にスクショ貼るのが本日の出席の替わり 6 実演2
3. 合成関数の微分公式 もし が の関数だったら もし， が の関数で が の関数だったら，上の 連鎖を辿ることが可能。 図 2: ステップ関数 N.B. It is not differentiable. logistic sigmoid function ロジスティックシグモイド関数 ハイパータンジェント関数 ReLU Rectified linear function 整流線形関数 7 2 チェインルール f(x 2 ) = 2x, (1) d dx x g(y) f(x) = f (g (y)) = ( g (y)) = , (2) d dx d dx df dx d dy df dx dg dy y hn hn hn−1 f (hn−x ) = ⋅ ⋅ ⋯ ⋅ . (3) d dhn−x dy dhn hn dhn−1 h n−x+1 dhn−x 7.1 3 信用割当問題 7.1.1 4. 活性化関数( 旧) an activation function y = sign ( N ∑ i=1 wi xi + b) (4) 8 4.1 活性化関数 σ(x) = (1 + e −x ) −1 (5) ϕ(x) = (6) e x − e −x ex + e−x ReLU (x) = max (0, x) (7) log(1 + e x ) f(x) = log(1 + e x ) (8) 8.0.1 活性化関数のグラフ
4. 図 3: 種々の活性化関数 Convolution is an operation from signal processing Filters, or kernels in machine learning, 理解を深めるためには have a look at http://colah.github.io/posts/2014-07-Understanding-Convolutions/ 1959 Receptive Fields of Single Neurones in the Cat's Striate Cortex 1962 Receptive Fields, Binocular Interaction and Functional Architecture in the Cat's Visual Cortex 1968 8.0.2 PDP book (1986) chapter 8 Figure 2 排他的論理和の別解 8.0.3 畳み込み演算 What is convolution? f ∗ g(t) = ∑ a+b=t f(t) ⋅ g(t) (9) f ∗ g(t) = ∑ a f(t) ⋅ g(t − a) (10) f ∗ g(t) = ∑ f(τ ) ⋅ g(t − τ ) (11) f ∗ g(t) = ∫ f(τ )g(t − τ ) dτ (12) 8.1 Hubel and Wiesel, a series of studies
5. Input Volume (+pad 1) (7x7x3) x[:,:,0] 0 0 0 0 0 0 0 0 1 1 0 1 1 0 0 2 2 1 0 0 0 0 2 2 2 1 0 0 0 1 1 1 1 0 0 0 2 0 0 1 1 0 0 0 0 0 0 0 0 x[:,:,1] 0 0 0 0 0 0 0 0 2 2 2 0 1 0 0 1 2 0 2 1 0 0 0 2 0 1 2 0 0 2 2 2 2 0 0 0 2 1 1 1 2 0 0 0 0 0 0 0 0 x[:,:,2] 0 0 0 0 0 0 0 2 2 0 2 1 0 0 0 1 1 1 0 0 2 2 1 0 0 1 1 1 0 2 0 1 1 1 0 0 0 0 0 0 0 0 Filter W0 (3x3x3) w0[:,:,0] 1 1 0 -1 1 -1 1 0 -1 w0[:,:,1] 1 0 0 1 1 0 -1 -1 -1 w0[:,:,2] 1 1 0 -1 -1 1 -1 0 0 Bias b0 (1x1x1) b0[:,:,0] 1 Filter W1 (3x3x3) w1[:,:,0] 0 0 0 0 0 0 1 0 0 w1[:,:,1] -1 0 0 0 0 1 -1 -1 1 w1[:,:,2] -1 -1 -1 0 1 1 -1 1 -1 Bias b1 (1x1x1) b1[:,:,0] 0 toggle movement 8.2 Demo 8.3 ImageNet の結果( 再々)
6. 図 4: ImageNet 結果( 再) However, Neocognitrons (Fukushima, 1979, 1980,...) did not have any back-prop methods. 図 5: LeNet5(LeCun, 1998) 9 ネオコグニトロン( 再) 10 LeNet5(1998) 11 AlexNet(2012)
7. 図 6: AlexNet(Krizensky, 2012) First author の first name が Alex なので AlexNet と呼ぶ。 図 7: GoogLeNet Goog{L}e{N}et と綴るのは LeNet へのオマージュ，レスペクト 図 8: GoogLeNet Inception But, why is this model called as Inception? 12 GoogLeNet(2014) 13 GoogLeNet(2014) 14 GoogLeNet(2014) #2
8. 図 9: ハリウッド映画 Inception の1 シーン この俳優さんは，潜ったり，沈んだり( 沈没) すると興行成績が上がるのかしら？lol 1:18:00 図 10: SPP 15 SPP(2014) 16 ResNet(He et al.,2015)
9. 図 11: Zoph 図 12: Ellman Van Essen (1991) Fig.1 17 from ICLR2017(Zoph et al.,2017) 18 That remains me one of the famous studies, Fellman and Van Essen (1991) 19 LeCun
10. 図 13: Decapurio, inception http://videos.re-work.co/videos/271-generative-adversarial-networks Curiosity-driven Exploration by Self-supervised Prediction Curiosity Driven Exploration by Self-Supervised Prediction 19.1 まとめ 19.2 おまけ 19.2.1 What is ML
11. 図 14: https://xkcd.com