Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
アレ
Search
h1dia
March 21, 2017
Technology
0
110
アレ
アレです
h1dia
March 21, 2017
Tweet
Share
More Decks by h1dia
See All by h1dia
CTRL - 2016/03/02 DP勉強会
h1dia
0
140
slide
h1dia
0
170
Other Decks in Technology
See All in Technology
コードや知識を組み込む / Incorporate Code and knowledge
ks91
PRO
0
150
BPStudyの200回を中心にIT業界を振り返る。そしてこれから
haru860
3
410
障害対応をちょっとずつよくしていくための 演習の作りかた
heleeen
1
1.7k
KubeConにproposalを送りたい人へのアドバイス
sat
PRO
3
270
TechFeed Experts Night#27 〜 フロントエンドフレームワーク最前線 (Svelte)
baseballyama
2
590
よく聞くけど使ったことないソフトウェアNo.1 KafkaとSnowflake
foursue
4
510
【NW X Security JAWS#3】L3-4:AWS環境のIPv6移行に向けて知っておきたいこと
shotashiratori
1
630
Handling focus in 2024
tahia910
0
220
実例で紹介するRAG導入時の知見と精度向上の勘所
yamahiro
5
1.6k
20分で完全に理解するGrafanaダッシュボード
hamadakoji
5
890
いつか使うかも貯金してたらめちゃめちゃ機能が増えてた話
riyaamemiya
0
620
Google Cloud Next '24 Recap(Cloud Run/k8s)
mokocm
0
330
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
92
4.8k
Pencils Down: Stop Designing & Start Developing
hursman
117
11k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
123
39k
Typedesign – Prime Four
hannesfritz
36
2.1k
Mobile First: as difficult as doing things right
swwweet
217
8.6k
Building Your Own Lightsaber
phodgson
100
5.7k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
117
18k
What's new in Ruby 2.0
geeforr
337
31k
GraphQLとの向き合い方2022年版
quramy
33
12k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
275
13k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
22
1.6k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.9k
Transcript
計算式についての補足
双葉杏スリーサイズ推定問題補足 • ある線形関数に非線形関数を噛ませると出力になる • = 1 + 2 + ⋯
+ • = (()) • こいつが素子 1
双葉杏スリーサイズ推定問題補足 • 非線形関数である素子をいくつか足せば任意の出力が得られる • = 1 + 2 + 3
+ ⋯ + (切片) • これがネットワークの出力 2
双葉杏スリーサイズ推定問題補足 • 非線形関数である素子をいくつか足せば任意の出力が得られる • = 1 + 2 + 3
+ ⋯ + (切片) • これがネットワークの出力 • 素子と同様に扱いたいのでoutにも関数()を噛ませることが可能 • 今回は噛ませていない(恒等写像g(x)=xとして扱う) 3
双葉杏スリーサイズ推定問題補足 • 1次元の入力/1次元の出力を考える • こんな感じ 4 1 = + 1
1 = 1 + 1 中間層 入力層 出力層
双葉杏スリーサイズ推定問題補足 • 1次元の入力/1次元の出力を考える • こんな感じ • 中間層は増やせる 5 1 =
+ 1 1 = 1 + 1 中間層 入力層 出力層 2 = 2 + 2 2
双葉杏スリーサイズ推定問題補足 • 1次元の入力/1次元の出力を考える • こんな感じ • 中間層は増やせる • 増やした分1 の項数がふえる
6 1 = + 1 1 = 1 + 2 + 1 中間層 入力層 出力層 2 = 2 + 2 2
双葉杏スリーサイズ推定問題補足 • 1次元の入力/1次元の出力を考える • 中間層を行列で表す 1 2 = 1 2
2 • ある層のドット演算は行列のドット積で一気に表せる( np.dot(x,w) 7 1 = + 1 中間層 入力層 2 = 2 + 2 2 層の素子数 入力数+bias
双葉杏スリーサイズ推定問題補足 • Backprop • 出力層のδを求める式 • δ =′ δ δ
• ’と δ δ どうしよう • 先に計算しておこうね 8
双葉杏スリーサイズ推定問題補足 • 活性化関数g(x) = x(恒等写像) • ′ = 1 •
誤差関数E = 二乗誤差 • E = − 2 2 • E = − • δ = − と求められる • 中間層のδも同様にして求める • Tensorflowとかだとこの辺の微分をやってくれるよ 9