アレ

アレです

Transcript

1. 計算式についての補足
2. 双葉杏スリーサイズ推定問題補足 • ある線形関数に非線形関数を噛ませると出力になる • = 1 + 2 + ⋯ + • = (()) • こいつが素子 1
3. 双葉杏スリーサイズ推定問題補足 • 非線形関数である素子をいくつか足せば任意の出力が得られる • = 1 + 2 + 3 + ⋯ + (切片) • これがネットワークの出力 2
4. 双葉杏スリーサイズ推定問題補足 • 非線形関数である素子をいくつか足せば任意の出力が得られる • = 1 + 2 + 3 + ⋯ + (切片) • これがネットワークの出力 • 素子と同様に扱いたいのでoutにも関数()を噛ませることが可能 • 今回は噛ませていない(恒等写像g(x)=xとして扱う) 3
5. 双葉杏スリーサイズ推定問題補足 • 1次元の入力/1次元の出力を考える • こんな感じ 4 1 = + 1 1 = 1 + 1 中間層 入力層 出力層
6. 双葉杏スリーサイズ推定問題補足 • 1次元の入力/1次元の出力を考える • こんな感じ • 中間層は増やせる 5 1 = + 1 1 = 1 + 1 中間層 入力層 出力層 2 = 2 + 2 2
7. 双葉杏スリーサイズ推定問題補足 • 1次元の入力/1次元の出力を考える • こんな感じ • 中間層は増やせる • 増やした分1 の項数がふえる 6 1 = + 1 1 = 1 + 2 + 1 中間層 入力層 出力層 2 = 2 + 2 2
8. 双葉杏スリーサイズ推定問題補足 • 1次元の入力/1次元の出力を考える • 中間層を行列で表す 1 2 = 1 2 2 • ある層のドット演算は行列のドット積で一気に表せる( np.dot(x,w) 7 1 = + 1 中間層 入力層 2 = 2 + 2 2 層の素子数 入力数+bias
9. 双葉杏スリーサイズ推定問題補足 • Backprop • 出力層のδを求める式 • δ =′ δ δ • ’と δ δ どうしよう • 先に計算しておこうね 8
10. 双葉杏スリーサイズ推定問題補足 • 活性化関数g(x) = x(恒等写像) • ′ = 1 • 誤差関数E = 二乗誤差 • E = − 2 2 • E = − • δ = − と求められる • 中間層のδも同様にして求める • Tensorflowとかだとこの辺の微分をやってくれるよ 9