Tweet
Tweet

Slide 1

Slide 1 text

DL勉強会 Autoencoderの実装 2016/07/23 PSI B4 : 石原祥太郎 1

Slide 2

Slide 2 text

実行環境 2 Win10 + Anaconda(Python 2.7, 64 bit) + chainer 1.11.0 Data Set: mnist

Slide 3

Slide 3 text

概要 3 隠れ層(中間層)の数を変化させ、誤差の変化を算出 入力データ 出力データ wj i (1) wj i (2)

Slide 4

Slide 4 text

4 条件 • 入力データ 28*28=784次元 • 活性化関数: ReLu • Dropout : なし • ノイズ付加: なし • epoch: 30 • 誤差: 最小二乗法で算出 出力データ

Slide 5

Slide 5 text

5 結果 0 0.002 0.004 0.006 0.008 0.01 0.012 0.014 0 200 400 600 800 1000 バッチごとの平均誤差 中間層の数（層） 中間層の数を変えた時の誤差の推移

Slide 6

Slide 6 text

6 中間層 n=100, DropOut: 無 上：入力データ 下：出力データ

Slide 7

Slide 7 text

7 中間層 n=1000, DropOut: 無 上：入力データ 下：出力データ

Slide 8

Slide 8 text

8 重み の可視化 wj i (1) y = w * x = * m m n n (1)

Slide 9

Slide 9 text

9 重み の可視化 wj i (2) x = w * y = * m n n (2) ^ m T T T

Slide 10

Slide 10 text

10 重み の可視化 wj i (1) n=1000, DropOut: 無

Slide 11

Slide 11 text

11 重み の可視化 wj i (1) n=1000, DropOut: 有 細かい部分が 取れるように なっている

Slide 12

Slide 12 text

参考 http://qiita.com/kenmatsu4/items/99d4a54d5a57405ecaf8 12 【ディープラーニング】 ChainerでAutoencoderを試して結果を可視化してみる。

Slide 13

Slide 13 text

13 中間層 n=100, DropOut: 有 上：入力データ 下：出力データ

Slide 14

Slide 14 text

14 中間層 n=1000, DropOut: 有 上：入力データ 下：出力データ