Autoencoderの実装 / Deep Learning Autoencoder

Transcript

1. DL勉強会 Autoencoderの実装 2016/07/23 PSI B4 : 石原祥太郎 1
2. 実行環境 2 Win10 + Anaconda(Python 2.7, 64 bit) + chainer 1.11.0 Data Set: mnist
3. 概要 3 隠れ層(中間層)の数を変化させ、誤差の変化を算出 入力データ 出力データ wj i (1) wj i (2)
4. 4 条件 • 入力データ 28*28=784次元 • 活性化関数: ReLu • Dropout : なし • ノイズ付加: なし • epoch: 30 • 誤差: 最小二乗法で算出 出力データ
5. 5 結果 0 0.002 0.004 0.006 0.008 0.01 0.012 0.014 0 200 400 600 800 1000 バッチごとの平均誤差 中間層の数（層） 中間層の数を変えた時の誤差の推移
6. 6 中間層 n=100, DropOut: 無 上：入力データ 下：出力データ
7. 7 中間層 n=1000, DropOut: 無 上：入力データ 下：出力データ
8. 8 重み の可視化 wj i (1) y = w * x = * m m n n (1)
9. 9 重み の可視化 wj i (2) x = w * y = * m n n (2) ^ m T T T
10. 10 重み の可視化 wj i (1) n=1000, DropOut: 無
11. 11 重み の可視化 wj i (1) n=1000, DropOut: 有 細かい部分が 取れるように なっている
12. 参考 http://qiita.com/kenmatsu4/items/99d4a54d5a57405ecaf8 12 【ディープラーニング】 ChainerでAutoencoderを試して結果を可視化してみる。
13. 13 中間層 n=100, DropOut: 有 上：入力データ 下：出力データ
14. 14 中間層 n=1000, DropOut: 有 上：入力データ 下：出力データ