Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Autoencoderの実装 / Deep Learning Autoencoder

Autoencoderの実装 / Deep Learning Autoencoder

Shotaro Ishihara

July 05, 2018
Tweet

More Decks by Shotaro Ishihara

Other Decks in Programming

Transcript

  1. DL勉強会 Autoencoderの実装 2016/07/23 PSI B4 : 石原祥太郎 1

  2. 実行環境 2 Win10 + Anaconda(Python 2.7, 64 bit) + chainer

    1.11.0 Data Set: mnist
  3. 概要 3 隠れ層(中間層)の数を変化させ、誤差の変化を算出 入力データ 出力データ wj i (1) wj i

    (2)
  4. 4 条件 • 入力データ 28*28=784次元 • 活性化関数: ReLu • Dropout

    : なし • ノイズ付加: なし • epoch: 30 • 誤差: 最小二乗法で算出 出力データ
  5. 5 結果 0 0.002 0.004 0.006 0.008 0.01 0.012 0.014

    0 200 400 600 800 1000 バッチごとの平均誤差 中間層の数(層) 中間層の数を変えた時の誤差の推移
  6. 6 中間層 n=100, DropOut: 無 上:入力データ 下:出力データ

  7. 7 中間層 n=1000, DropOut: 無 上:入力データ 下:出力データ

  8. 8 重み の可視化 wj i (1) y = w *

    x = * m m n n (1)
  9. 9 重み の可視化 wj i (2) x = w *

    y = * m n n (2) ^ m T T T
  10. 10 重み の可視化 wj i (1) n=1000, DropOut: 無

  11. 11 重み の可視化 wj i (1) n=1000, DropOut: 有 細かい部分が

    取れるように なっている
  12. 参考 http://qiita.com/kenmatsu4/items/99d4a54d5a57405ecaf8 12 【ディープラーニング】 ChainerでAutoencoderを試して結果を可視化してみる。

  13. 13 中間層 n=100, DropOut: 有 上:入力データ 下:出力データ

  14. 14 中間層 n=1000, DropOut: 有 上:入力データ 下:出力データ