Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Autoencoderの実装 / Deep Learning Autoencoder
Search
Shotaro Ishihara
July 05, 2018
Programming
0
1.6k
Autoencoderの実装 / Deep Learning Autoencoder
Shotaro Ishihara
July 05, 2018
Tweet
Share
More Decks by Shotaro Ishihara
See All by Shotaro Ishihara
「極意本」サンプルコードをクラウド上で動かそう
upura
1
1.8k
論文紹介: Generating News-Centric Crossword Puzzles As A Constraint Satisfaction and Optimization Problem
upura
0
170
関東 Kaggler 会スポンサー資料
upura
0
1.4k
論文紹介 Quantifying attention via dwell time and engagement in a social media browsing environment / web-socialmedia-study-8th
upura
0
180
Quantifying Diachronic Language Change via Word Embeddings: Analysis of Social Events using 11 Years News Articles in Japanese and English
upura
1
360
Training Data Extraction From Pre-trained Language Models: A Survey
upura
0
190
論文紹介 Discovering and Categorising Language Biases in Reddit / web-socialmedia-study-5th
upura
0
280
AMA (Ask me anything) 『Kaggleに挑む深層学習プログラミングの極意』 / Ask me anything
upura
0
250
著者による書籍紹介『Kaggleに挑む深層学習プログラミングの極意』
upura
2
2k
Other Decks in Programming
See All in Programming
GraphQLサーバの構成要素を整理する #ハッカー鮨 #tsukijigraphql / graphql server technology selection
izumin5210
4
900
"config" ってなんだ? / What is "config"?
okashoi
0
310
Milestoner
bkuhlmann
1
410
MetricKitで予期せぬ終了を検知する話 / Detect unexpected termination with MetricKit
nekowen
1
200
単体テストを書かない技術 #phpcon_odawara
o0h
PRO
27
8.5k
What We Can Learn From OSS
inouehi
0
440
Tailwind CSSを本気でカスタマイズする方法
fsubal
14
5.5k
Git Lint
bkuhlmann
4
760
Compose-View Interop in Practice (mDevCamp 2024)
stewemetal
0
170
#phpcon_odawara オープン・クローズドなテストフィクスチャを求めて / open closed test fixtures
77web
3
240
Fragment Composition of GraphQL
quramy
13
1.4k
サイコロで理解する統計的仮説検定の考え方
tatamiya
4
1k
Featured
See All Featured
Building Adaptive Systems
keathley
32
1.9k
What the flash - Photography Introduction
edds
64
11k
Clear Off the Table
cherdarchuk
85
310k
Web development in the modern age
philhawksworth
203
10k
Code Reviewing Like a Champion
maltzj
515
39k
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
Product Roadmaps are Hard
iamctodd
45
9.7k
Optimizing for Happiness
mojombo
370
69k
For a Future-Friendly Web
brad_frost
172
9k
Transcript
DL勉強会 Autoencoderの実装 2016/07/23 PSI B4 : 石原祥太郎 1
実行環境 2 Win10 + Anaconda(Python 2.7, 64 bit) + chainer
1.11.0 Data Set: mnist
概要 3 隠れ層(中間層)の数を変化させ、誤差の変化を算出 入力データ 出力データ wj i (1) wj i
(2)
4 条件 • 入力データ 28*28=784次元 • 活性化関数: ReLu • Dropout
: なし • ノイズ付加: なし • epoch: 30 • 誤差: 最小二乗法で算出 出力データ
5 結果 0 0.002 0.004 0.006 0.008 0.01 0.012 0.014
0 200 400 600 800 1000 バッチごとの平均誤差 中間層の数(層) 中間層の数を変えた時の誤差の推移
6 中間層 n=100, DropOut: 無 上:入力データ 下:出力データ
7 中間層 n=1000, DropOut: 無 上:入力データ 下:出力データ
8 重み の可視化 wj i (1) y = w *
x = * m m n n (1)
9 重み の可視化 wj i (2) x = w *
y = * m n n (2) ^ m T T T
10 重み の可視化 wj i (1) n=1000, DropOut: 無
11 重み の可視化 wj i (1) n=1000, DropOut: 有 細かい部分が
取れるように なっている
参考 http://qiita.com/kenmatsu4/items/99d4a54d5a57405ecaf8 12 【ディープラーニング】 ChainerでAutoencoderを試して結果を可視化してみる。
13 中間層 n=100, DropOut: 有 上:入力データ 下:出力データ
14 中間層 n=1000, DropOut: 有 上:入力データ 下:出力データ