Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Autoencoderの実装 / Deep Learning Autoencoder
Shotaro Ishihara
July 05, 2018
Programming
0
1.3k
Autoencoderの実装 / Deep Learning Autoencoder
Shotaro Ishihara
July 05, 2018
Tweet
Share
More Decks by Shotaro Ishihara
See All by Shotaro Ishihara
Analysis and Estimation of News Article Reading Time with Multimodal Machine Learning
upura
0
93
データ分析の進め方とニュースメディアでのデータ活用事例 / data-analysis-in-kaggle-and-news-media
upura
0
490
国際会議参加報告 AACL-IJCNLP 2022 / AACL-IJCNLP 2022 Report
upura
0
280
spoana 2022年の活動報告と 来年以降の企画募集 / spoana-2022
upura
0
500
Semantic Shift Stability: Efficient Way to Detect Performance Degradation of Word Embeddings and Pre-trained Language Models
upura
0
830
実践:日本語文章生成 Transformers ライブラリで学ぶ実装の守破離 / Introduction of Japanese Text Generation with Transformers
upura
5
7.6k
Nikkei at SemEval-2022 Task 8: Exploring BERT-based Bi-Encoder Approach for Pairwise Multilingual News Article Similarity
upura
0
440
[Poster] Nikkei at SemEval-2022 Task 8: Exploring BERT-based Bi-Encoder Approach for Pairwise Multilingual News Article Similarity
upura
0
400
新聞記事のクリック率予測に向けたペアワイズ学習用データセットの構築手法の検討 / JSAI2022 Generating Pairwise Dataset for CTR Prediction
upura
0
87
Other Decks in Programming
See All in Programming
Azure Functionsをサクッと開発、サクッとデプロイ/vscodeconf2023-baba
nina01
1
350
和暦を正しく扱うための暦の話
nagise
10
6.6k
[2023년 1월 세미나] 데이터 분석가 되면 어떤 일을 하나요?
datarian
0
620
ECテックカンファレンス2023
kspace
1
380
Writing Greener Java Applications
hollycummins
0
360
Workshop on Jetpack compose
aldefy
0
140
爆速の日経電子版開発の今
shinyaigeek
2
660
Zynq MP SoC で楽しむエッジコンピューティング ~RTLプログラミングのススメ~
ryuz88
0
400
AWSとCPUのムフフな関係
cmdemura
0
480
フロントエンドで学んだことをデータ分析で使ってみた話
daichi_igarashi
0
190
2023年にクル(かもしれない)通信ミドルウェア技術(仮)
s_hosoai
0
220
子育てとEMと転職と
_atsushisakai
1
430
Featured
See All Featured
Designing Dashboards & Data Visualisations in Web Apps
destraynor
224
50k
StorybookのUI Testing Handbookを読んだ
zakiyama
8
3.2k
Unsuck your backbone
ammeep
659
56k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
13
5.4k
Fontdeck: Realign not Redesign
paulrobertlloyd
74
4.3k
GitHub's CSS Performance
jonrohan
1020
430k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
318
19k
Making the Leap to Tech Lead
cromwellryan
117
7.7k
4 Signs Your Business is Dying
shpigford
171
20k
It's Worth the Effort
3n
177
26k
VelocityConf: Rendering Performance Case Studies
addyosmani
317
22k
Building an army of robots
kneath
301
40k
Transcript
DL勉強会 Autoencoderの実装 2016/07/23 PSI B4 : 石原祥太郎 1
実行環境 2 Win10 + Anaconda(Python 2.7, 64 bit) + chainer
1.11.0 Data Set: mnist
概要 3 隠れ層(中間層)の数を変化させ、誤差の変化を算出 入力データ 出力データ wj i (1) wj i
(2)
4 条件 • 入力データ 28*28=784次元 • 活性化関数: ReLu • Dropout
: なし • ノイズ付加: なし • epoch: 30 • 誤差: 最小二乗法で算出 出力データ
5 結果 0 0.002 0.004 0.006 0.008 0.01 0.012 0.014
0 200 400 600 800 1000 バッチごとの平均誤差 中間層の数(層) 中間層の数を変えた時の誤差の推移
6 中間層 n=100, DropOut: 無 上:入力データ 下:出力データ
7 中間層 n=1000, DropOut: 無 上:入力データ 下:出力データ
8 重み の可視化 wj i (1) y = w *
x = * m m n n (1)
9 重み の可視化 wj i (2) x = w *
y = * m n n (2) ^ m T T T
10 重み の可視化 wj i (1) n=1000, DropOut: 無
11 重み の可視化 wj i (1) n=1000, DropOut: 有 細かい部分が
取れるように なっている
参考 http://qiita.com/kenmatsu4/items/99d4a54d5a57405ecaf8 12 【ディープラーニング】 ChainerでAutoencoderを試して結果を可視化してみる。
13 中間層 n=100, DropOut: 有 上:入力データ 下:出力データ
14 中間層 n=1000, DropOut: 有 上:入力データ 下:出力データ