Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Autoencoderの実装 / Deep Learning Autoencoder
Search
Shotaro Ishihara
July 05, 2018
Programming
0
1.6k
Autoencoderの実装 / Deep Learning Autoencoder
Shotaro Ishihara
July 05, 2018
Tweet
Share
More Decks by Shotaro Ishihara
See All by Shotaro Ishihara
日本語新聞記事を用いた大規模言語モデルの暗記定量化 / LLMC2025
upura
0
180
Quantifying Memorization in Continual Pre-training with Japanese General or Industry-Specific Corpora
upura
1
36
JOAI2025講評 / joai2025-review
upura
0
420
AI エージェントを活用した研究再現性の自動定量評価 / scisci2025
upura
1
150
JSAI2025 企画セッション「人工知能とコンペティション」/ jsai2025-competition
upura
0
44
生成的推薦の人気バイアスの分析:暗記の観点から / JSAI2025
upura
0
260
Semantic Shift Stability: 学習コーパス内の単語の意味変化を用いた事前学習済みモデルの時系列性能劣化の監査
upura
0
70
日本語ニュース記事要約支援に向けたドメイン特化事前学習済みモデルの構築と活用 / t5-news-summarization
upura
0
76
Web からのデータ収集と探究事例の紹介 / no94_jsai_seminar
upura
0
350
Other Decks in Programming
See All in Programming
機能追加とリーダー業務の類似性
rinchoku
2
1.2k
Deep Dive into Kotlin Flow
jmatsu
1
310
Ruby Parser progress report 2025
yui_knk
1
430
ぬるぬる動かせ! Riveでアニメーション実装🐾
kno3a87
1
210
「手軽で便利」に潜む罠。 Popover API を WCAG 2.2の視点で安全に使うには
taitotnk
0
840
Introducing ReActionView: A new ActionView-compatible ERB Engine @ Rails World 2025, Amsterdam
marcoroth
0
640
請來的 AI Agent 同事們在寫程式時,怎麼用 pytest 去除各種幻想與盲點
keitheis
0
110
個人軟體時代
ethanhuang13
0
320
Flutter with Dart MCP: All You Need - 박제창 2025 I/O Extended Busan
itsmedreamwalker
0
150
2025 年のコーディングエージェントの現在地とエンジニアの仕事の変化について
azukiazusa1
22
12k
ソフトウェアテスト徹底指南書の紹介
goyoki
1
150
デザイナーが Androidエンジニアに 挑戦してみた
874wokiite
0
300
Featured
See All Featured
Thoughts on Productivity
jonyablonski
70
4.8k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.6k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.7k
The Cost Of JavaScript in 2023
addyosmani
53
8.9k
For a Future-Friendly Web
brad_frost
180
9.9k
Bash Introduction
62gerente
615
210k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
Being A Developer After 40
akosma
90
590k
Producing Creativity
orderedlist
PRO
347
40k
Code Reviewing Like a Champion
maltzj
525
40k
BBQ
matthewcrist
89
9.8k
Transcript
DL勉強会 Autoencoderの実装 2016/07/23 PSI B4 : 石原祥太郎 1
実行環境 2 Win10 + Anaconda(Python 2.7, 64 bit) + chainer
1.11.0 Data Set: mnist
概要 3 隠れ層(中間層)の数を変化させ、誤差の変化を算出 入力データ 出力データ wj i (1) wj i
(2)
4 条件 • 入力データ 28*28=784次元 • 活性化関数: ReLu • Dropout
: なし • ノイズ付加: なし • epoch: 30 • 誤差: 最小二乗法で算出 出力データ
5 結果 0 0.002 0.004 0.006 0.008 0.01 0.012 0.014
0 200 400 600 800 1000 バッチごとの平均誤差 中間層の数(層) 中間層の数を変えた時の誤差の推移
6 中間層 n=100, DropOut: 無 上:入力データ 下:出力データ
7 中間層 n=1000, DropOut: 無 上:入力データ 下:出力データ
8 重み の可視化 wj i (1) y = w *
x = * m m n n (1)
9 重み の可視化 wj i (2) x = w *
y = * m n n (2) ^ m T T T
10 重み の可視化 wj i (1) n=1000, DropOut: 無
11 重み の可視化 wj i (1) n=1000, DropOut: 有 細かい部分が
取れるように なっている
参考 http://qiita.com/kenmatsu4/items/99d4a54d5a57405ecaf8 12 【ディープラーニング】 ChainerでAutoencoderを試して結果を可視化してみる。
13 中間層 n=100, DropOut: 有 上:入力データ 下:出力データ
14 中間層 n=1000, DropOut: 有 上:入力データ 下:出力データ