Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[卒論着手発表] Autoencoderによる半教師あり学習と中間表現の分析
Search
Qiushi Pan
June 12, 2019
Research
1
410
[卒論着手発表] Autoencoderによる半教師あり学習と中間表現の分析
システム主専攻 着手発表スライド。
Auto-encoderによるsemi-supervised learningの実現と、supervised learningとの比較による中間表現の分析を行う
Qiushi Pan
June 12, 2019
Tweet
Share
More Decks by Qiushi Pan
See All by Qiushi Pan
応答例を見ながらの キャラ性格チューニング
qqpann
0
120
[ICCE2021] Prior Knowledge on the Dynamics of Skill Acquisition Improves Deep Knowledge Tracing
qqpann
1
75
卒業研究最終発表
qqpann
1
69
[卒論中間発表] Encoder-Decoder DKTと中間表現の分析
qqpann
0
80
Reduceを使った定理証明 〜 グレブナー基底を添えて 〜
qqpann
0
160
Other Decks in Research
See All in Research
チャッドローン:LLMによる画像認識を用いた自律型ドローンシステムの開発と実験 / ec75-morisaki
yumulab
1
440
GeoCLIP: Clip-Inspired Alignment between Locations and Images for Effective Worldwide Geo-localization
satai
3
240
作業記憶の発達的特性が言語獲得の臨界期を形成する(NLP2025)
chemical_tree
2
610
Computational OT #4 - Gradient flow and diffusion models
gpeyre
0
290
公立高校入試等に対する受入保留アルゴリズム(DA)導入の提言
shunyanoda
0
5.7k
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
taiji_suzuki
24
14k
最適化と機械学習による問題解決
mickey_kubo
0
140
(NULLCON Goa 2025)Windows Keylogger Detection: Targeting Past and Present Keylogging Techniques
asuna_jp
1
520
Vision And Languageモデルにおける異なるドメインでの継続事前学習が性能に与える影響の検証 / YANS2024
sansan_randd
1
110
MGDSS:慣性式モーションキャプチャを用いたジェスチャによるドローンの操作 / ec75-yamauchi
yumulab
0
230
線形判別分析のPU学習による朝日歌壇短歌の分析
masakat0
0
130
Looking for Escorts in Sydney?
lunsophia
1
120
Featured
See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Facilitating Awesome Meetings
lara
54
6.4k
Automating Front-end Workflow
addyosmani
1370
200k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
For a Future-Friendly Web
brad_frost
179
9.8k
How to Think Like a Performance Engineer
csswizardry
24
1.7k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.5k
KATA
mclloyd
29
14k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Testing 201, or: Great Expectations
jmmastey
42
7.5k
Transcript
システム主専攻 着手発表 深層学習における中間表現の分析 潘 秋実 1
Autoencoder Autoencoderとは 教師なし学習の一種。 データの特徴を獲得するためのネットワーク Encoder: Xが得られた状態で、Xを生み出したZを推論 Decoder: 潜在変数Zから高次元データXを生成 Zを中間表現と呼ぶこととする 2
Semi‑supervised learning with Autoencoder Autoencoderによる教師なし学習で獲得したZを、Yを予測する教師あり 学習に利用 Zによって効率が改善する場合があると考えられる 課題意識 → Zを教師ありで行う既存タスクで、Zを教師なしで学習しても精度を出
せないか 3
画像の転移学習におけるAutoencoder 図:中間表現を可視化したもの[1] 画像の輪郭の特徴を抽出 転移学習で学習を効率化 4
SequenceデータにおけるAutoencoder Semantic Parsing with Semi‑Supervised Sequential Autoencoders[2] Logical formsを半教師あり学習で行う研究 xの正解ラベルがないデータではyの教師なし学習
xの正解ラベルがあるデータでは追加でxを学習 5
関連研究: Speech synthesis from neural decoding of spoken sentences (1)
脳の活動から発話をデコードするタスク[3][4] 6
関連研究: Speech synthesis from neural decoding of spoken sentences (2)
RNN+RNNを構成して、一度口の筋肉の動きを予測することで、発話予 測を改善した 7
研究計画 Speech synthesis from neural decoding of spoken sentences の追実験
著者に問い合わせを行い、データを入手できたら再現実験を試みる 筋肉の動きの正解データを用いずに、発話を予測できるようになら ないか 中間表現を使う場合とそうでない場合を比較して効果の分析 画像または自然言語処理などのタスクのサーベイ このタスクに限らず、「中間表現」を経て精度が向上するタスクは あるはず。中間表現の正解ラベルがなくても同等の効果を得られた ら意義があるのではないか 一般的に中間表現を教師なしで代替できないか 8
参考文献 [1] Computer Science Department, Stanford University. "Autoencoders". UFLDL Tutorial.
http://ufldl.stanford.edu/tutorial/unsupervised/Autoencoders/, (Accessed 2019‑06‑11). [2] Tomas Kocisky et al. "Semantic Parsing with Semi‑Supervised Sequential Autoencoders". CoRR. 2016. (Accessed 2019‑06‑11) [3] Anumanchipalli et al. "Speech synthesis from neural decoding of spoken sentences". Nature. 2019. https://www.nature.com/articles/s41586‑019‑1119‑1, (Accessed 2019‑06‑11). [4] Pandarinath, Ali. "Brain implants that let you speak your mind". Nature news & views. https://www.nature.com/articles/d41586‑019‑ 01181‑y, (Accessed 2019‑06‑11). 9