Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Machine Learning 15 min
Search
Asa Shin
March 20, 2017
Science
0
1.9k
Machine Learning 15 min
VI or Emacs
Asa Shin
March 20, 2017
Tweet
Share
More Decks by Asa Shin
See All by Asa Shin
RNN camp #1
asakawa
0
410
Other Decks in Science
See All in Science
構造活性フォーラム2023-山﨑担当分
yamasakih
0
280
論文輪読会 第16回 "NeRF:Representing Scenes as Neural"
academix
0
430
Endocannabinology 101
drbonci
PRO
0
240
iRIC v4 solver poster
nkmr_rl
0
1.4k
[NeurIPS 2023 論文読み会] Wasserstein Quantum Monte Carlo
stakaya
0
350
Leveraging conformal prediction for calibrated probabilistic time series forecasts to accelerate the renewable energy transition
ingevandenende
2
230
Microbiology Labs.
maleehafatima
0
120
東大・松尾研主催 LLM Summer 2023 コンペ解法 (11位 – 20位枠での優秀賞)
hayataka88
0
150
Pandas 2 vs Polars vs Dask (PyDataGlobal 2023 December)
ianozsvald
0
360
Mastering Feature Engineering: Mining the Hidden Salary Formula with CakeResume
tlyu0419
0
120
AI(人工知能)の過去・現在・未来 —AIは人間を超えるのか—
tagtag
0
120
Xpenologyなるアングラプロジェクト周りについて語るやつ
sushi514
0
570
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
58
4.9k
Building Better People: How to give real-time feedback that sticks.
wjessup
350
18k
Testing 201, or: Great Expectations
jmmastey
27
6.3k
10 Git Anti Patterns You Should be Aware of
lemiorhan
644
57k
Optimizing for Happiness
mojombo
369
69k
Statistics for Hackers
jakevdp
789
220k
The Art of Programming - Codeland 2020
erikaheidi
40
12k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
153
14k
A Tale of Four Properties
chriscoyier
150
22k
Documentation Writing (for coders)
carmenintech
59
3.8k
Git: the NoSQL Database
bkeepers
PRO
421
63k
Adopting Sorbet at Scale
ufuk
66
8.5k
Transcript
VI にする?それもまだ EMacs ? 本日の前座をつとめさせていただきます 浅川伸一
[email protected]
alternate to マジックキングダム
テーズニーランド
自己紹介 浅川伸一: 博士( 文学) 東京女子大学情報処理センター勤務。早稲田大学在学時はピアジェ の発生論的認識論に心酔する。卒業後エルマンネットの考案者ジェフ・エルマ ンに師事,薫陶を受ける。以来人間の高次認知機能をシミュレートすることを 通して知的であるとはどういうことかを考えていると思っていた。 著書に「Python で体験する深層学習」(
コロナ社,2016) ,「ディープラーニング, ビッグデータ,機械学習あるいはその心理学」( 新曜社,2015) ,「ニューラルネッ トワークの数理的基礎」「脳損傷とニューラルネットワークモデル,神経心理
学への適用例」いずれも守一雄他編「コネクショニストモデルと心理学」(2001) 北大路書房など
本日の目標 VAE をわかりやすく説明すること Kingma et. al.(2014) SSL Fig.1(a) より 動画もご覧ください
ニューラルネットワークへの批判: 何をやっているのか分からない---> 解釈も ニューラルネットワークやらせれば良い
背景 + + + + 忘却ゲート 入力ゲート ブロックへの入力 セル +
出力ゲート ピープホール ブロックからの出力 g h ... 入力 ... ... ... ... ... ... ... ... 再帰入力 ... 入力 再帰入力 入力 再帰入力 入力 再帰入力 出力 再帰入力へ 1.0 g c i f y o 浅川の説明が意外と受けが良かったので調子に乗って...
Bayes theorem を所与のデータ,θ を推定すべきパラメータとしたとき, ベイズの定理は以 下で与えられる ところで, 右辺分子 p( |θ)p(θ) = p(
,θ) を同時分布, 右辺分母 p( ) = ∫p( | θ)p(θ)dθ を エビデンスまたは証拠と申しました。すなわち以下のように書き換える ことができます。 データ解析の分野ではデータが与えられたときにパラメータを推 定することになりますが, 生成モデル と考えた時には上記のベイズの定理を ひっ くり返すことができます。 本来は,というはもともとこのようにしてデータは作られたわけですから,そ れほど無理のない仮定です。
EM Algorithm 欠損値の推定: 機械学習にかぎらずデータ解析を考える場合,データに欠損値が ある場合を考えます。 一番簡単な方法は,欠損値の有るデータを捨ててしまう ことでしょう。 たとえばこのイベントに参加している人の平均身長を考える場合,今日都合が 悪くなって突然欠席した 方の身長を考慮にいれることを考えます。
この場にいる人の身長が,欠席者の身長に影響を与えるというのは奇妙に見え ます( ?) EM アルゴリズムだと分布を記述する母数であることが多いです。
Monte Carlo EM Algorithm 母数をあたえるということは,モンテカルロ法を使う方法が提案されました。 名付けて 貧乏人のデータ拡張
Variational Inference 実線は生成モデル pθ(Z)p(X|Z) を表す 点線は変分近似 qϕ(Z|X) と 事後確率 pθ(Z|X)
を表す KL ダイバージェンス は 非負 なので,
文献 Kingma and Welling (2013) Auto-Encoding Variational Bayes, arXiv:1312.6114 Kingma
et. al, (2014) Semi-supervised Learning with Deep Generative Models, arXiv:1406.5298