Machine Learning 15 min

VI or Emacs

1. VI にする？それもまだ EMacs ? 本日の前座をつとめさせていただきます 浅川伸一 asakawa@ieee.org alternate to マジックキングダム テーズニーランド
2. 自己紹介 浅川伸一: 博士( 文学) 東京女子大学情報処理センター勤務。早稲田大学在学時はピアジェ の発生論的認識論に心酔する。卒業後エルマンネットの考案者ジェフ・エルマ ンに師事，薫陶を受ける。以来人間の高次認知機能をシミュレートすることを 通して知的であるとはどういうことかを考えていると思っていた。 著書に「Python で体験する深層学習」( コロナ社,2016) ，「ディープラーニング， ビッグデータ，機械学習あるいはその心理学」( 新曜社,2015) ，「ニューラルネッ トワークの数理的基礎」「脳損傷とニューラルネットワークモデル，神経心理
3. 学への適用例」いずれも守一雄他編「コネクショニストモデルと心理学」(2001) 北大路書房など
4. 本日の目標 VAE をわかりやすく説明すること Kingma et. al.(2014) SSL Fig.1(a) より 動画もご覧ください ニューラルネットワークへの批判: 何をやっているのか分からない---> 解釈も ニューラルネットワークやらせれば良い
5. 背景 + + + + 忘却ゲート 入力ゲート ブロックへの入力 セル + 出力ゲート ピープホール ブロックからの出力 g h ... 入力 ... ... ... ... ... ... ... ... 再帰入力 ... 入力 再帰入力 入力 再帰入力 入力 再帰入力 出力 再帰入力へ 1.0 g c i f y o 浅川の説明が意外と受けが良かったので調子に乗って...
6. Bayes theorem を所与のデータ，θ を推定すべきパラメータとしたとき， ベイズの定理は以 下で与えられる ところで， 右辺分子 p( |θ)p(θ) = p( ,θ) を同時分布， 右辺分母 p( ) = ∫p( | θ)p(θ)dθ を エビデンスまたは証拠と申しました。すなわち以下のように書き換える ことができます。 データ解析の分野ではデータが与えられたときにパラメータを推 定することになりますが， 生成モデル と考えた時には上記のベイズの定理を ひっ くり返すことができます。 本来は，というはもともとこのようにしてデータは作られたわけですから，そ れほど無理のない仮定です。
7. EM Algorithm 欠損値の推定: 機械学習にかぎらずデータ解析を考える場合，データに欠損値が ある場合を考えます。 一番簡単な方法は，欠損値の有るデータを捨ててしまう ことでしょう。 たとえばこのイベントに参加している人の平均身長を考える場合，今日都合が 悪くなって突然欠席した 方の身長を考慮にいれることを考えます。 この場にいる人の身長が，欠席者の身長に影響を与えるというのは奇妙に見え ます( ？) EM アルゴリズムだと分布を記述する母数であることが多いです。
8. Monte Carlo EM Algorithm 母数をあたえるということは，モンテカルロ法を使う方法が提案されました。 名付けて 貧乏人のデータ拡張
9. Variational Inference 実線は生成モデル pθ(Z)p(X|Z) を表す 点線は変分近似 qϕ(Z|X) と 事後確率 pθ(Z|X) を表す KL ダイバージェンス は 非負 なので，
10. 文献 Kingma and Welling (2013) Auto-Encoding Variational Bayes, arXiv:1312.6114 Kingma et. al, (2014) Semi-supervised Learning with Deep Generative Models, arXiv:1406.5298