Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PRML勉強会 第二章 - 松元宏 作成分
Search
takegue
April 21, 2014
Technology
0
1.5k
PRML勉強会 第二章 - 松元宏 作成分
PRML勉強会 第二章 - 松元宏 作成分
代理upload
takegue
April 21, 2014
Tweet
Share
More Decks by takegue
See All by takegue
不自然言語の自然言語処理: コード補完を支える最新技術
takegue
1
800
つかわれるプラットフォーム 〜デザイン編〜@DPM#2
takegue
2
11k
カルチャーとエンジニアリングをつなぐ データプラットフォーム
takegue
4
6.1k
toC企業でのデータ活用 (PyData.Okinawa + PythonBeginners沖縄 合同勉強会 2019)
takegue
4
940
Rettyにおけるデータ活用について
takegue
0
820
Sparse Overcomplete Word Vector Representations
takegue
0
180
Aligning Sentences from Standard Wikipedia to Simple Wikipedia
takegue
0
190
High-Order Low-Rank Tensors for Semantic Role Labeling
takegue
0
98
Dependency-based empty category detection via phrase structure trees
takegue
0
62
Other Decks in Technology
See All in Technology
R3のコードから見る実践LINQ実装最適化・コンカレントプログラミング実例
neuecc
3
2.4k
チームでロジカルシンキングに改めて向き合っている話 〜学習環境と実践⽅法〜
sansantech
PRO
3
3.3k
ルーターでプレゼンする
puhitaku
1
3.2k
.NET Profiler in 2024.
kkamegawa
2
1.2k
今日からできる!簡単 .NET 高速化 Tips -2024 edition-
xin9le
7
3.8k
TechFeed Experts Night#27 〜 フロントエンドフレームワーク最前線 (Svelte)
baseballyama
2
590
いいたいことちゃんという
tkengo
0
230
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
37k
Next.js に疲れた私は Vue3 に癒やされた
akagire
0
130
KubeConにproposalを送りたい人へのアドバイス
sat
PRO
3
270
コードファーストの考え方。 Amplify Gen2から学ぶAWS次世代のWeb開発体験
yoshiitaka
2
340
Gradle Build Scanを使ってビルドのことを知ろう potatotips #87
tomorrowkey
2
150
Featured
See All Featured
KATA
mclloyd
16
12k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
Faster Mobile Websites
deanohume
300
30k
Into the Great Unknown - MozCon
thekraken
14
1k
Fontdeck: Realign not Redesign
paulrobertlloyd
76
4.9k
Unsuck your backbone
ammeep
663
57k
The Cult of Friendly URLs
andyhume
74
5.7k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
How STYLIGHT went responsive
nonsquared
92
4.8k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
The Language of Interfaces
destraynor
151
23k
Building Effective Engineering Teams - LeadDev
addyosmani
32
1.9k
Transcript
PRML勉強会第3回 松本宏
勉強会のきっかけ PRML勉強会始まったきっかけ: 実務訓練中に木村くんに気軽に持ちかけ たPRML勉強会なんですが、こんなに参加者が 集まるとは思っていませんでした。 ありがとうございます。
あと、 前回は突然おやすみとなり、すいませんでした。 m_m
第1回、第2階と先発を竹野くんに行ってもらい、 ハードル上げて頂いてありがとうございます。
ハードルが上がって辛いです。。。
まぁ、最初に言ったと思いますけど 全部理解とか ムリなんで! 一割だけでもわかればいいと思ってはじめたの に・・・ あんなにハードル上げやがって、、、くぁwせdrf tgyふじこlp
ことわり かなり情報を削減しています。 ご了承を
確率分布
二値変数 二つの取りうる値のうち1つをとる変数のこと x ∈ {0, 1} よくコイン投げが例として使われる それを分布図でしめすのが B3前期に中川健治先生の授業でやった 二項分布
ベルヌーイ分布 コインの表をx=1で出る確率を としたときの 確率分布 平均 分散
ベルヌーイ分布 データ集合Dに対しての尤度関数が以下となる
多項分布 二値変数に対しての多値変数 K個の可能な状態のうち1つを取る変数 サイコロとか
• そして、各確率が以下の時 • 例えば、観測値データが以下の様な場合 • Xの分布は
K個の面をもつサイコロが有る。 各面の出る確率は i番目の面が出た回数 をとする。 そのときのN回投げるとき 制約:
共役分布 多項分布の共役分布は 共役分布: 尤度関数と事前分布の積が事後分布 となる事前分布
ディリクレ分布 二項分布の共役分布を正規化したものが:
多項分布とディリクレ分布 違い: • 多項分布はサイコロの出た目の分布 – Multi(n | p, N) •
ディリクレ分布はサイコロの目の出易さ分布 – Dir(p|α)
ガウス分布 単変数(変数がxだけ): μ: D次元の平均ベクトル σ^2: 分散
多変数 x: D次元ベクトル μ: D次元平均ベクトル Σ: DxD共分散行列
距離 ガウス分布の指数部分 マハラノビス距離(Δ): 各変量の共分散を考慮した距離 Σが単位行列ならユークリッド距離
共分散行列に対する 固有ベクトルの方程式 上記のように表せれ、 これより、共分散行列Σは 逆行列は
もっと詳しく… 対称行列より
座標変換
まとめると… 固有ベクトルに酔って平行移動や回転をした、 座標系が定義された。
ガウス分布のモーメント ガウス分布でのxの期待値は 指数部分は偶関数、かつ、( z + μ ) はzが対称性のために μ だけが残る
ガウス分布の平均
ガウス分布の2次モーメント 交差項 などは対称性より消え、 は、正規化されたガウス分布より1となる 残った は となる
まとめると
確率分布 第4回分
ガウス分布 条件付きガウス分布 周辺ガウス分布 ガウス変数に対するベイズの定理 ガウス分布の最尤推定 逐次推定 ガウス分布に対するベイズ推論 スチューデントのt分布 周期変数 混合ガウス分布
条件付きガウス分布
条件付きガウス分布 ガウス分布の式 :D次元の平均ベクトル :DxDの共分散行列
条件付きガウス分布 条件確率はどうなるか 確率変数ベクトルxについて、 一部分がわかっている時
条件付きガウス分布 多変量ガウス分布の特性 2つの変数集合の同時分布がガウス分布に従う 1つの変数集合が与えられたとき もう一方の集合の条件付き分布もガウス分布になる がガウス分布なら
条件付きガウス分布 ガウス分布を求めるというのは 平均ベクトルμと分散共分散行列Σを求める
条件付きガウス分布 この時のベクトルxを2つの部分集合に分ける 対応する平均ベクトルμの分割も定義する
条件付きガウス分布 共分散行列Σも以下のように与えられる 共分散行列Σの逆行列を考える 精度行列と呼ぶ
条件付きガウス分布 ガウス分布の指数部分の二次系式 これに先の値を代入すると (平方完成をおこなうと)
また、xベクトルに関するもの/しないもの分けると
この時の一次の項、二次の項と別々に見る 二次の項: → の分散が
一次の項: → の平均ベクトルが
二変数の確率関数 に対して、 変数Xだけの確率関数 周辺ガウス分布 周辺ガウス分布 周辺確率分布
平方完成し の項を取り出 す
で積分すると 定数 に依存
に依存する項: 積分結果:
周辺分布の分散共分散行列: 平均:
ガウス変数に対するベイ ズの定理 さっきは ガウス分布p(x)から条件付きベクトル p(x_a | x_b), 周辺分布p(x_a)
ガウス分布の最尤推定 データ集合Xの分布パラメータを最尤推定法で求める 対数尤度関数: ... 対数尤度μの導関数を0とすると、平均、分散が求まる μ_ML = ... Σ_ML =
...
逐次推定 データを一点ずつ処理してそれを破棄 最尤推定量μ_MLよりNとN-1分離 解釈: ... もっと汎用的、定式化 Robbins Monroアルゴリズム これは本書で...
• スチューデントのt分布 平均は同じで精度が異なるガウス分布を 無限個 ガウスの無限混合分布 頑健 図@P.101
周期変数 周期性をもつ確率変数を扱う場合は 極座標 フォン・ミーゼス分布
フォン・ミーゼス分布 式 (2.179) 導出は2.176から
混合ガウス分布 単一のガウス分布で表現が難しい時 図(2.21) 式(2.188) 形状はパラメータに依存 パラメータは最尤推定法で求まる 対数尤度関数:式 2.193