Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PRML勉強会 第二章 - 松元宏 作成分
Search
takegue
April 21, 2014
Technology
0
1.6k
PRML勉強会 第二章 - 松元宏 作成分
PRML勉強会 第二章 - 松元宏 作成分
代理upload
takegue
April 21, 2014
Tweet
Share
More Decks by takegue
See All by takegue
不自然言語の自然言語処理: コード補完を支える最新技術
takegue
1
860
つかわれるプラットフォーム 〜デザイン編〜@DPM#2
takegue
2
12k
カルチャーとエンジニアリングをつなぐ データプラットフォーム
takegue
4
6.4k
toC企業でのデータ活用 (PyData.Okinawa + PythonBeginners沖縄 合同勉強会 2019)
takegue
4
1.1k
Rettyにおけるデータ活用について
takegue
0
900
Sparse Overcomplete Word Vector Representations
takegue
0
210
Aligning Sentences from Standard Wikipedia to Simple Wikipedia
takegue
0
210
High-Order Low-Rank Tensors for Semantic Role Labeling
takegue
0
120
Dependency-based empty category detection via phrase structure trees
takegue
0
78
Other Decks in Technology
See All in Technology
LLM時代の検索
shibuiwilliam
2
160
Delegating the chores of authenticating users to Keycloak
ahus1
0
140
FOSS4G 2025 KANSAI QGISで点群データをいろいろしてみた
kou_kita
0
400
Enhancing SaaS Product Reliability and Release Velocity through Optimized Testing Approach
ropqa
1
230
KubeCon + CloudNativeCon Japan 2025 Recap Opening & Choose Your Own Adventureシリーズまとめ
mmmatsuda
0
280
Model Mondays S2E04: AI Developer Experiences
nitya
0
140
How Do I Contact HP Printer Support? [Full 2025 Guide for U.S. Businesses]
harrry1211
0
120
品質と速度の両立:生成AI時代の品質保証アプローチ
odasho
1
360
United Airlines Customer Service– Call 1-833-341-3142 Now!
airhelp
0
170
Delta airlines Customer®️ USA Contact Numbers: Complete 2025 Support Guide
deltahelp
0
710
ゼロからはじめる採用広報
yutadayo
3
950
Yahoo!しごとカタログ 新しい境地を創るエンジニア募集!
lycorptech_jp
PRO
0
110
Featured
See All Featured
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.5k
A Tale of Four Properties
chriscoyier
160
23k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Designing Experiences People Love
moore
142
24k
We Have a Design System, Now What?
morganepeng
53
7.7k
How to train your dragon (web standard)
notwaldorf
95
6.1k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
The Language of Interfaces
destraynor
158
25k
GraphQLとの向き合い方2022年版
quramy
49
14k
RailsConf 2023
tenderlove
30
1.1k
Transcript
PRML勉強会第3回 松本宏
勉強会のきっかけ PRML勉強会始まったきっかけ: 実務訓練中に木村くんに気軽に持ちかけ たPRML勉強会なんですが、こんなに参加者が 集まるとは思っていませんでした。 ありがとうございます。
あと、 前回は突然おやすみとなり、すいませんでした。 m_m
第1回、第2階と先発を竹野くんに行ってもらい、 ハードル上げて頂いてありがとうございます。
ハードルが上がって辛いです。。。
まぁ、最初に言ったと思いますけど 全部理解とか ムリなんで! 一割だけでもわかればいいと思ってはじめたの に・・・ あんなにハードル上げやがって、、、くぁwせdrf tgyふじこlp
ことわり かなり情報を削減しています。 ご了承を
確率分布
二値変数 二つの取りうる値のうち1つをとる変数のこと x ∈ {0, 1} よくコイン投げが例として使われる それを分布図でしめすのが B3前期に中川健治先生の授業でやった 二項分布
ベルヌーイ分布 コインの表をx=1で出る確率を としたときの 確率分布 平均 分散
ベルヌーイ分布 データ集合Dに対しての尤度関数が以下となる
多項分布 二値変数に対しての多値変数 K個の可能な状態のうち1つを取る変数 サイコロとか
• そして、各確率が以下の時 • 例えば、観測値データが以下の様な場合 • Xの分布は
K個の面をもつサイコロが有る。 各面の出る確率は i番目の面が出た回数 をとする。 そのときのN回投げるとき 制約:
共役分布 多項分布の共役分布は 共役分布: 尤度関数と事前分布の積が事後分布 となる事前分布
ディリクレ分布 二項分布の共役分布を正規化したものが:
多項分布とディリクレ分布 違い: • 多項分布はサイコロの出た目の分布 – Multi(n | p, N) •
ディリクレ分布はサイコロの目の出易さ分布 – Dir(p|α)
ガウス分布 単変数(変数がxだけ): μ: D次元の平均ベクトル σ^2: 分散
多変数 x: D次元ベクトル μ: D次元平均ベクトル Σ: DxD共分散行列
距離 ガウス分布の指数部分 マハラノビス距離(Δ): 各変量の共分散を考慮した距離 Σが単位行列ならユークリッド距離
共分散行列に対する 固有ベクトルの方程式 上記のように表せれ、 これより、共分散行列Σは 逆行列は
もっと詳しく… 対称行列より
座標変換
まとめると… 固有ベクトルに酔って平行移動や回転をした、 座標系が定義された。
ガウス分布のモーメント ガウス分布でのxの期待値は 指数部分は偶関数、かつ、( z + μ ) はzが対称性のために μ だけが残る
ガウス分布の平均
ガウス分布の2次モーメント 交差項 などは対称性より消え、 は、正規化されたガウス分布より1となる 残った は となる
まとめると
確率分布 第4回分
ガウス分布 条件付きガウス分布 周辺ガウス分布 ガウス変数に対するベイズの定理 ガウス分布の最尤推定 逐次推定 ガウス分布に対するベイズ推論 スチューデントのt分布 周期変数 混合ガウス分布
条件付きガウス分布
条件付きガウス分布 ガウス分布の式 :D次元の平均ベクトル :DxDの共分散行列
条件付きガウス分布 条件確率はどうなるか 確率変数ベクトルxについて、 一部分がわかっている時
条件付きガウス分布 多変量ガウス分布の特性 2つの変数集合の同時分布がガウス分布に従う 1つの変数集合が与えられたとき もう一方の集合の条件付き分布もガウス分布になる がガウス分布なら
条件付きガウス分布 ガウス分布を求めるというのは 平均ベクトルμと分散共分散行列Σを求める
条件付きガウス分布 この時のベクトルxを2つの部分集合に分ける 対応する平均ベクトルμの分割も定義する
条件付きガウス分布 共分散行列Σも以下のように与えられる 共分散行列Σの逆行列を考える 精度行列と呼ぶ
条件付きガウス分布 ガウス分布の指数部分の二次系式 これに先の値を代入すると (平方完成をおこなうと)
また、xベクトルに関するもの/しないもの分けると
この時の一次の項、二次の項と別々に見る 二次の項: → の分散が
一次の項: → の平均ベクトルが
二変数の確率関数 に対して、 変数Xだけの確率関数 周辺ガウス分布 周辺ガウス分布 周辺確率分布
平方完成し の項を取り出 す
で積分すると 定数 に依存
に依存する項: 積分結果:
周辺分布の分散共分散行列: 平均:
ガウス変数に対するベイ ズの定理 さっきは ガウス分布p(x)から条件付きベクトル p(x_a | x_b), 周辺分布p(x_a)
ガウス分布の最尤推定 データ集合Xの分布パラメータを最尤推定法で求める 対数尤度関数: ... 対数尤度μの導関数を0とすると、平均、分散が求まる μ_ML = ... Σ_ML =
...
逐次推定 データを一点ずつ処理してそれを破棄 最尤推定量μ_MLよりNとN-1分離 解釈: ... もっと汎用的、定式化 Robbins Monroアルゴリズム これは本書で...
• スチューデントのt分布 平均は同じで精度が異なるガウス分布を 無限個 ガウスの無限混合分布 頑健 図@P.101
周期変数 周期性をもつ確率変数を扱う場合は 極座標 フォン・ミーゼス分布
フォン・ミーゼス分布 式 (2.179) 導出は2.176から
混合ガウス分布 単一のガウス分布で表現が難しい時 図(2.21) 式(2.188) 形状はパラメータに依存 パラメータは最尤推定法で求まる 対数尤度関数:式 2.193