Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PRML勉強会 第二章 - 松元宏 作成分
Search
takegue
April 21, 2014
Technology
0
1.5k
PRML勉強会 第二章 - 松元宏 作成分
PRML勉強会 第二章 - 松元宏 作成分
代理upload
takegue
April 21, 2014
Tweet
Share
More Decks by takegue
See All by takegue
不自然言語の自然言語処理: コード補完を支える最新技術
takegue
1
830
つかわれるプラットフォーム 〜デザイン編〜@DPM#2
takegue
2
12k
カルチャーとエンジニアリングをつなぐ データプラットフォーム
takegue
4
6.3k
toC企業でのデータ活用 (PyData.Okinawa + PythonBeginners沖縄 合同勉強会 2019)
takegue
4
1k
Rettyにおけるデータ活用について
takegue
0
870
Sparse Overcomplete Word Vector Representations
takegue
0
200
Aligning Sentences from Standard Wikipedia to Simple Wikipedia
takegue
0
210
High-Order Low-Rank Tensors for Semantic Role Labeling
takegue
0
120
Dependency-based empty category detection via phrase structure trees
takegue
0
73
Other Decks in Technology
See All in Technology
入門 PEAK Threat Hunting @SECCON
odorusatoshi
0
170
Change Managerを活用して本番環境へのセキュアなGUIアクセスを統制する / Control Secure GUI Access to the Production Environment with Change Manager
yuj1osm
0
110
2025/3/1 公共交通オープンデータデイ2025
morohoshi
0
100
スキルだけでは満たせない、 “組織全体に”なじむオンボーディング/Onboarding that fits “throughout the organization” and cannot be satisfied by skills alone
bitkey
0
190
"TEAM"を導入したら最高のエンジニア"Team"を実現できた / Deploying "TEAM" and Building the Best Engineering "Team"
yuj1osm
1
220
ディスプレイ広告(Yahoo!広告・LINE広告)におけるバックエンド開発
lycorptech_jp
PRO
0
490
Potential EM 制度を始めた理由、そして2年後にやめた理由 - EMConf JP 2025
hoyo
2
2.8k
クラウド関連のインシデントケースを収集して見えてきたもの
lhazy
9
1.7k
AIエージェント時代のエンジニアになろう #jawsug #jawsdays2025 / 20250301 Agentic AI Engineering
yoshidashingo
8
3.9k
20250304_赤煉瓦倉庫_DeepSeek_Deep_Dive
hiouchiy
2
110
2/18 Making Security Scale: メルカリが考えるセキュリティ戦略 - Coincheck x LayerX x Mercari
jsonf
0
230
ABWG2024採択者が語るエンジニアとしての自分自身の見つけ方〜発信して、つながって、世界を広げていく〜
maimyyym
1
190
Featured
See All Featured
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
The Pragmatic Product Professional
lauravandoore
32
6.4k
KATA
mclloyd
29
14k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
Designing for humans not robots
tammielis
250
25k
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
Docker and Python
trallard
44
3.3k
Agile that works and the tools we love
rasmusluckow
328
21k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
The Language of Interfaces
destraynor
156
24k
Transcript
PRML勉強会第3回 松本宏
勉強会のきっかけ PRML勉強会始まったきっかけ: 実務訓練中に木村くんに気軽に持ちかけ たPRML勉強会なんですが、こんなに参加者が 集まるとは思っていませんでした。 ありがとうございます。
あと、 前回は突然おやすみとなり、すいませんでした。 m_m
第1回、第2階と先発を竹野くんに行ってもらい、 ハードル上げて頂いてありがとうございます。
ハードルが上がって辛いです。。。
まぁ、最初に言ったと思いますけど 全部理解とか ムリなんで! 一割だけでもわかればいいと思ってはじめたの に・・・ あんなにハードル上げやがって、、、くぁwせdrf tgyふじこlp
ことわり かなり情報を削減しています。 ご了承を
確率分布
二値変数 二つの取りうる値のうち1つをとる変数のこと x ∈ {0, 1} よくコイン投げが例として使われる それを分布図でしめすのが B3前期に中川健治先生の授業でやった 二項分布
ベルヌーイ分布 コインの表をx=1で出る確率を としたときの 確率分布 平均 分散
ベルヌーイ分布 データ集合Dに対しての尤度関数が以下となる
多項分布 二値変数に対しての多値変数 K個の可能な状態のうち1つを取る変数 サイコロとか
• そして、各確率が以下の時 • 例えば、観測値データが以下の様な場合 • Xの分布は
K個の面をもつサイコロが有る。 各面の出る確率は i番目の面が出た回数 をとする。 そのときのN回投げるとき 制約:
共役分布 多項分布の共役分布は 共役分布: 尤度関数と事前分布の積が事後分布 となる事前分布
ディリクレ分布 二項分布の共役分布を正規化したものが:
多項分布とディリクレ分布 違い: • 多項分布はサイコロの出た目の分布 – Multi(n | p, N) •
ディリクレ分布はサイコロの目の出易さ分布 – Dir(p|α)
ガウス分布 単変数(変数がxだけ): μ: D次元の平均ベクトル σ^2: 分散
多変数 x: D次元ベクトル μ: D次元平均ベクトル Σ: DxD共分散行列
距離 ガウス分布の指数部分 マハラノビス距離(Δ): 各変量の共分散を考慮した距離 Σが単位行列ならユークリッド距離
共分散行列に対する 固有ベクトルの方程式 上記のように表せれ、 これより、共分散行列Σは 逆行列は
もっと詳しく… 対称行列より
座標変換
まとめると… 固有ベクトルに酔って平行移動や回転をした、 座標系が定義された。
ガウス分布のモーメント ガウス分布でのxの期待値は 指数部分は偶関数、かつ、( z + μ ) はzが対称性のために μ だけが残る
ガウス分布の平均
ガウス分布の2次モーメント 交差項 などは対称性より消え、 は、正規化されたガウス分布より1となる 残った は となる
まとめると
確率分布 第4回分
ガウス分布 条件付きガウス分布 周辺ガウス分布 ガウス変数に対するベイズの定理 ガウス分布の最尤推定 逐次推定 ガウス分布に対するベイズ推論 スチューデントのt分布 周期変数 混合ガウス分布
条件付きガウス分布
条件付きガウス分布 ガウス分布の式 :D次元の平均ベクトル :DxDの共分散行列
条件付きガウス分布 条件確率はどうなるか 確率変数ベクトルxについて、 一部分がわかっている時
条件付きガウス分布 多変量ガウス分布の特性 2つの変数集合の同時分布がガウス分布に従う 1つの変数集合が与えられたとき もう一方の集合の条件付き分布もガウス分布になる がガウス分布なら
条件付きガウス分布 ガウス分布を求めるというのは 平均ベクトルμと分散共分散行列Σを求める
条件付きガウス分布 この時のベクトルxを2つの部分集合に分ける 対応する平均ベクトルμの分割も定義する
条件付きガウス分布 共分散行列Σも以下のように与えられる 共分散行列Σの逆行列を考える 精度行列と呼ぶ
条件付きガウス分布 ガウス分布の指数部分の二次系式 これに先の値を代入すると (平方完成をおこなうと)
また、xベクトルに関するもの/しないもの分けると
この時の一次の項、二次の項と別々に見る 二次の項: → の分散が
一次の項: → の平均ベクトルが
二変数の確率関数 に対して、 変数Xだけの確率関数 周辺ガウス分布 周辺ガウス分布 周辺確率分布
平方完成し の項を取り出 す
で積分すると 定数 に依存
に依存する項: 積分結果:
周辺分布の分散共分散行列: 平均:
ガウス変数に対するベイ ズの定理 さっきは ガウス分布p(x)から条件付きベクトル p(x_a | x_b), 周辺分布p(x_a)
ガウス分布の最尤推定 データ集合Xの分布パラメータを最尤推定法で求める 対数尤度関数: ... 対数尤度μの導関数を0とすると、平均、分散が求まる μ_ML = ... Σ_ML =
...
逐次推定 データを一点ずつ処理してそれを破棄 最尤推定量μ_MLよりNとN-1分離 解釈: ... もっと汎用的、定式化 Robbins Monroアルゴリズム これは本書で...
• スチューデントのt分布 平均は同じで精度が異なるガウス分布を 無限個 ガウスの無限混合分布 頑健 図@P.101
周期変数 周期性をもつ確率変数を扱う場合は 極座標 フォン・ミーゼス分布
フォン・ミーゼス分布 式 (2.179) 導出は2.176から
混合ガウス分布 単一のガウス分布で表現が難しい時 図(2.21) 式(2.188) 形状はパラメータに依存 パラメータは最尤推定法で求まる 対数尤度関数:式 2.193