Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
PRML勉強会 第二章 - 松元宏 作成分
Search
takegue
April 21, 2014
Technology
0
1.5k
PRML勉強会 第二章 - 松元宏 作成分
PRML勉強会 第二章 - 松元宏 作成分
代理upload
takegue
April 21, 2014
Tweet
Share
More Decks by takegue
See All by takegue
不自然言語の自然言語処理: コード補完を支える最新技術
takegue
1
830
つかわれるプラットフォーム 〜デザイン編〜@DPM#2
takegue
2
12k
カルチャーとエンジニアリングをつなぐ データプラットフォーム
takegue
4
6.3k
toC企業でのデータ活用 (PyData.Okinawa + PythonBeginners沖縄 合同勉強会 2019)
takegue
4
1k
Rettyにおけるデータ活用について
takegue
0
870
Sparse Overcomplete Word Vector Representations
takegue
0
200
Aligning Sentences from Standard Wikipedia to Simple Wikipedia
takegue
0
210
High-Order Low-Rank Tensors for Semantic Role Labeling
takegue
0
120
Dependency-based empty category detection via phrase structure trees
takegue
0
72
Other Decks in Technology
See All in Technology
RayでPHPのデバッグをちょっと快適にする
muno92
PRO
0
190
Cracking the Coding Interview 6th Edition
gdplabs
14
28k
30→150人のエンジニア組織拡大に伴うアジャイル文化を醸成する役割と取り組みの変化
nagata03
0
150
Ruby on Railsで持続可能な開発を行うために取り組んでいること
am1157154
3
140
日経のデータベース事業とElasticsearch
hinatades
PRO
0
230
設計を積み重ねてシステムを刷新する
sansantech
PRO
0
160
Exadata Database Service on Cloud@Customer セキュリティ、ネットワーク、および管理について
oracle4engineer
PRO
2
1.5k
EMConf JP 2025 懇親会LT / EMConf JP 2025 social gathering
sugamasao
2
190
クラウド食堂とは?
hiyanger
0
110
OCI Success Journey OCIの何が評価されてる?疑問に答える事例セミナー(2025年2月実施)
oracle4engineer
PRO
2
140
OPENLOGI Company Profile
hr01
0
60k
(機械学習システムでも) SLO から始める信頼性構築 - ゆる SRE#9 2025/02/21
daigo0927
0
260
Featured
See All Featured
Git: the NoSQL Database
bkeepers
PRO
427
65k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
133
33k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
100
18k
Gamification - CAS2011
davidbonilla
80
5.2k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3k
A Philosophy of Restraint
colly
203
16k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Transcript
PRML勉強会第3回 松本宏
勉強会のきっかけ PRML勉強会始まったきっかけ: 実務訓練中に木村くんに気軽に持ちかけ たPRML勉強会なんですが、こんなに参加者が 集まるとは思っていませんでした。 ありがとうございます。
あと、 前回は突然おやすみとなり、すいませんでした。 m_m
第1回、第2階と先発を竹野くんに行ってもらい、 ハードル上げて頂いてありがとうございます。
ハードルが上がって辛いです。。。
まぁ、最初に言ったと思いますけど 全部理解とか ムリなんで! 一割だけでもわかればいいと思ってはじめたの に・・・ あんなにハードル上げやがって、、、くぁwせdrf tgyふじこlp
ことわり かなり情報を削減しています。 ご了承を
確率分布
二値変数 二つの取りうる値のうち1つをとる変数のこと x ∈ {0, 1} よくコイン投げが例として使われる それを分布図でしめすのが B3前期に中川健治先生の授業でやった 二項分布
ベルヌーイ分布 コインの表をx=1で出る確率を としたときの 確率分布 平均 分散
ベルヌーイ分布 データ集合Dに対しての尤度関数が以下となる
多項分布 二値変数に対しての多値変数 K個の可能な状態のうち1つを取る変数 サイコロとか
• そして、各確率が以下の時 • 例えば、観測値データが以下の様な場合 • Xの分布は
K個の面をもつサイコロが有る。 各面の出る確率は i番目の面が出た回数 をとする。 そのときのN回投げるとき 制約:
共役分布 多項分布の共役分布は 共役分布: 尤度関数と事前分布の積が事後分布 となる事前分布
ディリクレ分布 二項分布の共役分布を正規化したものが:
多項分布とディリクレ分布 違い: • 多項分布はサイコロの出た目の分布 – Multi(n | p, N) •
ディリクレ分布はサイコロの目の出易さ分布 – Dir(p|α)
ガウス分布 単変数(変数がxだけ): μ: D次元の平均ベクトル σ^2: 分散
多変数 x: D次元ベクトル μ: D次元平均ベクトル Σ: DxD共分散行列
距離 ガウス分布の指数部分 マハラノビス距離(Δ): 各変量の共分散を考慮した距離 Σが単位行列ならユークリッド距離
共分散行列に対する 固有ベクトルの方程式 上記のように表せれ、 これより、共分散行列Σは 逆行列は
もっと詳しく… 対称行列より
座標変換
まとめると… 固有ベクトルに酔って平行移動や回転をした、 座標系が定義された。
ガウス分布のモーメント ガウス分布でのxの期待値は 指数部分は偶関数、かつ、( z + μ ) はzが対称性のために μ だけが残る
ガウス分布の平均
ガウス分布の2次モーメント 交差項 などは対称性より消え、 は、正規化されたガウス分布より1となる 残った は となる
まとめると
確率分布 第4回分
ガウス分布 条件付きガウス分布 周辺ガウス分布 ガウス変数に対するベイズの定理 ガウス分布の最尤推定 逐次推定 ガウス分布に対するベイズ推論 スチューデントのt分布 周期変数 混合ガウス分布
条件付きガウス分布
条件付きガウス分布 ガウス分布の式 :D次元の平均ベクトル :DxDの共分散行列
条件付きガウス分布 条件確率はどうなるか 確率変数ベクトルxについて、 一部分がわかっている時
条件付きガウス分布 多変量ガウス分布の特性 2つの変数集合の同時分布がガウス分布に従う 1つの変数集合が与えられたとき もう一方の集合の条件付き分布もガウス分布になる がガウス分布なら
条件付きガウス分布 ガウス分布を求めるというのは 平均ベクトルμと分散共分散行列Σを求める
条件付きガウス分布 この時のベクトルxを2つの部分集合に分ける 対応する平均ベクトルμの分割も定義する
条件付きガウス分布 共分散行列Σも以下のように与えられる 共分散行列Σの逆行列を考える 精度行列と呼ぶ
条件付きガウス分布 ガウス分布の指数部分の二次系式 これに先の値を代入すると (平方完成をおこなうと)
また、xベクトルに関するもの/しないもの分けると
この時の一次の項、二次の項と別々に見る 二次の項: → の分散が
一次の項: → の平均ベクトルが
二変数の確率関数 に対して、 変数Xだけの確率関数 周辺ガウス分布 周辺ガウス分布 周辺確率分布
平方完成し の項を取り出 す
で積分すると 定数 に依存
に依存する項: 積分結果:
周辺分布の分散共分散行列: 平均:
ガウス変数に対するベイ ズの定理 さっきは ガウス分布p(x)から条件付きベクトル p(x_a | x_b), 周辺分布p(x_a)
ガウス分布の最尤推定 データ集合Xの分布パラメータを最尤推定法で求める 対数尤度関数: ... 対数尤度μの導関数を0とすると、平均、分散が求まる μ_ML = ... Σ_ML =
...
逐次推定 データを一点ずつ処理してそれを破棄 最尤推定量μ_MLよりNとN-1分離 解釈: ... もっと汎用的、定式化 Robbins Monroアルゴリズム これは本書で...
• スチューデントのt分布 平均は同じで精度が異なるガウス分布を 無限個 ガウスの無限混合分布 頑健 図@P.101
周期変数 周期性をもつ確率変数を扱う場合は 極座標 フォン・ミーゼス分布
フォン・ミーゼス分布 式 (2.179) 導出は2.176から
混合ガウス分布 単一のガウス分布で表現が難しい時 図(2.21) 式(2.188) 形状はパラメータに依存 パラメータは最尤推定法で求まる 対数尤度関数:式 2.193