Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
PRML勉強会 第二章 - 松元宏 作成分
Search
Sponsored
·
SiteGround - Reliable hosting with speed, security, and support you can count on.
→
takegue
April 21, 2014
Technology
1.6k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
PRML勉強会 第二章 - 松元宏 作成分
PRML勉強会 第二章 - 松元宏 作成分
代理upload
takegue
April 21, 2014
More Decks by takegue
See All by takegue
不自然言語の自然言語処理: コード補完を支える最新技術
takegue
1
930
つかわれるプラットフォーム 〜デザイン編〜@DPM#2
takegue
2
13k
カルチャーとエンジニアリングをつなぐ データプラットフォーム
takegue
4
6.7k
toC企業でのデータ活用 (PyData.Okinawa + PythonBeginners沖縄 合同勉強会 2019)
takegue
4
1.2k
Rettyにおけるデータ活用について
takegue
0
960
Sparse Overcomplete Word Vector Representations
takegue
0
280
Aligning Sentences from Standard Wikipedia to Simple Wikipedia
takegue
0
260
High-Order Low-Rank Tensors for Semantic Role Labeling
takegue
0
150
Dependency-based empty category detection via phrase structure trees
takegue
0
130
Other Decks in Technology
See All in Technology
Content Mapper APIの応用例~CSS Modules、言語ファイル~
uhyo
2
590
Sizing, Benchmarking and Performance Tuning Apache Flink Clusters
rmetzger
0
110
AIで選択肢が広がった組織設計の理想と現実
konifar
16
7.7k
OneLakeをデータソースにした AI Search(Foundry IQ)の ライフサイクル管理
ryuseiiida
0
220
IBC 2026 動画技術関連レポート / IBC 2026 Report
cyberagentdevelopers
PRO
2
410
AI Agent 時代のデータ基盤: ClickHouse で実現する 超高速分析とコスト削減の両立
jozono
0
180
SLOを阻む不安
sraku2159
0
220
セキュリティ専任チームなしで攻撃を先回りするSREが実践したSIEM on Amazon OpenSearch Service
cscengineer
PRO
0
190
デザインレビューは自動化できるのか?─ Flutter × Figma で UI 品質保証を考える
techiro
2
790
Flutter Widget Previewerで始めるUIプレビューとVRTの自動化
sakusaku3939
0
210
cdkd (CDK Direct)
gotok365
3
220
なぜ東京にいる私が、新潟の技術コミュニティを運営するのか by 八雲慎之助
yakumo
0
220
Featured
See All Featured
Chasing Engaging Ingredients in Design
codingconduct
0
390
So, you think you're a good person
axbom
PRO
2
2.2k
A better future with KSS
kneath
240
18k
Scaling GitHub
holman
464
140k
Building a A Zero-Code AI SEO Workflow
portentint
PRO
0
810
How Fast Is Fast Enough? [PerfNow 2025]
tammyeverts
3
970
Leveraging Curiosity to Care for An Aging Population
cassininazir
1
560
Art, The Web, and Tiny UX
lynnandtonic
304
22k
Designing Powerful Visuals for Engaging Learning
tmiket
1
640
brightonSEO & MeasureFest 2025 - Winning Strategies for Black Friday CRO & PPC - Christian Goodrich
cargoodrich
3
890
The Illustrated Guide to Node.js - THAT Conference 2024
reverentgeek
1
600
Building a Modern Day E-commerce SEO Strategy
aleyda
45
9.3k
Transcript
PRML勉強会第3回 松本宏
勉強会のきっかけ PRML勉強会始まったきっかけ: 実務訓練中に木村くんに気軽に持ちかけ たPRML勉強会なんですが、こんなに参加者が 集まるとは思っていませんでした。 ありがとうございます。
あと、 前回は突然おやすみとなり、すいませんでした。 m_m
第1回、第2階と先発を竹野くんに行ってもらい、 ハードル上げて頂いてありがとうございます。
ハードルが上がって辛いです。。。
まぁ、最初に言ったと思いますけど 全部理解とか ムリなんで! 一割だけでもわかればいいと思ってはじめたの に・・・ あんなにハードル上げやがって、、、くぁwせdrf tgyふじこlp
ことわり かなり情報を削減しています。 ご了承を
確率分布
二値変数 二つの取りうる値のうち1つをとる変数のこと x ∈ {0, 1} よくコイン投げが例として使われる それを分布図でしめすのが B3前期に中川健治先生の授業でやった 二項分布
ベルヌーイ分布 コインの表をx=1で出る確率を としたときの 確率分布 平均 分散
ベルヌーイ分布 データ集合Dに対しての尤度関数が以下となる
多項分布 二値変数に対しての多値変数 K個の可能な状態のうち1つを取る変数 サイコロとか
• そして、各確率が以下の時 • 例えば、観測値データが以下の様な場合 • Xの分布は
K個の面をもつサイコロが有る。 各面の出る確率は i番目の面が出た回数 をとする。 そのときのN回投げるとき 制約:
共役分布 多項分布の共役分布は 共役分布: 尤度関数と事前分布の積が事後分布 となる事前分布
ディリクレ分布 二項分布の共役分布を正規化したものが:
多項分布とディリクレ分布 違い: • 多項分布はサイコロの出た目の分布 – Multi(n | p, N) •
ディリクレ分布はサイコロの目の出易さ分布 – Dir(p|α)
ガウス分布 単変数(変数がxだけ): μ: D次元の平均ベクトル σ^2: 分散
多変数 x: D次元ベクトル μ: D次元平均ベクトル Σ: DxD共分散行列
距離 ガウス分布の指数部分 マハラノビス距離(Δ): 各変量の共分散を考慮した距離 Σが単位行列ならユークリッド距離
共分散行列に対する 固有ベクトルの方程式 上記のように表せれ、 これより、共分散行列Σは 逆行列は
もっと詳しく… 対称行列より
座標変換
まとめると… 固有ベクトルに酔って平行移動や回転をした、 座標系が定義された。
ガウス分布のモーメント ガウス分布でのxの期待値は 指数部分は偶関数、かつ、( z + μ ) はzが対称性のために μ だけが残る
ガウス分布の平均
ガウス分布の2次モーメント 交差項 などは対称性より消え、 は、正規化されたガウス分布より1となる 残った は となる
まとめると
確率分布 第4回分
ガウス分布 条件付きガウス分布 周辺ガウス分布 ガウス変数に対するベイズの定理 ガウス分布の最尤推定 逐次推定 ガウス分布に対するベイズ推論 スチューデントのt分布 周期変数 混合ガウス分布
条件付きガウス分布
条件付きガウス分布 ガウス分布の式 :D次元の平均ベクトル :DxDの共分散行列
条件付きガウス分布 条件確率はどうなるか 確率変数ベクトルxについて、 一部分がわかっている時
条件付きガウス分布 多変量ガウス分布の特性 2つの変数集合の同時分布がガウス分布に従う 1つの変数集合が与えられたとき もう一方の集合の条件付き分布もガウス分布になる がガウス分布なら
条件付きガウス分布 ガウス分布を求めるというのは 平均ベクトルμと分散共分散行列Σを求める
条件付きガウス分布 この時のベクトルxを2つの部分集合に分ける 対応する平均ベクトルμの分割も定義する
条件付きガウス分布 共分散行列Σも以下のように与えられる 共分散行列Σの逆行列を考える 精度行列と呼ぶ
条件付きガウス分布 ガウス分布の指数部分の二次系式 これに先の値を代入すると (平方完成をおこなうと)
また、xベクトルに関するもの/しないもの分けると
この時の一次の項、二次の項と別々に見る 二次の項: → の分散が
一次の項: → の平均ベクトルが
二変数の確率関数 に対して、 変数Xだけの確率関数 周辺ガウス分布 周辺ガウス分布 周辺確率分布
平方完成し の項を取り出 す
で積分すると 定数 に依存
に依存する項: 積分結果:
周辺分布の分散共分散行列: 平均:
ガウス変数に対するベイ ズの定理 さっきは ガウス分布p(x)から条件付きベクトル p(x_a | x_b), 周辺分布p(x_a)
ガウス分布の最尤推定 データ集合Xの分布パラメータを最尤推定法で求める 対数尤度関数: ... 対数尤度μの導関数を0とすると、平均、分散が求まる μ_ML = ... Σ_ML =
...
逐次推定 データを一点ずつ処理してそれを破棄 最尤推定量μ_MLよりNとN-1分離 解釈: ... もっと汎用的、定式化 Robbins Monroアルゴリズム これは本書で...
• スチューデントのt分布 平均は同じで精度が異なるガウス分布を 無限個 ガウスの無限混合分布 頑健 図@P.101
周期変数 周期性をもつ確率変数を扱う場合は 極座標 フォン・ミーゼス分布
フォン・ミーゼス分布 式 (2.179) 導出は2.176から
混合ガウス分布 単一のガウス分布で表現が難しい時 図(2.21) 式(2.188) 形状はパラメータに依存 パラメータは最尤推定法で求まる 対数尤度関数:式 2.193