Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
4ページで理解するディリクレ過程混合モデル
Masafumi Abeta
September 20, 2021
Science
0
37
4ページで理解するディリクレ過程混合モデル
Masafumi Abeta
September 20, 2021
Tweet
Share
More Decks by Masafumi Abeta
See All by Masafumi Abeta
物体追跡
abeta
0
22
特徴量記述
abeta
0
27
適応共鳴理論 / Adaptive resonance theory
abeta
0
210
入門統計的因果推論4.4節
abeta
0
71
Lordのパラドックス
abeta
0
150
ウェブ最適化からはじめる機械学習 7章
abeta
1
25
ウェブ最適化からはじめる機械学習 8章
abeta
0
20
Incorporating Convolution Designs into Visual Transformers
abeta
2
410
ウェブ最適化からはじめる機械学習 3章
abeta
1
35
Other Decks in Science
See All in Science
バスケットボールメッシュ生成
kamakiri1225
0
390
深層学習による自然言語処理 輪読会#4 資料
tok41
0
190
Legal NLP - Breaking the Legal Language Barrier ?
danielkatz
PRO
0
1.6k
20220220_球体周りの流れ抗力係数4_simpleFoamで球体周りの定常流れ
kamakiri1225
0
140
深層学習による自然言語処理 輪読会#2 資料
tok41
0
270
統計学実践ワークブック 第16章 重回帰分析 pp.125-127
axjack
0
110
2年ちょっとで18kg 減量した話
kazkanda
0
310
20220217_球体周りの流れ抗力係数3_snappyHexMeshで球体周りのメッシュ作成
kamakiri1225
0
120
The likelihood function and its discontents
dwhgg
0
860
SNLP2021_watanabe.pdf
kentow
0
200
統計的推測の心構え:正しい質問をする
shogo_osawa
0
200
Pythonで学ぶSynthetic Difference in Differences
masa_asa
0
450
Featured
See All Featured
A Modern Web Designer's Workflow
chriscoyier
689
180k
Making Projects Easy
brettharned
98
4.3k
KATA
mclloyd
7
8.6k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
38
12k
Rebuilding a faster, lazier Slack
samanthasiow
62
7.2k
Unsuck your backbone
ammeep
659
55k
How to Ace a Technical Interview
jacobian
265
21k
Happy Clients
brianwarren
89
5.5k
Designing Experiences People Love
moore
130
22k
Bootstrapping a Software Product
garrettdimon
295
110k
Support Driven Design
roundedbygravity
86
8.4k
Bash Introduction
62gerente
596
210k
Transcript
XX University 4ページで理解するディリクレ過程 2021.09.20 Abeta
2 クラスタ数固定の混合モデル 混合分布を推定したい。混合分布モデルは下記のように書けた。クラスタ数(混合数)𝐾は固定とする。 𝒙! 𝑁 𝜽 𝛽 𝑃 𝜽|𝛽 𝑃
𝒙! |𝜽, 𝒛 = 𝑃(𝒙𝒏 |𝜽#! ) Cat(𝒔|𝝅) 𝑠! 𝜶 𝝅 Dir(𝝅|𝜶) 𝐾 𝜶が𝐾次元ベクトル
3 ディリクレ過程混合モデル クラスタ数𝑐を動的にしたい。 𝝅を積分し、ギブスサンプリングにすることで事前クラスタ数を無限にする。 パラメータの推定𝑠! をデータから推定、 𝑠! に対応する𝜽#! をデータから推定、の順に繰り返して求める。 𝑠!
𝒙! 𝑁 𝜽 𝛽 パラメータは尤度𝑃 𝒔, 𝜽|𝒙 ∝ 𝑃 𝒔 𝑃 𝜽 𝑃 𝒙|𝜽, 𝒔 が最⼤のものを選ぶ 𝑃 𝜽|𝛽 𝑃 𝒙! |𝜽, 𝒔 = 𝑃(𝒙𝒏 |𝜽#! ) 𝑃 𝒔|𝛼 = CRP 𝛼 = ∫ 𝑑𝝅 𝑃 𝒔 𝝅 𝑃 𝝅|𝛼 = ∫ 𝑑𝝅 Cat 𝒔 𝝅 Dir 𝝅| 𝛼! = 𝛼 𝐾 ! 𝑐 ギブスサンプリング𝑃 𝑠𝒊 |𝒔#𝒊 , 𝛼 で𝐾 → ∞の極限を取る 𝛼 どこらへんがディリクレ過程? → 𝛼と𝑃 𝜽|𝛽 を⼊⼒として𝑃 𝜽$! をディ リクレ過程で⽣成し、𝑃(𝒙𝒏 |𝜽$! )でデー タを⽣成するのがディリクレ過程混合⽣ 成モデル
4 ディリクレ過程の定義 可測空間(Φ, ℱ)の基底分布を𝐺$ 、集中度パラメータを𝛼とする。確率測度𝐺が、 Φのいかなる可測な排他的分 割、 ∪%&' ( 𝐴%
= Φ, 𝐴% ∩ 𝐴) = ∅, に対して∀𝑟次元確率ベクトル 𝐺 𝐴' , … , 𝐺(𝐴* ) がディリクレ分布Dir 𝛼𝐺$ 𝐴' , … , 𝛼𝐺$ (𝐴* ) に従うとき、 𝐺は ディリクレ過程に従うという。 𝐺 ∼ DP 𝛼, 𝐺$ 𝐺は離散分布𝐺 𝜃 = ∑%&' + 𝜋% 𝛿,,," になる。 𝐴' 𝐴. 𝐴/ 𝐴0 𝐴1 𝐴2 𝜃 𝐺$ 𝐴' 𝐴. 𝐴/ 𝐴0 𝐴1 𝐴2 𝜃 𝐺 𝛼が⼤きいほどクラス タ数が⼤きくなる
5 ディリクレ過程混合モデル再び ディリクレ過程混合モデルによる⽣成モデル 𝐺 𝜃 ∼ DP 𝛼, 𝐺$ 𝜃
𝜃#! ∼ 𝐺 𝜃 𝒙! ∼ 𝑝 𝒙|𝜃#! 上記の実現であるCRPによるディリクレ過程混合モデル 𝑠' , … , 𝑠3 ∼ CRP 𝛼 𝜃% ∼ 𝐺$ 𝜃|𝛽 𝒙! ∼ 𝑝 𝒙|𝜃#! = 𝑝 𝒙 𝜃, 𝒔 ディリクレ過程混合モデルによる⽣成モデルは、CRPと事前分布からのサンプリングに⼀致する。 𝑃 𝜃#! ∈ 𝐴% |𝜃## , … , 𝜃#!$# ∼ ∫ 𝑑𝐺 𝑃 𝜃#! ∈ 𝐴% |𝐺 𝑃 𝐺|𝜃## , … , 𝜃#!$# = 𝛼 𝑛 − 1 + 𝛼 𝐺$ 𝜃#! + S %&' ( 𝑛% 𝑛 − 1 + 𝛼 𝛿,",,%! = 𝑃 𝑠! ∈ 𝑤456 |𝑠' , … , 𝑠!7' 𝐺$ 𝜃#! + S %&' ( 𝑃 𝑠! ∈ 𝑤% 𝑠' , … , 𝑠!7' 𝑃(𝜃#! = 𝜃% ) !! !" !# !$ !% !& " # !! "! # $ % & '