4ページで理解するディリクレ過程混合モデル

Transcript

1. XX University 4ページで理解するディリクレ過程 2021.09.20 Abeta

2. 2 クラスタ数固定の混合モデル 混合分布を推定したい。混合分布モデルは下記のように書けた。クラスタ数(混合数)𝐾は固定とする。 𝒙! 𝑁 𝜽 𝛽 𝑃 𝜽|𝛽 𝑃

   𝒙! |𝜽, 𝒛 = 𝑃(𝒙𝒏 |𝜽#! ) Cat(𝒔|𝝅) 𝑠! 𝜶 𝝅 Dir(𝝅|𝜶) 𝐾 𝜶が𝐾次元ベクトル

3. 3 ディリクレ過程混合モデル クラスタ数𝑐を動的にしたい。 𝝅を積分し、ギブスサンプリングにすることで事前クラスタ数を無限にする。 パラメータの推定𝑠! をデータから推定、 𝑠! に対応する𝜽#! をデータから推定、の順に繰り返して求める。 𝑠!

   𝒙! 𝑁 𝜽 𝛽 パラメータは尤度𝑃 𝒔, 𝜽|𝒙 ∝ 𝑃 𝒔 𝑃 𝜽 𝑃 𝒙|𝜽, 𝒔 が最⼤のものを選ぶ 𝑃 𝜽|𝛽 𝑃 𝒙! |𝜽, 𝒔 = 𝑃(𝒙𝒏 |𝜽#! ) 𝑃 𝒔|𝛼 = CRP 𝛼 = ∫ 𝑑𝝅 𝑃 𝒔 𝝅 𝑃 𝝅|𝛼 = ∫ 𝑑𝝅 Cat 𝒔 𝝅 Dir 𝝅| 𝛼! = 𝛼 𝐾 ! 𝑐 ギブスサンプリング𝑃 𝑠𝒊 |𝒔#𝒊 , 𝛼 で𝐾 → ∞の極限を取る 𝛼 どこらへんがディリクレ過程？ → 𝛼と𝑃 𝜽|𝛽 を⼊⼒として𝑃 𝜽$! をディ リクレ過程で⽣成し、𝑃(𝒙𝒏 |𝜽$! )でデー タを⽣成するのがディリクレ過程混合⽣ 成モデル

4. 4 ディリクレ過程の定義 可測空間(Φ, ℱ)の基底分布を𝐺$ 、集中度パラメータを𝛼とする。確率測度𝐺が、 Φのいかなる可測な排他的分 割、 ∪%&' ( 𝐴%

   = Φ, 𝐴% ∩ 𝐴) = ∅, に対して∀𝑟次元確率ベクトル 𝐺 𝐴' , … , 𝐺(𝐴* ) がディリクレ分布Dir 𝛼𝐺$ 𝐴' , … , 𝛼𝐺$ (𝐴* ) に従うとき、 𝐺は ディリクレ過程に従うという。 𝐺 ∼ DP 𝛼, 𝐺$ 𝐺は離散分布𝐺 𝜃 = ∑%&' + 𝜋% 𝛿,,," になる。 𝐴' 𝐴. 𝐴/ 𝐴0 𝐴1 𝐴2 𝜃 𝐺$ 𝐴' 𝐴. 𝐴/ 𝐴0 𝐴1 𝐴2 𝜃 𝐺 𝛼が⼤きいほどクラス タ数が⼤きくなる

5. 5 ディリクレ過程混合モデル再び ディリクレ過程混合モデルによる⽣成モデル 𝐺 𝜃 ∼ DP 𝛼, 𝐺$ 𝜃

   𝜃#! ∼ 𝐺 𝜃 𝒙! ∼ 𝑝 𝒙|𝜃#! 上記の実現であるCRPによるディリクレ過程混合モデル 𝑠' , … , 𝑠3 ∼ CRP 𝛼 𝜃% ∼ 𝐺$ 𝜃|𝛽 𝒙! ∼ 𝑝 𝒙|𝜃#! = 𝑝 𝒙 𝜃, 𝒔 ディリクレ過程混合モデルによる⽣成モデルは、CRPと事前分布からのサンプリングに⼀致する。 𝑃 𝜃#! ∈ 𝐴% |𝜃## , … , 𝜃#!$# ∼ ∫ 𝑑𝐺 𝑃 𝜃#! ∈ 𝐴% |𝐺 𝑃 𝐺|𝜃## , … , 𝜃#!$# = 𝛼 𝑛 − 1 + 𝛼 𝐺$ 𝜃#! + S %&' ( 𝑛% 𝑛 − 1 + 𝛼 𝛿,",,%! = 𝑃 𝑠! ∈ 𝑤456 |𝑠' , … , 𝑠!7' 𝐺$ 𝜃#! + S %&' ( 𝑃 𝑠! ∈ 𝑤% 𝑠' , … , 𝑠!7' 𝑃(𝜃#! = 𝜃% ) !! !" !# !$ !% !& " # !! "! # $ % & '