PRML, Pattern Recognition and Machine Learning chapter 9
2023/11/02 D2 中村
View Slide
目次9.1 K-meansクラスタリング9.2 混合ガウス分布9.3 EMアルゴリズムの解釈9.4 一般のEMアルゴリズム2/56
9. 混合モデルとEM• 観測変数と潜在変数の同時分布を定義すれば、周辺化によって観測変数だけの分布（周辺分布）が得られる。• 比較的複雑な観測変数の周辺分布を、観測変数と潜在変数の同時分布によって表すことで、より扱いやすくできる（9.2~9.3）。• 混合モデルの説明のため K-meansクラスタリング(9.1)について論じた後、EMアルゴリズムについて説明し、K-meansが混合ガウス分布に対するEMアルゴリズムの非確率的極限として解釈できることを見る(9.3)。• 最後に、EMアルゴリズムが常に尤度を増加させる事について説明する(9.4)。3/56
9.1 K-meansクラスタリング• D次元ユークリッド空間上のデータ集合 {𝐱1, 𝐱2, … 𝐱𝑁} について、これらのデータ点を K個のクラスタに分割することを考える。- まずはクラスタ数Kが既知である場合を想定する。• クラスタの平均ベクトルの集合 {𝜇𝑘} を導入する。• {𝜇𝑘} を適切に定め、各データ点をうまく各クラスタに対応させ、各データ点から対応するクラスタの平均 𝜇𝑘への二乗距離の総和を最小化することが目的。• 以上から目的関数 𝐽 を以下のように設計した。- データ点 𝐱𝑛がクラスタ 𝑘 に属する場合 𝑟𝑛𝑘= 1、それ以外は𝑟𝑛𝑘= 0- 目的関数 𝐽 は歪み尺度と呼ばれることもある(9.1)4/56
9.1 K-meansクラスタリング• 目的関数 𝐽 を最小化するために、以下の1.と2.を繰り返す。1. 𝜇𝑘を固定し、 𝑟𝑛𝑘について 𝐽 を最小化2. 𝑟𝑛𝑘を固定し、 𝜇𝑘について 𝐽 を最小化(9.1)step 1: 各データ点から最も近いクラスタ中心 𝜇𝑘を探し、クラスタ 𝑘 に割り当てる。(9.2)step 2: 目的関数を 𝜇𝑘で微分し(式9.3)、得られた解で更新する(式9.4)。(9.3)(9.4)5/56
9.1 K-meansクラスタリング• K=2の具体例(a) 𝜇𝑘を初期化(b) 各データ点を最も近いクラスタに分類(𝜇𝑘固定、 𝑟𝑛𝑘更新)(c) 各クラスタの中心を計算し直す(𝑟𝑛𝑘固定、 𝜇𝑘更新)• 収束するまで同様の操作を繰り返す。(図9.1)6/56
9.1 K-meansクラスタリング• 各ステップでの目的関数 𝐽 の推移(図9.2)〇：𝑟𝑛𝑘の更新〇： 𝜇𝑘の更新繰り返した回数3回目から4回目はJの値がほとんど変わっていない7/56
9.1 K-meansクラスタリング• 画像分割の例- 右の画像のピクセルの色は赤、緑、青の輝度{R, G, B}で決まる。- 元画像の各ピクセルについて{R, G, B}の3次元空間を作る。- K-meansでK個にクラスタリングする- 各データ点（ピクセル）が属するクラスタの中心ベクトル 𝜇𝑘で画像を描き直す。(図9.3)8/56
9.1 K-meansクラスタリング• 画像分割はデータ圧縮になっている。- 元画像について、ピクセル数がNであり、{R, G, B} が3 x 8ビット持っているとき、1枚の画像を送るのに24Nビット必要- K-meansを適用して全てのピクセルを代表ベクトル 𝜇𝑘で表したときについて考える。➢各ピクセルについて、K種類のクラスタのうちどれに属するかを表すのに log2Kビット必要であり、トータルで Nlog2K ビット必要。➢K種類の 𝜇𝑘の数値を送るのに24Kビット必要。➢合計で Nlog2K + 24K ビット- 前ページ図9.3の元画像は240*180ピクセルで構成されており、24Nを計算すると1,036,800 ビット- K-meansで減色した場合、K=2 → 43,248ビット(4.2%)、K=10 → 173,040ビット(16.7%)• ※K-meansの説明のため画像分割のデータ圧縮比を調べたが、良い圧縮器を作りたいなら例えば5x5のピクセルをまとめる等、もっといい方法がある。9/56
目次9.1 K-meansクラスタリング9.2 混合ガウス分布9.3 EMアルゴリズムの解釈9.4 一般のEMアルゴリズム10/56
9.2 混合ガウスモデル• EMアルゴリズムに入るために潜在変数を使った混合ガウス分布を導入- 2章で、混合ガウス分布はガウス分布の線形重ね合わせで書けることを見た。- ここにK次元の2値確率変数 𝐳 を導入する。- K個の要素のうち、どれか一つ 𝑧𝑘だけが1で、他は0の変数（1-of-K）➢ 𝐳 = (0, 0, … , 1, … , 0)- つまり、 𝑧𝑘∈ {0, 1} かつ σ𝑘=1𝐾 𝑧𝑘= 1- 𝐳 の周辺分布は混合係数 𝜋𝑘によって決まるとする。- ただし 𝜋𝑘は以下を満たす。(9.8)(9.9)11/56
9.2 混合ガウスモデル• 𝐳 を1-of-K で表したので、 𝑝(𝐳) は 𝜋𝑘を使って以下のように書ける。• 𝐳 が与えられたときの 𝐱 の条件付確率は以下• 𝐳 について周辺化すると2章でみた混合ガウス分布が出てくる（演習9.3）。• ここまでで、陽に潜在変数 𝐳 を含む混合ガウス分布の表現方法を見出したので、2章で扱った 𝑝(𝐱) だけでなく 𝑝(𝐱, 𝐳) を使った議論が可能になった。(9.10)(9.11)(9.12)(𝑧𝑘= 1 の場合しか残らない)12/56
9.2 混合ガウスモデル• 𝐱 を与えられた状態での 𝐳 の条件付き確率 𝛾(𝑧𝑘) について考える。𝛾 𝑧𝑘= 𝑝 𝑧𝑘= 1 𝐱 =𝑝 𝐱, 𝑧𝑘= 1𝑝 𝐱=𝑝 𝐱 𝑧𝑘= 1 𝑝 𝑧𝑘= 1σ𝑗=1𝐾 𝑝 𝐱 𝑧𝑗= 1 𝑝 𝑧𝑗= 1=𝜋𝑘𝒩 𝐱 𝝁𝑘, 𝚺𝑘σ𝑗=1𝐾 𝜋𝑗𝒩 𝐱|𝝁𝑗, 𝚺𝑗- 𝜋𝑘を 𝑧𝑘= 1 となる現象の事前確率、 𝛾 𝑧𝑘を 𝐱 を観測した時の事後確率とみなせる。- 分母：1~Kの全ての要素についての混合係数×ガウス分布の和- 分子： 𝑘 番目の混合係数×ガウス分布- 𝛾 𝑧𝑘は、混合要素 𝑘 が 𝐱 の観測を説明する度合いを表す負担率として解釈できる。(9.13)13/56
9.2 混合ガウスモデル• 同時分布 𝑝 𝐱, 𝐳 = 𝑝 𝐳 𝑝(𝐱|𝐳) からのサンプルは図(a)のように示せる。• 周辺分布 𝑝(𝐱) は図(b)• 各データ点の負担率を計算して色にグラデーションをかけたのが図(c)• (a)のような同時分布が分かっているデータ集合は完全、(b)のような周辺分布しか分かっていないデータ集合は不完全と呼ばれる。(図9.5)14/56
9.2.1 最尤推定• データ集合 {𝐱1, 𝐱2, … 𝐱𝑁} について、混合ガウス分布を当てはめる問題を考える。- 1つのデータ点はD次元のベクトルであり、N×D行列 X で表す。- 潜在変数は 𝐳𝑛T を行ベクトルとするN×K行列 Z で表す。𝐗 =𝑥11⋯ 𝑥1𝐷⋮ ⋱ ⋮𝑥𝑁1⋯ 𝑥𝑁𝐷𝐙 =𝑧11⋯ 𝑧1𝐾⋮ ⋱ ⋮𝑧𝑁1⋯ 𝑧𝑁𝐾• 対数尤度を計算していく。𝑝 𝐗|𝝅, 𝝁, 𝚺 = ෑ𝑛=1𝑁𝑝 𝐱𝑛𝝅, 𝝁, 𝚺 = ෑ𝑛=1𝑁𝑘=1𝐾𝜋𝑘𝒩 𝐱|𝝁𝑘, 𝚺𝑘ln𝑝 𝐗|𝝅, 𝝁, 𝚺 = ln ෑ𝑛=1𝑁𝑘=1𝐾𝜋𝑘𝒩 𝐱|𝝁𝑘, 𝚺𝑘= 𝑛=1𝑁ln 𝑘=1𝐾𝜋𝑘𝒩 𝐱|𝝁𝑘, 𝚺𝑘(9.12)(9.14)15/56
9.2.1 最尤推定• 前ページで求めた対数尤度の最大化は、特異性の存在に起因する重要な問題がある。- 混合ガウス分布では単純な最尤推定が使えないという話• 単純化のため、各混合要素の共分散行列が 𝜎𝑘2𝐈 の等方ガウス分布だとする。- 混合モデルの 𝑗 番目の平均 𝝁𝑗が、データ集合 {𝐱1, 𝐱2, … 𝐱𝑁} のうち1点と等しいとする。➢ すなわち、 𝝁𝑗= 𝐱𝑛となる 𝐱𝑛が存在するケースについて考える。- このデータ点は、尤度関数に対して次式の形で寄与する。(2.43)(9.15)- この式から、𝜎𝑗 → 0 のときに対数尤度が無限大に発散することが分かる。➢ 𝝁𝑗= 𝐱𝑛となる 𝐱𝑛が存在する場合は 𝝁𝑗や 𝜎𝑗の微分ををしても陽な解が得られないということになる。- このため、混合ガウス分布の形を決める際、対数尤度の最大化は不良設定問題である。➢ ベイジアンアプローチ (§10.1) でこれを解決できる。16/56
9.2.1 最尤推定• １つの混合要素でガウス分布の分散が 0 に近づいている図• もう一つ、K個の混合要素の入れ替えに対して、同等な解が K! 個あるという問題がある。ln𝑝 𝐗|𝝅, 𝝁, 𝚺 = 𝑛=1𝑁ln 𝑘=1𝐾𝜋𝑘𝒩 𝐱|𝝁𝑘, 𝚺𝑘- この問題は、「識別可能性の問題」として知られている。- しかし、良い密度モデルとしての混合ガウス分布を見つけるという目的には関係ない。➢ （等価な解でも良いモデルであれば問題にならない）(9.14)(図9.7)17/56
9.2.2 混合ガウス分布のEMアルゴリズム• EMアルゴリズムの導入• まず尤度関数が最大点において満たすべき条件を書き下す。- 尤度関数を平均ベクトル 𝝁𝑘で微分して 0 とおく（途中式は次ページ）。𝜕𝜕𝝁𝑘ln𝑝 𝐗 𝜋, 𝝁𝑘, 𝚺𝑘= 𝑛=1𝑁𝜋𝑘𝒩 𝐱𝑛𝝁𝑘, 𝚺𝑘σ𝑗𝜋𝑗𝒩 𝐱𝑛𝝁𝑗, 𝚺𝑗𝚺𝑘−1 𝐱𝑛− 𝝁𝑘= 0- 左からΣ𝑘をかけて整理すると以下のようになる。𝑛=1𝑁𝛾(𝑧𝑛𝑘) 𝐱𝑛− 𝝁𝑘𝑛=1𝑁𝛾 𝑧𝑛𝑘= 0𝝁𝑘=1𝑁𝑘𝑛=1𝑁𝛾(𝑧𝑛𝑘) 𝐱𝑛, 𝑤ℎ𝑒𝑟𝑒 𝑁𝑘= 𝑛=1𝑁𝛾(𝑧𝑛𝑘)- 𝑁𝑘はクラスタ k に属する実効的なデータ点の数になっている。- 平均ベクトル 𝝁𝑘は負担率×データ点の和を実行的なデータ数で割った形になっている。||𝛾(𝑧𝑛𝑘)(9.17) (9.18)18/56
9.2.2 混合ガウス分布のEMアルゴリズム• 多次元ガウス分布, 平均ベクトル微分の途中式19/56
9.2.2 混合ガウス分布のEMアルゴリズム• 尤度関数を 𝚺𝑘で微分• 𝜋𝑘で微分- 𝜋𝑘は混合係数であり、和が 1 になるという制約があるのでラグランジュ- 両辺に 𝜋𝑘をかけて k について和をとる。𝑘=1𝐾𝑛=1𝑁𝜋𝑘𝒩 𝐱𝑛𝝁𝑘, 𝚺𝑘σ𝑗𝜋𝑗𝒩 𝐱𝑛𝝁𝑗, 𝚺𝑗+ 𝑘=1𝐾𝜋𝑘𝜆 = 0𝜆 = − 𝑘=1𝐾𝑛=1𝑁𝛾 𝑧𝑛𝑘= − 𝑘=1𝐾𝑁𝑘= −𝑁(9.19)(9.20)(9.21)= 𝛾(𝑧𝑛𝑘)𝑁𝑘= 𝑛=1𝑁𝛾(𝑧𝑛𝑘)20/56
9.2.2 混合ガウス分布のEMアルゴリズム• 式変形の続き- (9.21)の両辺に 𝜋𝑘をかけて、前ページの 𝜆 = −𝑁 で 𝜆 を消去𝑛=1𝑁𝜋𝑘𝒩 𝐱𝑛𝝁𝑘, 𝚺𝑘σ𝑗𝜋𝑗𝒩 𝐱𝑛𝝁𝑗, 𝚺𝑗+ 𝜋𝑘𝜆 = 0𝑁𝑘+ 𝜋𝑘−𝑁 = 0𝜋𝑘=𝑁𝑘𝑁- k 番目の要素に関する混合係数は、その要素の全データ点に対する負担率の平均で与えられる。21/56
9.2.2 混合ガウス分布のEMアルゴリズム• ここまでで 𝝁𝑘, 𝚺𝑘, 𝜋𝑘について書き下してきたが、全て負担率を含んでおり、混合モデルのパラメータについて陽な解が得られたわけではない。𝝁𝑘=1𝑁𝑘𝑛=1𝑁𝛾(𝑧𝑛𝑘) 𝐱𝑛𝚺𝑘=1𝑁𝑘𝑛𝑁𝛾 𝑧𝑛𝑘𝐱𝑛− 𝝁𝑘𝐱𝑛− 𝝁𝑘T𝜋𝑘=𝑁𝑘𝑁=σ𝑛=1𝑁 𝛾 𝑧𝑛𝑘𝑁• しかし、この３つの式は最尤推定解を得るための更新式の存在を示唆している。1. Eステップ (expectation step)：負担率 𝛾(𝑧𝑛𝑘) の計算𝛾(𝑧𝑛𝑘) =𝜋𝑘𝒩 𝐱𝑛𝝁𝑘, 𝚺𝑘σ𝑗𝜋𝑗𝒩 𝐱𝑛𝝁𝑗, 𝚺𝑗2. Mステップ (maximization step)：混合モデルのパラメータ 𝜇𝑘, Σ𝑘, 𝜋𝑘の計算Eステップで得られた 𝛾(𝑧𝑛𝑘) を使って (9.17), (9.22) を更新→ (9.17)で計算した新しい平均を使って(9.19)の共分散行列を更新する。- この更新が常に尤度関数を増加させることは9.4節で示す。(9.22)(9.19)(9.17)22/56
9.2.2 混合ガウス分布のEMアルゴリズム• K-means で使ったのと同じデータをEMアルゴリズムでクラスタリング• K=2の混合ガウスモデルについて、K-meansの時と同じ点に平均ベクトルを起き、共分散行列は単位行列の倍数を用いている。(図9.8)• (a)- 初期化した様子。ガウス分布の標準偏差の等高線を示している。• (b)- 負担率の計算• (c)- 混合モデルのパラメータを更新• 実用上は、混合モデルのパラメータを更新した後に対数尤度関数を計算し、増加量が所定の値よりも小さくなった時に収束したと判断する。23/56
9.2 混合ガウス分布のEMアルゴリズムのまとめ𝑁𝑘= 𝑛=1𝑁𝛾(𝑧𝑛𝑘)24/56
目次9.1 K-meansクラスタリング9.2 混合ガウス分布9.3 EMアルゴリズムの解釈9.4 一般のEMアルゴリズム25/56
9.3 EMアルゴリズムのもう一つの解釈• EMアルゴリズムの目的は、潜在変数を含むモデルにおいて最尤解を見つけ出すこと。- 全てのモデルパラメータの集合を 𝜽 で表すと、以下のように書ける。𝐗 =𝑥11⋯ 𝑥1𝐷⋮ ⋱ ⋮𝑥𝑁1⋯ 𝑥𝑁𝐷𝐙 =𝑧11⋯ 𝑧1𝐾⋮ ⋱ ⋮𝑧𝑁1⋯ 𝑧𝑁𝐾- 𝑝(𝐗, 𝐙|𝜽) が指数型分布族であったとしても、Zについて和をとると周辺分布 𝑝(𝐗|𝜽) 指数型分布族ではなくなり、最尤解は結果として複雑な形になってしまう。➢ （解析的な解を得ることが難しいのでEMアルゴリズムが役立つということが言いたい？）(9.29)• データ集合 {𝐗, 𝐙} を完全データ集合と呼び、実際の観測データ 𝐗 は不完全と呼ぶ。- 本来ならln𝑝(𝐗, 𝐙|𝜽)（完全データ対数尤度関数）を求めたいが、実際には Z は与えられない。- そこで、事後確率 𝑝(𝐙|𝐗, 𝜽) を使って ln𝑝(𝐗, 𝐙|𝜽) の期待値を最大化することを考える。- 事後確率の計算には更新前の 𝜽𝑜𝑙𝑑 を使い、期待値を最大化する𝜽𝑛𝑒𝑤 を求める。➢ この期待値を 𝒬(𝜽, 𝜽𝑜𝑙𝑑) と表記する。この期待値を計算する。𝒬 𝜽, 𝜽𝑜𝑙𝑑 = 𝔼𝐙|𝐗,𝜽𝑜𝑙𝑑ln𝑝 𝐗, 𝐙 𝜽 = 𝐙𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 ln𝑝(𝐗, 𝐙|𝜽) (9.30)26/56
9.3 EMアルゴリズムのもう一つの解釈• 次に、期待値 𝒬 𝜽, 𝜽𝑜𝑙𝑑 を最大化する𝜽𝑛𝑒𝑤 を計算する。- 𝒬 𝜽, 𝜽𝑜𝑙𝑑 の計算において、対数は同時分布に対して直接作用しているため、計算は容易。➢ 対数周辺尤度関数➢ 𝒬 𝜽, 𝜽𝑜𝑙𝑑𝒬 𝜽, 𝜽𝑜𝑙𝑑 = 𝔼𝐙|𝐗,𝜽𝑜𝑙𝑑ln𝑝 𝐗, 𝐙 𝜽 = 𝐙𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 ln𝑝(𝐗, 𝐙|𝜽)(9.32)27/56
9.3 EMアルゴリズムのもう一つの解釈• 一般化したEMアルゴリズムのまとめ28/56
9.3 EMアルゴリズムのもう一つの解釈• EMアルゴリズムはMAP推定にも使える。- 𝒬 𝜽, 𝜽𝑜𝑙𝑑 は以下のような式であったが、𝒬 𝜽, 𝜽𝑜𝑙𝑑 = 𝐙𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 ln𝑝(𝐗, 𝐙|𝜽)- ここに 𝜽 の事前分布を導入し、𝒬𝑀𝐴𝑃𝜽, 𝜽𝑜𝑙𝑑 = 𝐙𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 ln 𝑝 𝐗, 𝐙 𝜽 𝑝 𝜽= 𝐙𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 ln𝑝 𝐗, 𝐙 𝜽 + 𝐙𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 ln𝑝 𝜽= 𝒬 𝜽, 𝜽𝑜𝑙𝑑 + ln𝑝 𝜽- 事前分布を適切に選ぶことができるのであれば、図9.7で示したような、混合ガウス分布で１つ以上の要素の分散が 0 に近づくことで尤度関数が発散する問題を回避することができる。(図9.7再掲)29/56
9.3.1 混合ガウス分布再訪• EMアルゴリズムの見方を、混合ガウスモデルの場合に適用して考察する。- 一般化したEMアルゴリズムと混合ガウスモデルのEMアルゴリズムの比較• 今、Z が与えられているとして、完全データ集合 {𝐗, 𝐙} の尤度の最大化を考える。𝐗 =𝑥11⋯ 𝑥1𝐷⋮ ⋱ ⋮𝑥𝑁1⋯ 𝑥𝑁𝐷𝐙 =𝑧11⋯ 𝑧1𝐾⋮ ⋱ ⋮𝑧𝑁1⋯ 𝑧𝑁𝐾- 対数をとると、(9.10)(9.11)(9.35)(9.36)30/56
9.3.1 混合ガウス分布再訪• 不完全データの対数尤度関数 ln𝑝(𝐗|𝝁, 𝚺, 𝝅) のときは対数の中にガウス分布の和が入っていたので複雑になっており、解を得ることが難しかった。• 潜在変数を導入し、完全データの対数尤度関数ではこのような問題は起きず、より簡便に取り扱えるようになった。- 対数が直接ガウス分布に作用するので、解析的に解ける。➢ 𝝁𝒌, 𝚺𝒌については２章の単一のガウス分布と同じ。➢ 𝜋𝑘は以下(9.36)(9.14)(9.37)31/56
9.3.1 混合ガウス分布再訪• σ𝑘=1𝐾 𝜋𝑘= 1 の制約を考えて、ラグランジュで解く。ℒ = 𝑛=1𝑁𝑘=1𝐾𝑧𝑛𝑘{ln𝜋𝑘+ ln𝒩(𝐱𝑛|𝝁𝑘, 𝚺𝑘)} − 𝜆 𝑘=1𝐾𝜋𝑘− 1𝜕𝜕𝜋𝑘ℒ =σ𝑛=1𝑁 𝑧𝑛𝑘𝜋𝑘− 𝜆 = 0 (1)- (1) の両辺に 𝜋𝑘をかけて 𝑘 で和をとる。𝑘=1𝐾𝑛=1𝑁𝑧𝑛𝑘− 𝜆 = 0𝜆 = 𝑁 ∵ 𝑘=1𝐾𝑧𝑛𝑘= 1- (1) から 𝜆 を消去𝜋𝑘=σ𝑛=1𝑁 𝑧𝑛𝑘𝜆=1𝑁𝑛=1𝑁𝑧𝑛𝑘32/56
9.3.1 混合ガウス分布再訪• 実際には Z は与えられないので、𝑝(𝐙|𝐗, 𝜽𝑜𝑙𝑑) を使って ln𝑝 𝐗, 𝐙 𝜽 の期待値を求めるのであった。- ln𝑝 𝐗, 𝐙 𝜽 の中で、観測できない 𝑧𝑛𝑘について期待値をとる。𝔼𝐙|𝐗,𝜽𝑜𝑙𝑑ln𝑝 𝐗, 𝐙 𝜽 = 𝔼𝐙|𝐗,𝜽𝑜𝑙𝑑𝑛=1𝑁𝑘=1𝐾𝑧𝑛𝑘ln𝜋𝑘+ ln𝒩 𝐱𝑛𝝁𝑘, 𝚺𝑘= 𝑛=1𝑁𝑘=1𝐾𝔼𝐙|𝐗,𝜽𝑜𝑙𝑑[𝑧𝑛𝑘] ln𝜋𝑘+ ln𝒩 𝐱𝑛𝝁𝑘, 𝚺𝑘- あるデータ点 n について、 𝑝(𝐳𝑛|𝐱𝑛, 𝝁𝑘, 𝚺𝑘) の事後分布に関する指示変数 𝐳𝑛の期待値を求めたい。➢ まずはベイズの定理で 𝑝(𝐳𝑛|𝐱𝑛, 𝝁𝑘, 𝚺𝑘) の計算𝑝(𝐳𝑛𝐱𝑛, 𝝁𝑘, 𝚺𝑘=𝑝 𝐱𝑛, 𝐳𝑛𝑝 𝐱𝑛=𝑝 𝐱𝑛𝐳𝑛𝑝 𝐳𝑛σ𝐳𝑛𝑝 𝐱𝑛𝐳𝑛𝑝 𝐳𝑛=ς𝑘′=1𝐾 𝜋𝑘𝒩 𝐱𝑛𝝁𝑘′, 𝚺𝑘′𝑧𝑛𝑘′σ𝐳𝑛ς𝑘=1𝐾 [𝜋𝑘𝒩 𝐱𝑛𝝁𝑘, 𝚺𝑘]𝑧𝑛𝑘33/56
9.3.1 混合ガウス分布再訪• 𝐳𝑛の期待値を計算𝑝(𝐳𝑛𝐱𝑛, 𝝁𝑘, 𝚺𝑘=ς𝑘′=1𝐾 𝜋𝑘′𝒩 𝐱𝑛𝝁𝑘′, 𝚺𝑘′𝑧𝑛𝑘′σ𝐳𝒏[𝜋𝑘𝒩 𝐱𝑛𝝁𝑘, 𝚺𝑘]𝑧𝑛𝑘… …𝐳𝑛= 𝑧𝑛1, 𝑧𝑛2, … 𝑧𝑛𝑘, … 𝑧𝑛𝐾𝑝 𝑧𝑛𝑘= ෑ𝑘=1𝐾𝜋𝑘𝑧𝑛𝑘Σ𝐳𝑛は、考え得る 𝐳𝒏すべてについての和を表している。𝑧𝑛1= 1 1,0, … 0, … 0𝑧𝑛2= 1 0,1, … 0, … 0𝑧𝑛𝑘= 1 0,0, … 1, … 0𝑧𝑛𝐾= 1 (0,0, … 0, … 1)K(9.40)𝔼𝐳𝑛|𝐱𝑛,𝝁𝑘,𝚺𝑘𝑧𝑛𝑘= 𝐳𝑛𝑧𝑛𝑘𝑝(𝐳𝑛𝐱𝑛, 𝝁𝑘, 𝚺𝑘=σ𝐳𝑛𝑧𝑛𝑘ς𝑘′=1𝐾 𝜋𝑘′𝒩 𝐱𝑛𝝁𝑘′, 𝚺𝑘′𝑧𝑛𝑘′σ𝐳𝒏ς𝑗=1𝐾 [𝜋𝑗𝒩 𝐱𝑛𝝁𝑗, 𝚺𝑗]𝑧𝑛𝑗=0 × 𝜋1𝒩 𝐱𝑛𝝁1, 𝚺1+ ⋯ + 1 × 𝜋𝑘𝒩 𝐱𝑛𝝁𝑘, 𝚺𝑘+ ⋯ 0 × 𝜋𝐾𝒩 𝐱𝑛𝝁𝐾, 𝚺𝐾𝜋1𝒩 𝐱𝑛𝝁1, 𝚺1+ ⋯ + 𝜋𝐾𝒩 𝐱𝑛𝝁𝐾, 𝚺𝐾≡ 𝛾 𝑧𝑛𝑘34/56
9.3.1 混合ガウス分布再訪• 𝐳𝑛の期待値を計算すると負担率そのものになるので、同時分布は以下で表される。𝔼𝐙|𝐗,𝜽𝑜𝑙𝑑ln𝑝 𝐗, 𝐙 𝜽 = 𝔼𝐙|𝐗,𝜽𝑜𝑙𝑑𝑛=1𝑁𝑘=1𝐾𝑧𝑛𝑘ln𝜋𝑘+ ln𝒩 𝐱𝑛𝝁𝑘, 𝚺𝑘= 𝑛=1𝑁𝑘=1𝐾𝔼𝐙|𝐗,𝜽𝑜𝑙𝑑[𝑧𝑛𝑘] ln𝜋𝑘+ ln𝒩 𝐱𝑛𝝁𝑘, 𝚺𝑘= 𝑛=1𝑁𝑘=1𝐾𝛾 𝑧𝑛𝑘ln𝜋𝑘+ ln𝒩 𝐱𝑛𝝁𝑘, 𝚺𝑘• 以上の結果から、一般的なEMアルゴリズムと混合ガウス分布の関係を考察しながら対数尤度の式を導出できた。35/56
9.3.2 K-means との関連• K-means と混合ガウス分布のEMアルゴリズムを比較すると、強い類似性があることが明らかになる。- K-means は、各データ点に対してクラスタをハードに割り当てる- EMアルゴリズムは、事後確率 𝑝(𝐙|𝐗) に基づいてクラスタをソフトに割り当てる• 混合ガウス分布のEMアルゴリズムのある極限としてK-meansが導かれることを説明する。- 各ガウス要素の共分散行列が 𝜖𝐈 で与えられるケースについて考える。➢ 𝜖 は分散パラメータ、𝐈 は単位行列𝑝 𝐱 𝝁𝑘, 𝚺𝑘=12𝜋𝐷21𝜖𝐈12exp −12𝐱 − 𝝁𝑘T 𝜖𝐈 −1 𝐱 − 𝝁𝑘=12𝜋𝜖𝐷2exp −12𝜖𝐱 − 𝝁𝑘2𝛾 𝑧𝑛𝑘=𝜋𝑘exp −12𝜖𝐱 − 𝝁𝑘2σ𝑗=1𝐾 𝜋𝑗exp −12𝜖𝐱 − 𝝁𝑗2(9.41)(9.42)36/56
9.3.2 K-means との関連- ここで、 𝐱𝑛− 𝝁𝑗2が最小になる 𝑗 を 𝑗∗ とおく。- 分散パラメータ 𝜖 → 0 を考えると、分母において 𝑗∗ に関する項が最も遅く 0 に近づく。- よって、分母と分子に 𝜋𝑗∗ exp − 12𝜖𝐱𝑛− 𝝁𝑗∗2を持つ 𝛾 𝑧𝑛𝑗∗だけが 1 に収束し、それ以外の負担率は 0 に収束していく。𝛾 𝑧𝑛𝑗∗ =𝜋𝑗∗ exp −12𝜖𝐱𝑛− 𝝁𝑗∗2σ𝑗=1𝐾 𝜋𝑗exp −12𝜖𝐱𝑛− 𝝁𝑗2- よってこの極限では、データ点からクラスターへのハードな割り当て（𝑟𝑛𝑗∗） になっている。➢ ソフトな 𝛾 𝑧𝑛𝑘からハードな 𝑟𝑛𝑘に変わっている• 尤度最大化についても、極限を考えれば K-means の歪み尺度 𝐽 の最小化と同等になっている。(9.43)(9.1)37/56
9.3.3 混合ベルヌーイ分布• 混合ガウス分布では連続値変数の分布について考えた。• 別の例として、ベルヌーイ分布で表される2値の変数の混合について議論する。- D個の2値変数 𝑥𝑖(𝑖 = 1, 2 … 𝐷) を考える。- パラメータ 𝝁 = 𝜇1, … 𝜇𝐷T を持つ場合、𝐱 = 𝑥1, … 𝑥𝐷Tベルヌーイ分布は以下𝑝 𝐱 𝝁 = ෑ𝑖=1𝐷𝜇𝑖𝑥𝑖 1 − 𝜇𝑖(1−𝑥𝑖)- 𝝁 が与えられている場合、各変数 𝑥𝑖は独立なので、平均と共分散行列は以下𝔼 𝐱 = 𝝁var 𝑥𝑖= 𝔼 𝑥 − 𝔼 𝑥𝑖2= 𝔼 𝑥2 − 2𝔼 𝑥𝑖𝑥𝑖+ 𝔼 𝑥𝑖2= 𝔼 𝑥𝑖2 − 𝔼 𝑥𝑖2= 𝜇𝑖− 𝜇𝑖2cov 𝐱 = diag 𝜇𝑖(1 − 𝜇𝑖)(9.44)𝔼 𝑥𝑖2 = 𝑥𝑖𝑥𝑖2𝑝 𝑥𝑖𝜇𝑖= 01𝑥𝑖2𝑝 𝑥𝑖𝜇𝑖= 𝜇𝑖38/56
9.3.3 混合ベルヌーイ分布• K個の要素からなる混合ベルヌーイ分布を考える。• 混合ベルヌーイ分布の平均と分散は以下（演習9.12）。(9.47)(9.48)(9.49)(9.50)39/56
9.3.3 混合ベルヌーイ分布• N個のデータ集合 𝐗 = {𝐱1, … 𝐱𝑁} が与えられているとき、対数尤度は以下- 周辺分布の尤度なので対数の中に 𝑝(𝐱𝑛|𝝁𝑘) の和が入っており、最尤解は陽に得られない。➢ 潜在変数を導入し、EMアルゴリズムを利用する。• 混合ガウス分布のときと同じ 1-of-K 符号化した 𝐳 = (𝑧1, … , 𝑧𝐾) を用意する。• 𝐳を与えられた条件下での 𝐱 の確率と、 𝐳 の確率は以下で表される。• 完全データ対数尤度を書き下すと、以下になる。対数が 𝜇𝑘𝑖に直接作用している。(9.51)(9.52)(9.53)(9.54)40/56
9.3.3 混合ベルヌーイ分布• 期待値をとる（混合ガウス分布と同じ）。• 負担率の計算• 混合ガウス分布のとき(資料p18-20)と同じように 𝜇𝑘と 𝜋𝑘で微分することで、EMアルゴリズムに使う更新式が得られる。(9.55)(9.56)(9.57)(9.58)(9.59)(9.60)41/56
9.3.3 混合ベルヌーイ分布• 混合ベルヌーイ分布は手書き文字の分類などに利用可能- 数字の 2, 3, 4 の手書き文字データが600個ある。データ集合 𝐗 = {𝐱1, … 𝐱600} にあたる。- ピクセル数が 𝐷 とすると、𝐱𝑛及び 𝝁𝑘の次元数が 𝐷- 𝑥𝑖は2値変数であり、 𝑥𝑖= 1 のピクセルは黒、 𝑥𝑖は確率 𝜇𝑖で黒くなる- 数字の 2, 3, 4 について、クラス 𝑘 = {2, 3, 4} を割り当てる。- EMアルゴリズムを適用すれば、クラス毎に 𝐷 次元ベクトル 𝝁𝑘が得られる。ピクセル画像𝜇𝟐1𝜇𝟐2…𝜇𝟐𝐷k = 2𝜇𝟑1𝜇𝟑2…𝜇𝟑𝐷k = 3𝜇𝟒1𝜇𝟒2…𝜇𝟒𝐷k = 442/56
9.3.3 混合ベルヌーイ分布• 適切に初期値を選んでEMアルゴリズムを10回繰り返した。- 混合係数 𝜋𝑘は 1/K で初期化、 𝜇𝑘𝑖は (0.25, 0.75) の一様分布からサンプリングで初期化- 下図は 𝜇𝑘𝑖の値をグレースケールで表したもの➢ 0 が 白、1が黒• 単一のベルヌーイ分布だと下図のようになる。- 全てのクラスを一つのベルヌーイ分布で学習しているので、データセットから各ピクセルが黒くなる確率を平均で出しているだけk = 2 k = 4 k = 343/56
目次9.1 K-meansクラスタリング9.2 混合ガウス分布9.3 EMアルゴリズムの解釈9.4 一般のEMアルゴリズム44/56
9.4 一般のEMアルゴリズム• ここまでやってきたEMアルゴリズムは、潜在変数を持つ確率モデルの最尤解を求めるための一般的な手法である。• 9.4 節では、EMアルゴリズムが毎ステップ確かに尤度関数を極大化させることを示す。- これまでと同様に、 𝑝 𝐗 𝜽 の最大化が困難であるが 𝑝 𝐗, 𝐙 𝜽 の最大化は容易であると仮定する。ln𝑝 𝐗 𝜃 = ln 𝐙𝑝 𝐗, 𝐙 𝜽• 対数が同時確率の和に作用しているので解析的な解が得られない。• ここに、潜在変数について分布 𝑞(𝐙) を導入すると、 ln𝑝 𝐗 𝜃 は以下のように2つの項に分解できる。• ℒ 𝑞, 𝜽 は evidence lower bound と呼ばれる。- 周辺尤度は marginal likelihood 以外に evidence と呼ばれることもあるため。(9.70)(9.70)(9.71)(9.72)45/56
9.4 一般のEMアルゴリズム• 導出①ln𝑝 𝐗 𝜃 = 𝐙𝑞 𝐙 ln𝑝 𝐗 𝜽= 𝐙𝑞 𝐙 ln𝑝 𝐗, 𝐙 𝜽𝑝 𝐙|𝐗, 𝜽= 𝐙𝑞 𝐙 ln𝑝 𝐗, 𝐙 𝜽𝑞 𝐙𝑞 𝐙𝑝 𝐙|𝐗, 𝜽= 𝐙𝑞 𝐙 ln𝑝 𝐗, 𝐙 𝜽𝑞 𝐙+ 𝐙𝑞 𝐙 ln𝑞 𝐙𝑝 𝐙|𝐗, 𝜽= ℒ 𝑞, 𝜽 + KL 𝑞||𝑝𝐙𝑞(𝐙) = 1• KLダイバージェンスが非負 (§1.6) であるので、KL 𝑞||𝑝 = ln𝑝 𝐗 𝜃 − ℒ 𝑞, 𝜽 ≥ 0ln𝑝 𝐗 𝜃 ≥ ℒ 𝑞, 𝜽- ℒ 𝑞, 𝜽 が evidence lower bound であることが分かる。46/56
1.6.1 復習• KL(𝑝| 𝑞 は非負であることの証明- 関数 𝑓 𝑥 で、全ての弦が関数に乗っているかそれよりも上であるとき凸であると呼ぶ。- 図1.31で、a と b を 1 − 𝜆 : 𝜆 に分割する 𝑥𝜆を考える。- 𝑥𝜆= 𝜆𝑎 + 1 − 𝜆 𝑏- 𝑓 𝑥 上の点は 𝑓(𝜆𝑎 + 1 − 𝜆 𝑏)- 𝑥𝜆と弦の交点は 𝜆𝑓(𝑎) + 1 − 𝜆 𝑓(𝑏)- 以上より凸関数では、式1.114 が成立する。- 式1.114 から、帰納法を使うと以下が得られる。- 証明は演習1.38- 0 ≤ 𝜆 ≤ 1 で成立するこの式をイェンセンの不等式と呼ぶ。1.114図1.31 𝜆𝑎 + 1 − 𝜆 𝑏𝜆𝑓(𝑎) + (1 − 𝜆)𝑓(𝑏)𝑓(𝜆𝑎 + 1 − 𝜆 𝑏)1.11547/56
1.6.1 復習• 連続変数では次のようになる- 𝜆 (0 ≤ 𝜆 ≤ 1) が 𝑝(𝐱) に置き換わっている• 式1.117 を KLダイバージェンスに適用すると- 𝑓 𝑥 = −ln(𝐱) とし， −ln(𝐱) が凸関数であることと ∫ 𝑞 𝐱 𝑑𝐱 = 1 を利用- 等号は全ての 𝐱 について 𝑝 𝐱 = 𝑞(𝐱) の時に限り成立• KLダイバージェンスは 𝑝 𝐱 と 𝑞(𝐱) のとの隔たりを表す尺度として解釈可能- ただし KL(𝑝| 𝑞 ≠ KL(𝑞| 𝑝 であるため、距離ではないことに注意1.11748/56
9.4 一般のEMアルゴリズム• 導出 ②- 対数周辺尤度にイェンセンの不等式を適用するバージョンln𝑝 𝐗 𝜽 = ln 𝐙𝑝 𝐗, 𝐙 𝜽= ln 𝐙𝑞 𝐙𝑝 𝐗, 𝐙 𝜽𝑞 𝐙ここにイェンセンの不等式（§1.6）を適用𝑓 𝑖=1𝑛𝜆𝑖𝑥𝑖≥ 𝑖=1𝑛𝜆𝑖𝑓(𝑥𝑖) , 𝑤ℎ𝑒𝑟𝑒 𝑖=1𝑛𝜆𝑖= 1ln𝑝 𝐗 𝜽 = ln 𝐙𝑞 𝐙𝑝 𝐗, 𝐙 𝜽𝑞 𝐙≥ 𝐙𝑞 𝐙 ln𝑝 𝐗, 𝐙 𝜽𝑞 𝐙= ℒ 𝑞, 𝜽49/56
9.4 一般のEMアルゴリズム- 対数周辺尤度と lower bound の差分を計算(9.70)ln𝑝 𝐗 𝜽 − 𝐙𝑞 𝐙 ln𝑝 𝐗, 𝐙 𝜽𝑞 𝐙= ln𝑝 𝐗 𝜽 𝐙𝑞 𝐙 − 𝐙𝑞 𝐙 ln𝑝 𝐗, 𝐙 𝜽𝑞 𝐙= 𝐙𝑞 𝐙 ln𝑝 𝐗 𝜽 − ln𝑝 𝐗, 𝐙 𝜽 + ln𝑞 𝐙= 𝐙𝑞 𝐙 ln𝑝 𝐗 𝜽 − ln𝑝 𝐙 𝐗, 𝜽 − ln𝑝 𝐗 𝜽 + ln 𝑞 𝐙= − 𝐙𝑞 𝐙 ln𝑝 𝐙 𝐗, 𝜽𝑞 𝐙= KL 𝑞||𝑝ln𝑝 𝐗 𝜽 − ℒ 𝑞, 𝜽 = KL 𝑞||𝑝式(9.70) のイメージ図9.11ln𝑝 𝐗 𝜽 って負じゃないの？50/56
9.4 一般のEMアルゴリズム• EMアルゴリズムが対数尤度を増加させていくことの説明- Eステップ➢ 現在のパラメータベクトルが 𝜽𝑜𝑙𝑑 であると仮定する。➢ Eステップでは、 𝜽𝑜𝑙𝑑 を固定した状態で、下界 ℒ 𝑞, 𝜽 を𝑞(𝐙) について最大化する。➢ KLダイバージェンスが 0 の時、 ℒ 𝑞, 𝜽 が最大。➢ → 𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 = 𝑞(𝐙) のときに ℒ 𝑞, 𝜽𝑜𝑙𝑑 が最大になる。➢混合ガウス分布でいうところの負担率 𝛾 𝑧𝑛𝑘= 𝑝 𝑧𝑛𝑘= 1 𝐗, 𝜽 の計算KL 𝑞||𝑝 = − 𝐙𝑞 𝐙 ln𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑𝑞 𝐙= 0 ⇔ 𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 = 𝑞(𝐙)図9.11ln𝑝 𝐗 𝜽 = ℒ 𝑞, 𝜽 + KL 𝑞||𝑝𝑞(𝐙) に依存しない 𝜽𝑜𝑙𝑑は固定したまま𝑞を動かして最大化したい→KLDを0にすればよい図9.1251/56
9.4 一般のEMアルゴリズム• EMアルゴリズムが対数尤度を増加させていくことの説明- Mステップ➢ 𝑞 𝐙 = 𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 を固定した状態で、 ℒ 𝑞, 𝜽 をパラメータ 𝜽 について最大化する。➢ ln𝑝 𝐗 𝜽 、KLD も 𝜽 に依存するので勝手に増加する。➢ 𝑞(𝐙)を 𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 に置き換えたときの下界を計算ℒ 𝑞, 𝜽 = 𝐙𝑞 𝐙 ln𝑝 𝐗, 𝐙 𝜽𝑞 𝐙= 𝐙𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 ln𝑝 𝐗, 𝐙 𝜽𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑= 𝑍𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 ln 𝑝 𝐗, 𝐙 𝜽 − 𝑍𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 ln 𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑ln𝑝 𝐗 𝜽 = ℒ 𝑞, 𝜽 + KL 𝑞||𝑝𝜽に依存しているので変化する𝑞 𝐙 = 𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 は固定し、𝜽 について最適化する𝜽に依存しているので変化するこの項は 𝜽 に依存しないので定数𝜽 について最適化するために、この項の微分を計算するので𝑝 𝐗, 𝐙 𝜽 の最大化は容易であると仮定が大事52/56
9.4 一般のEMアルゴリズム 53• EMアルゴリズムが対数尤度を増加させていくことの説明- ℒ 𝑞, 𝜽 の第1項は、事後分布 𝑝(𝐙|𝐗, 𝜽𝑜𝑙𝑑) の基での ln𝑝 𝐗, 𝐙 𝜽 の期待値になっている。ℒ 𝑞, 𝜽 = 𝑍𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 ln 𝑝 𝐗, 𝐙 𝜽 − 𝑍𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 ln 𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑= 𝒬 𝜽, 𝜽𝑜𝑙𝑑 + const.➢ つまりMステップでは、混合ガウス分布で説明した 𝒬 𝜽, 𝜽𝑜𝑙𝑑 の最大化を行っている。- Mステップで ℒ 𝑞, 𝜽 を 𝜽 に対して最適化することで 𝜽𝑛𝑒𝑤 が得られる。➢ このとき、KLDは以下のようになり、０以上の値を持つ。➢ よって、周辺尤度の増加幅は ℒ 𝑞, 𝜽 よりも大きくなる。− 𝐙𝑞 𝐙 ln𝑝 𝐙 𝐗, 𝜽𝑞 𝐙= 𝐙𝑝(𝐙|𝐗, 𝜽𝑜𝑙𝑑) ln𝑝 𝐙 𝐗, 𝜽𝑛𝑒𝑤𝑝(𝐙|𝐗, 𝜽𝑜𝑙𝑑)図9.12 図9.1353/56
9.4 一般のEMアルゴリズム• EMアルゴリズムをパラメータ空間で視覚化- 𝜽𝑜𝑙𝑑 から始め、最初のEステップで事後分布 𝑝(𝐙|𝐗, 𝜽𝑜𝑙𝑑) を計算し、ℒ 𝑞, 𝜽 が導かれる。- Eステップでは KLD=0 になるので、𝑝 𝐗 𝜽𝑜𝑙𝑑)とℒ 𝑞, 𝜽𝑜𝑙𝑑 は一致する。- 接する事の証明 (演習9.25)- 𝜕𝜕𝜽KL 𝑞||𝑝 |𝜽=𝜽𝑜𝑙𝑑= 0 だから、𝜕𝜕𝜽ln𝑝 𝐗 𝜽) =𝜕𝜕𝜽ℒ 𝑞, 𝜽 +𝜕𝜕𝜽KL 𝑞||𝑝𝜕𝜕𝜽ln𝑝 𝐗 𝜽) ቚ𝜽=𝜽𝑜𝑙𝑑=𝜕𝜕𝜽ℒ 𝑞, 𝜽 ቚ𝜽=𝜽𝑜𝑙𝑑54/56
9.4 一般のEMアルゴリズム• EMアルゴリズムをパラメータ空間で視覚化- 次に 𝑞 𝐙 = 𝑝 𝐙 𝐗, 𝜽𝑜𝑙𝑑 を固定した状態で、 ℒ 𝑞, 𝜽 をパラメータ 𝜽 について最大化することで 𝜽𝑛𝑒𝑤 を得る（ Mステップ） 。➢ ℒ 𝑞, 𝜽 を最大化したので 𝜽𝑛𝑒𝑤 が極値になっている。- 𝜽𝑛𝑒𝑤 を使って事後分布 𝑝(𝐙|𝐗, 𝜽𝑜𝑙𝑑) を計算し、ℒ 𝑞, 𝜽 が導かれる。➢ 以降繰り返し55/56
まとめ• 9.1 K-means- 最もシンプルな混合モデルとしてK-meansクラスタリングについて説明した• 9.2 混合ガウス分布- 潜在変数を陽に扱った場合の混合ガウス分布を導入した。- 混合ガウス分布では対数尤度の最大化がに問題がある。- 負担率の計算（Eステップ）と混合モデルのパラメータ更新（Mステップ）によってクラスタリングができることを示した。• 9.3 EMアルゴリズムの解釈- 一般化したEMアルゴリズムを導入し、ガウス分布との関係を比較しながら𝒬 𝜽, 𝜽𝑜𝑙𝑑 を導出した。- 混合ガウス分布において、分散パラメータを0に近づけることで、クラスの割り当てをソフトな負担率からハードな方法に変え、結果的にK-meansと同等であることを導いた。- 混合ガウス分布と混合ベルヌーイ分布において、対数周辺尤度では計算が困難だった微分が、完全データ対数尤度では簡単になることを見た。• 9.4 一般のEMアルゴリズム- EステップとMステップの繰り返しが、常に対数周辺尤度を増加させることを示した。56/56
snkmr
joisino
yamasakih
ssii
florets1
icoxfog417
ynakano
.png){kind=avatar}
academix
ianozsvald
nkmr_rl
tagtag
jrom
danielanewman
jacobian
panda_program
vanstee
palkan
skipperchong
orderedlist
yeseniaperezcruz
rasmusluckow
jlugia
frogandcode