Infer.NETによるLDAの実装

Transcript

1. Welcome to the probabilistic world
2. 某企業でデータマイニングのコンサルタン トをしてます 前職はシステムエンジニアです さらに言うと元々は某国立大学の非常勤研 究員 (いわゆるポス毒です)
3. Microsoft Research Cambridge開発の統 計モデルを.NETに構築するためのライブ ラリ 統計モデルを実装するためのスイスアー ミーナイフ ライセンスはMicrosoft Researchの独自形 式で現時点では商業利用可のライセンスは 存在しない。
4. 自然科学において理論を説明するための具 体的なもの 確率モデルとは統計理論を用いて理論構築 を行う
5. さいころ • 各面が均一に出る (ある面の出る確率は1/6) • 期待値は3.5 (確率と確率変数をかけた総和) 2項分布 • n=1の場合を特にベルヌーイ分布と言う。 多項分布 正規分布 ポアソン分布 などなど
6.  public class FirstExample  {  public static void Main()  {  Variable<bool> firstCoin = Variable.Bernoulli(0.5).Named("firstCoin");  Variable<bool> secondCoin = Variable.Bernoulli(0.5).Named("secondCoin");  Variable<bool> bothHeads = (firstCoin & secondCoin).Named("bothHeads");  InferenceEngine ie = new InferenceEngine();  if (!(ie.Algorithm is VariationalMessagePassing))  {  Console.WriteLine("Probability both coins are heads: "+ie.Infer(bothHeads));  bothHeads.ObservedValue=false;  Console.WriteLine("Probability distribution over firstCoin: " + ie.Infer(firstCoin));  }  else  Console.WriteLine("This example does not run with Variational Message Passing");  }  } first example of Infer.NET from Microsoft Research
7.  Probability both coins are heads: Bernoulli(0.25)  Probability distribution over firstCoin: Bernoulli(0.3333)  最初は2枚のコインが 両方とも表となる確率  次はどちらか若しくは 両方が裏となった場合 に最初のコインが表と なる条件付確率
8. Latent Dirchlet Allocation (潜在的ディリ クレ配分法) 元々は文章からの話題の推定に用いられた 2003年にD.M.Blei, A.Y.Ng, M.I.Jordanが提 案
9. Latent 潜在的 Dirchlet ディリクレ Allocation 配分法
10. 「今何を見ている?ガンダムAGEだよ… えー、今なら、モーレツ宇宙海賊だよ。」 この文章を人間が見れば、この話題がアニ メであることは洞察できる。アニメという 言葉は出てこないにもかかわらず つまるところ、裏に隠れた話題と結びつい て、この場合だとアニメの番組名が文章中 で頻出している
11. 予測 • 例えばSEOにお金をつぎ込めばショッピングサイ トでお客は買い物をするのかどうか? セグメンテーション • マーケットを分割して最適化を行う LDAはこの中ではセグメンテーションに資すると考えられる
12. 潜在したトピックという情報を抽出する 用途としてはトピックによる文章の分類な どに応用できるほか、最近だと購買履歴を ベースに消費者のセグメンテーションを行 うといった研究事例が報告されている pLSAを改良した文章集合の生成モデル 文章はk個の話題に応じて発生した語で構 成 語の背後に話題という観測できない情報を 置く
14. LDAではαとβという2つのパラメータを用 いてモデルから生成されているとしている 分布θがディリクレ分布Dir(α)に基づいて 選ばれる クラスタ数Nになるまで繰り返す • zn が多項分布Mult(θ)に基づいて選ばれる。 • wn が確率p(wn |zn ,β)で選ばれる 従って、LDAを解くことというのはパラ メータαとβを推定すること
15. 現実的に解こうとすると変分ベイズEMア ルゴリズムやGibbs Samplerなどを使う必 要がある 当然、そのアルゴリズムを熟知し適切な実 装を行う必要がある つまり、実装技術＋数学的な知識が両方な いと困難
16. 確率モデルをプログラムの形で書く パラメータの推定の部分はユーザが書かず に自動的に推論 複雑な更新式を自分で書き下す必要がない 変分ベイズ法やMCMCとかを知らなくて も確率モデルができてしまう プログラムの効率的には自分で最適化した コードには及ばない Infer.NETを使ってLDAを実装してみた 第5回 自然言語処理勉強会
17.  if (!(ie.Algorithm is VariationalMessagePassing))  {  Console.WriteLine("Probability both coins are heads: "+ie.Infer(bothHeads));  bothHeads.ObservedValue=false;  Console.WriteLine("Probability distribution over firstCoin: " + ie.Infer(firstCoin));  }  基本的にはObservedValueをセットして、ie.Infer を呼ぶだけ first example of Infer.NET from Microsoft Research
18.  Range D = new Range(NumDocuments).Named("D");  Range W = new Range(SizeVocab).Named("W");  Range T = new Range(NumTopics).Named("T");  NumWordsInDoc = Variable.Array<int>(D).Named("NumWordsInDoc");  Range WInD = new Range(NumWordsInDoc[D]).Named("WInD");  // Surround model by a stochastic If block so that we can compute model evidence  Evidence = Variable.Bernoulli(0.5).Named("Evidence");  IfBlock evidenceBlock = null;  // We cannot calculate evidence in the power-plate version  if (!UsePowerPlate)  evidenceBlock = Variable.If(Evidence);  Theta = Variable.Array<Vector>(D);  Theta.SetSparsity(ThetaSparsity);  Theta.SetValueRange(T);  ThetaPrior = Variable.Array<Dirichlet>(D).Named("ThetaPrior");  Theta[D] = Variable<Vector>.Random(ThetaPrior[D]);  Phi = Variable.Array<Vector>(T);  Phi.SetSparsity(PhiSparsity);  Phi.SetValueRange(W);  PhiPrior = Variable.Array<Dirichlet>(T).Named("PhiPrior");  Phi[T] = Variable<Vector>.Random(PhiPrior[T]);  Words = Variable.Array(Variable.Array<int>(WInD), D).Named("Words");  WordCounts = Variable.Array(Variable.Array<double>(WInD), D).Named("WordCounts"  LDAModel.cs
19. int numDocs = wordsInDoc.Length; NumDocuments.ObservedValue = numDocs; int[] numWordsInDoc = new int[numDocs]; int[][] wordIndices = new int[numDocs][]; double[][] wordCounts = new double[numDocs][];
20.  NumWordsInDoc.ObservedValue = numWordsInDoc;  Words.ObservedValue = wordIndices;  WordCounts.ObservedValue = wordCounts;  ThetaInit.ObservedValue = GetInitialisation(numDocs, NumTopics, ThetaSparsity);  ThetaPrior.ObservedValue = new Dirichlet[numDocs];  for (int i = 0; i < numDocs; i++) ThetaPrior.ObservedValue[i] = Dirichlet.Symmetric(NumTopics, alpha);  PhiPrior.ObservedValue = new Dirichlet[NumTopics];  for (int i = 0; i < NumTopics; i++) PhiPrior.ObservedValue[i] = Dirichlet.Symmetric(SizeVocab, beta);  if (UsePowerPlate)  Engine.OptimiseForVariables = new IVariable[] { Theta, Phi };  else  Engine.OptimiseForVariables = new IVariable[] { Theta, Phi, Evidence };  postTheta = Engine.Infer<Dirichlet[]>(Theta);  postPhi = Engine.Infer<Dirichlet[]>(Phi);
21. Infer.NETにおいては問題の解き方は定義 されない モデルを定義してそれを基に推論する
22.  FLXMCmvnorm <- function(formula=.~., diagonal=TRUE)  {  z <- new("FLXMC", weighted=TRUE, formula=formula,  dist = "mvnorm", name="model-based Gaussian clustering")  require("mvtnorm")  z@defineComponent <- expression({  logLik <- function(x, y)  dmvnorm(y, mean=center, sigma=cov, log=TRUE)   predict <- function(x, ...)  matrix(center, nrow=nrow(x), ncol=length(center),  byrow=TRUE)  new("FLXcomponent", parameters=list(center = center, cov = cov),  df=df, logLik=logLik, predict=predict)  })   z@fit <- function(x, y, w){  para <- cov.wt(y, wt=w)[c("center","cov")]  para$df <- (3*ncol(y) + ncol(y)^2)/2  if(diagonal){  para$cov <- diag(diag(para$cov))  para$df <- 2*ncol(y)  }  with(para,  eval(z@defineComponent))  }  z  }
23. 実際問題、マイニングの現場においては現 実のビジネスを理解して、それを元にモデ リングを行い データを投入して確認し、モデルを修正す るという反復的な作業が基本です そのため、モデルを簡単に記述できるフ レームワークは非常に有用性が高いと思わ れる
24.  using (Variable.ForEach(D))  {  using (Variable.ForEach(WInD))  {  var topic = Variable.Discrete(Theta[D]);  using (Variable.Switch(topic))  Words[D][WInD] = Variable.Discrete(Phi[topic]);  }  }  usingを使ってForEachが書ける  switchも同様にusingで
25. 確率モデルをコードで記述 EMアルゴリズムといった解き方を記述す るのではない プログラムの実行効率はよくチューニング されたライブラリには及ばない 反復作業が必要なモデリングにおいては有 効です
26.  D.M.Blei, A.Y.Ng, M.I.Jordan, "Latent Dirichlet Allocation" JMLR, vol.3, pp.993-1022 (2003)  Infer.NET users guide: Tutotials and examples: Latent Dirichlet allocation http://research.microsoft.com/en- us/um/cambridge/projects/infernet/docs/Latent%2 0Dirichlet%20Allocation.aspx  Infer.NETを使ってLDAを実装してみた(第5回 自然言 語処理勉強会)  LDA 入門(第5回 自然言語処理勉強会)  汪金芳、手塚集、上田修功、田栗正章、樺島祥介、甘 利俊一、竹村彰通、竹内啓、伊庭幸人 『計算統計 I ― 確率計算の新しい手法』11巻〈統計科学のフロンティ ア〉、2003年。ISBN 4000068512。
27. もっと先を…<<予測>>したくはないか、少年