第6回＿LDAとサンプリング近似法

・Topic model
・Document generation process of LDA
・Gibbs sampler
・Collapsed Gibbs sampler

Transcript

1. ( 9 3 012 D A B ) / 4 L  
      
2. 
   j Ly O a c fT u i m P / -45 2 A A O a c fT u i m l o RP EG 7A A7: E E B 9:A G 9 . B 1: 7 dN e f nO a c f P E E B GA 9:G AE E BB E E9 r O a c f P t pwp wpk p gN p s O M hbeh P E 7 E E BA EE 340/ EE
3. 
    •
    •
    •    •   
4. 
    •
    •
    •    •   
5. 
    • D • ! " #$,& #$,& A '$,& • ! ($ '$,& • '$,& )*+,, -. #$,&
6. 
    
   
7. 
    
   
8. 
    
   
9. 
    
   
10. 
     
    
11. 
     
    
12. 
     •
     •
     •    •   
13. 
     • =.76-!
    =."# <;*"# 6-< ;+@%!&08 • >3<;24:'  $08?=.! / 6-"# ∗
    6-"# ∗5( "# %# ∗ 
    >3<; & "# ∗ ', ), * = , - ./ ∗ - 0 & "# ∗, %# ∗, 0, 1, 2 ', ), * !1!2 = , - ./ ∗ - 0 & "# ∗ 2./ ∗ & %# ∗ 1# &(0, 1, 2 ', ), * !1!2 • )19,  
14.  
     • M C k ie • • • • ah
15. 
    
      
    
16. 
     •
     •
     •    •   
17. 
     • B9@?! "# ∗ %, ', (   (8;* •  1.@?∑* ! *, +, , %, ', ( %"$,-. ∗ (0), +# (0) 2-50 ! "# ∗ %, ', ( ≈ 4 056 7 1 2 4 -. ∗ !("# ∗ ,-. ∗ (0) ! 9# ∗ +# (0) • 43
    B9@?1.@?%"$A+ , 2 
     9
     @?:
    ) :/@ ?;&<76 =  !%"#% ,2'>
18. 
     • !, #, $ K % & '(,) * '(,) = , -(,) = ., /∖(,), !∖(,), #, $, 1, 2 ∝ * '(,) = ,, -(,) = ., /∖(,), !∖(,), #, $ 1, 2 = * -(,) = . '(,) = ,, $ * '(,) = ,|#( * /∖(,), !∖(,) #, $ * # 1 5 $ 2 ∝ * -(,) = . '(,) = ,, $ * '(,) = ,|#( = 67,8 9(,7 ∑7;< = * '(,) = , -(,) = 1 * '(,) = , -(,) = ., /∖(,), !∖(,), #, $, 1, 2 = 67,8 9(,7 ∑ 7?;< = 67?,8 9(,7?
19. 
     • • !",$ • % • &' • (" , )",$ !",$ )",$ , &' , (" - * !",$ = , )",$ = -, .∖",$, 0∖",$, (, &, %, 1 = 2',3 4",' ∑ '678 9 2'6,3 4",'6 )",$ , &' , ("
20. 
     •
     •
     •    •   
21. 
     • ! ! !, #, $$-! ! •  %0,)/  % &' ∗ ), *, + ≈ 1 . / 012 3 / 45 ∗ %(&' ∗, 7' ∗ ), !(0), *, + • +(#'&
    !! !   *."! !
22. 
     • !, #7@4,1B* $#)'()" • !, #<2 )% ;/  DA3% &?C<.80%&$!'(,)  * '(,) = , -(,) = ., /∖(,), $∖(,), 1, 2 ∝ * '(,) = ,, -(,) = ., /∖(,), $∖(,) 1, 2 = * -(,) = . '(,) = ,, /∖(,), $∖(,), 1, 2 * '(,) = ,|/∖(,), $∖(,), 1, 2 * /∖(,), $∖(,), 1, 2 ∝ * -(,) = . '(,) = ,, /∖(,), $∖(,), 1, 2 * '(,) = ,|/∖(,), $∖(,), 1, 2 ∝ 5 * -(,) = . #6 * #6 /∖(,), $∖(,), 2 %#6 7 5 * '(,) = ,|!( * !( |$∖(,), 1 %!( = 8 6,9 ∖(,) + ;9 8 6,7 ∖(,) + ∑ 9= ;9= 8 (,6 ∖(,) + >6 8 (,7 ∖(,) + ∑ 6= >6= 8(,6
    A3
    %&$! -+6 86,9 9A3=%&$! <.: 5> +6 86,7 9A3=%&$! 5> +6
23. 
     •
     •
     •    •