IIR輪読会 Chapter11 確率的情報検索

IIR輪読会 Chapter11 確率的情報検索

名古屋検索勉強会の発表資料です
代理でアップロードしています
https://search-nagoya.connpass.com/event/136092/
https://search-nagoya.connpass.com/event/135210/

11章の目次
11.1 基本的な確率論の復習
11.2 確率ランキング原理
11.3 バイナリー独立モデル
11.4 評価といくらかの拡張

146f04b4645afc2de2fe9d5bad51cc89?s=128

nishiokya

June 26, 2019
Tweet

Transcript

  1. 4.

    1 B • • . P(A) : 0 ≤ P(A)

    ≤ 1 • . P(A,B) • . A P(A|B) • (11.1) (11.2) • (11.3)
  2. 5.

    • 1 (11.4) P(A) : A P(A|B) : B A

    • • . (11.5) P(B)
  3. 6.

    R t g b • R t 2 1)() /

    (0. 0 2 0 2/ • c P(R=1|d,q) r R • g /1 • e o nik p b • P l • o r s (11.6) • g P a
  4. 7.

    )1 • 1 C1 . 1 C0 ) (11.7) C1

    ! P(R=1|d) + C0 ! P(R=0|d) ≤ C1 ! P(R=1|d’) + C0 ! P(R=0|d’) • 1 . 1 • . 2 (
  5. 8.

    MR m P • MR m P .1) .1 3

    1 1 • ( d ln • pe ⃗ " a r • a r m B • b a r • pe i pe Im • Bpe P B (11.8) o I c (11.9)
  6. 9.

    !(# = 1| ⃗ (, ⃗ *)  ! #

    = 1 ⃗ (, ⃗ * = ! ⃗ (, ⃗ * # = 1 ! # = 1 ! ⃗ (, ⃗ * = !( ⃗ (, ⃗ *|# = 1)!(# = 1) !( ⃗ (| ⃗ *)!(⃗ *) = !( ⃗ (, ⃗ *, # = 1) !(# = 1) !(# = 1) !( ⃗ (| ⃗ *)!(⃗ *) = !( ⃗ (, ⃗ *, # = 1) !( ⃗ (| ⃗ *)!(⃗ *) = !( ⃗ (|# = 1, ⃗ *)!(# = 1, ⃗ *) !( ⃗ (| ⃗ *)!(⃗ *) = !( ⃗ (|# = 1, ⃗ *)!(# = 1| ⃗ *)!(⃗ *) !( ⃗ (| ⃗ *)!(⃗ *) = !( ⃗ (|# = 1, ⃗ *)!(# = 1| ⃗ *) !( ⃗ (| ⃗ *) ! ,|- = .(/|0).(0) .(/) ! ,, - = ! , - !(-) ! ,|- = .(0,/) .(/) # = 1, ⃗ * 1 ! ⃗ (, ⃗ *, # = 1 = ! ⃗ (, 1 = !( ⃗ (|1)!(1) P Q = !(# = 1, ⃗ *) = ! # = 1 ⃗ * !(⃗ *) 
  7. 11.

    1 3 • 1 ) 1 1 ( 1 1

    (11.11) (11.12) ( (!" = 1). !" = 0 (11.13)
  8. 12.

    1/ 3 : . • : : . : t

    !" = $(&" = 1|) = 1, ⃗ ,) : t ." = $(&" = 1|) = 0, ⃗ ,) (11.14)
  9. 14.

    A 3a B • . . / 1/ 1 ()

    • B Ra • 11.16S B (11.17) (11.18) a ! V a ! V
  10. 15.

    . 0  !  (#$ = &)  (#($

    = )&) *! ) − *! ,! ) − ,! -! -! 1 ( ( 4 1 4 11 log 4 1 + log 11 4 ( S - 2 3 9 6 log 2 3 + log 6 9 ) 5 3 2 12 3 log 3 2 + log 3 12 ( 8    RSV RSV 9: 4 4 ; 1 + ; S ,- 9< 4 4 ; S + ; 5 , 9= 4 4 ; 1 + ; 5 ) 12 1 S 538 V R > = 20 12 1 S 53 7 69 9: , 9< , 9= 8. 0
  11. 16.

    12 (11.19) !" = ⁄ % & '" = ⁄

    ()*" − %) (- − &) (N) 3 (S) . (dft ) (s)
  12. 17.

    (11.18 -> 11.20 ) (11.20) 13 ( ) 2 .

    (11.21) !" = log '" 1 − *" +" 1 − '" = log '" 1 − '" , 1 − *" *" = log - . − - , / − 01" − (. − -) 01" − -
  13. 18.

    i x • • d e s Po • suh

    r h • p 2 /2 2 1/ 1/.33 /2 )( • i x L • e • kt e ! a Mx i E • su l i ! A • M ! = # $ • p smi 2 /2 2 3 /3 / ) • s i p x e
  14. 19.

    o • p • p f r 7 p f

    H (11.22) • p p V a o 9 !" = 0.5 Hn ) 31 .2/ . ( (! SCd e ! • R p p R • log *+ ,-*+ = 0 H R H7 idf H R t R !" = , + 0 12" /4 R (idf)
  15. 20.

    ) ) !" #" !" = 0.5 / !" #"

    1 ( = ): (+,- = 1 ) ) ) ) (0() (02() 2 . !" #" 3 (11.23) ) (11.24) 5 4 (3 = 5 () (11.25) ) ) 3 3
  16. 21.

    !" = !3 1 $%3&% !" = !3 4! $%3&%

    • ! 1 3 1 2 $% (11.26) • ! 1 3 &% (11.27) 4. . 2 .
  17. 23.

    4 1 • t • - B t. • •

    i • t d f 4 1 • B ) () I M f
  18. 24.

    i a • ( i e dA • i a

    A N T • M N 2 . 14 ) ) M B I Ai g
  19. 25.

    Okapi BM25B Cc e • k O s m R

    c e • fg gvi at o 3 = ? =2?= 2 ?2 nr T • ) )2 ? ?15 4 • (( • l p TM y . hE
  20. 26.

    Okapi BM25 (11.32) !"#$ % ! &$ &'() 3 *+

    1 4 *+ = 0) (. ) . 1 4 0 ≤ . ≤ 1 . = 0) (. ) 12 = 3 (0 + 1)!"#$ 0( 1 − . + .× &$ /&'() ) + !"#$ = !"#$ !"#$ = 1 : = 3 (*+ + 1)!"#$ *+ ( 1 − 0 + 0× &$ /&'() ) + !"#$ = (*+ + 1)!"#$ *+ + !"#$ ;<;= = 3      (*+ + 1)×0 *+ ( 1 − . + .× &$ /&'() ) + 0 = 0
  21. 27.

    Okapi BM25 • 4 . (11.33) !"#$ % 4 !

    &' 4 &(3&' 1.2 2.0 ) = 0.75 • (11.34) 4 1
  22. 28.

    . 4 . • 4 • 1 • . 1

    • • • • 1
  23. 29.

    • B • iO 2 M 5 B O •

    aO • ) ( • I
  24. 30.

    a • _O Mc • A ? 5 ?5? 8

    ? :: AA • 0 A: . • A : :A65: 8 : : 0 A:2 . • / : 6 6 N1 / T • A :A : B ?:: A 6 : ? 6A : 2 : : 6 2:5 & 7:=62:5 7:=62?
  25. 31.