nishiokya
June 26, 2019
200

# IIR輪読会 Chapter11 確率的情報検索

https://search-nagoya.connpass.com/event/136092/
https://search-nagoya.connpass.com/event/135210/

11章の目次
11.1 基本的な確率論の復習
11.2 確率ランキング原理
11.3 バイナリー独立モデル
11.4 評価といくらかの拡張

June 26, 2019

## Transcript

4. ### 1 B • • . P(A) : 0 ≤ P(A)

≤ 1 • . P(A,B) • . A P(A|B) • (11.1) (11.2) • (11.3)
5. ### • 1 (11.4) P(A) : A P(A|B) : B A

• • . (11.5) P(B)
6. ### R t g b • R t 2 1)() /

(0. 0 2 0 2/ • c P(R=1|d,q) r R • g /1 • e o nik p b • P l • o r s (11.6) • g P a
7. ### )1 • 1 C1 . 1 C0 ) (11.7) C1

! P(R=1|d) + C0 ! P(R=0|d) ≤ C1 ! P(R=1|d’) + C0 ! P(R=0|d’) • 1 . 1 • . 2 (
8. ### MR m P • MR m P .1) .1 3

1 1 • ( d ln • pe ⃗ " a r • a r m B • b a r • pe i pe Im • Bpe P B (11.8) o I c (11.9)
9. ### !(# = 1| ⃗ (, ⃗ *)  ! #

= 1 ⃗ (, ⃗ * = ! ⃗ (, ⃗ * # = 1 ! # = 1 ! ⃗ (, ⃗ * = !( ⃗ (, ⃗ *|# = 1)!(# = 1) !( ⃗ (| ⃗ *)!(⃗ *) = !( ⃗ (, ⃗ *, # = 1) !(# = 1) !(# = 1) !( ⃗ (| ⃗ *)!(⃗ *) = !( ⃗ (, ⃗ *, # = 1) !( ⃗ (| ⃗ *)!(⃗ *) = !( ⃗ (|# = 1, ⃗ *)!(# = 1, ⃗ *) !( ⃗ (| ⃗ *)!(⃗ *) = !( ⃗ (|# = 1, ⃗ *)!(# = 1| ⃗ *)!(⃗ *) !( ⃗ (| ⃗ *)!(⃗ *) = !( ⃗ (|# = 1, ⃗ *)!(# = 1| ⃗ *) !( ⃗ (| ⃗ *) ! ,|- = .(/|0).(0) .(/) ! ,, - = ! , - !(-) ! ,|- = .(0,/) .(/) # = 1, ⃗ * 1 ! ⃗ (, ⃗ *, # = 1 = ! ⃗ (, 1 = !( ⃗ (|1)!(1) P Q = !(# = 1, ⃗ *) = ! # = 1 ⃗ * !(⃗ *) 

11. ### 1 3 • 1 ) 1 1 ( 1 1

(11.11) (11.12) ( (!" = 1). !" = 0 (11.13)
12. ### 1/ 3 : . • : : . : t

!" = \$(&" = 1|) = 1, ⃗ ,) : t ." = \$(&" = 1|) = 0, ⃗ ,) (11.14)

(11.16) / .
14. ### A 3a B • . . / 1/ 1 ()

• B Ra • 11.16S B (11.17) (11.18) a ! V a ! V
15. ### . 0  !  (#\$ = &)  (#(\$

= )&) *! ) − *! ,! ) − ,! -! -! 1 ( ( 4 1 4 11 log 4 1 + log 11 4 ( S - 2 3 9 6 log 2 3 + log 6 9 ) 5 3 2 12 3 log 3 2 + log 3 12 ( 8    RSV RSV 9: 4 4 ; 1 + ; S ,- 9< 4 4 ; S + ; 5 , 9= 4 4 ; 1 + ; 5 ) 12 1 S 538 V R > = 20 12 1 S 53 7 69 9: , 9< , 9= 8. 0
16. ### 12 (11.19) !" = ⁄ % & '" = ⁄

()*" − %) (- − &) (N) 3 (S) . (dft ) (s)
17. ### (11.18 -> 11.20 ) (11.20) 13 ( ) 2 .

(11.21) !" = log '" 1 − *" +" 1 − '" = log '" 1 − '" , 1 − *" *" = log - . − - , / − 01" − (. − -) 01" − -
18. ### i x • • d e s Po • suh

r h • p 2 /2 2 1/ 1/.33 /2 )( • i x L • e • kt e ! a Mx i E • su l i ! A • M ! = # \$ • p smi 2 /2 2 3 /3 / ) • s i p x e
19. ### o • p • p f r 7 p f

H (11.22) • p p V a o 9 !" = 0.5 Hn ) 31 .2/ . ( (! SCd e ! • R p p R • log *+ ,-*+ = 0 H R H7 idf H R t R !" = , + 0 12" /4 R (idf)
20. ### ) ) !" #" !" = 0.5 / !" #"

1 ( = ): (+,- = 1 ) ) ) ) (0() (02() 2 . !" #" 3 (11.23) ) (11.24) 5 4 (3 = 5 () (11.25) ) ) 3 3
21. ### !" = !3 1 \$%3&% !" = !3 4! \$%3&%

• ! 1 3 1 2 \$% (11.26) • ! 1 3 &% (11.27) 4. . 2 .
22. ### 4 • !" 3tf-idf. 1 (11.28) (11.29) tf-idf3 3 #

\$ 1 idf tf 31
23. ### 4 1 • t • - B t. • •

i • t d f 4 1 • B ) () I M f
24. ### i a • ( i e dA • i a

A N T • M N 2 . 14 ) ) M B I Ai g
25. ### Okapi BM25B Cc e • k O s m R

c e • fg gvi at o 3 = ? =2?= 2 ?2 nr T • ) )2 ? ?15 4 • (( • l p TM y . hE
26. ### Okapi BM25 (11.32) !"#\$ % ! &\$ &'() 3 *+

1 4 *+ = 0) (. ) . 1 4 0 ≤ . ≤ 1 . = 0) (. ) 12 = 3 (0 + 1)!"#\$ 0( 1 − . + .× &\$ /&'() ) + !"#\$ = !"#\$ !"#\$ = 1 : = 3 (*+ + 1)!"#\$ *+ ( 1 − 0 + 0× &\$ /&'() ) + !"#\$ = (*+ + 1)!"#\$ *+ + !"#\$ ;<;= = 3      (*+ + 1)×0 *+ ( 1 − . + .× &\$ /&'() ) + 0 = 0
27. ### Okapi BM25 • 4 . (11.33) !"#\$ % 4 !

&' 4 &(3&' 1.2 2.0 ) = 0.75 • (11.34) 4 1

• • • • 1

aO • ) ( • I
30. ### a • _O Mc • A ? 5 ?5? 8

? :: AA • 0 A: . • A : :A65: 8 : : 0 A:2 . • / : 6 6 N1 / T • A :A : B ?:: A 6 : ? 6A : 2 : : 6 2:5 & 7:=62:5 7:=62?