Slide 1
Slide 1 text
60 /1
2 /1
#
Slide 2
Slide 2 text
1
Slide 3
Slide 3 text
•
• 3 .
• 1 4 2
•
Slide 4
Slide 4 text
1 B
•
• . P(A) : 0 ≤ P(A) ≤ 1
• . P(A,B)
• . A P(A|B)
•
(11.1)
(11.2)
•
(11.3)
Slide 5
Slide 5 text
• 1
(11.4)
P(A) : A
P(A|B) : B A
•
• .
(11.5)
P(B)
Slide 6
Slide 6 text
R t
g b
• R t 2 1)() / (0. 0 2 0 2/
• c P(R=1|d,q) r R
• g /1
• e o nik p b
• P l
• o r s
(11.6)
• g P a
Slide 7
Slide 7 text
)1
• 1 C1
. 1 C0
)
(11.7) C1
! P(R=1|d) + C0
! P(R=0|d) ≤ C1
! P(R=1|d’) + C0
! P(R=0|d’)
• 1 . 1
• . 2 (
Slide 8
Slide 8 text
MR m P
• MR m P .1) .1 3 1 1
• ( d ln
• pe ⃗
" a r
• a r m B
• b a r
• pe i pe Im
• Bpe P B
(11.8)
o I c
(11.9)
Slide 9
Slide 9 text
!(# = 1| ⃗
(, ⃗
*)
! # = 1 ⃗
(, ⃗
* =
! ⃗
(, ⃗
* # = 1 ! # = 1
! ⃗
(, ⃗
*
=
!( ⃗
(, ⃗
*|# = 1)!(# = 1)
!( ⃗
(| ⃗
*)!(⃗
*)
=
!( ⃗
(, ⃗
*, # = 1)
!(# = 1)
!(# = 1)
!( ⃗
(| ⃗
*)!(⃗
*)
=
!( ⃗
(, ⃗
*, # = 1)
!( ⃗
(| ⃗
*)!(⃗
*)
=
!( ⃗
(|# = 1, ⃗
*)!(# = 1, ⃗
*)
!( ⃗
(| ⃗
*)!(⃗
*)
=
!( ⃗
(|# = 1, ⃗
*)!(# = 1| ⃗
*)!(⃗
*)
!( ⃗
(| ⃗
*)!(⃗
*)
=
!( ⃗
(|# = 1, ⃗
*)!(# = 1| ⃗
*)
!( ⃗
(| ⃗
*)
! ,|- = .(/|0).(0)
.(/)
! ,, - = ! , - !(-)
! ,|- = .(0,/)
.(/)
# = 1, ⃗
*
1
! ⃗
(, ⃗
*, # = 1 = ! ⃗
(, 1
= !( ⃗
(|1)!(1)
P Q = !(# = 1, ⃗
*) = ! # = 1 ⃗
* !(⃗
*)
Slide 10
Slide 10 text
• 1
• 3
.
Slide 11
Slide 11 text
1 3
• 1 ) 1
1 ( 1 1
(11.11)
(11.12)
( (!"
= 1). !"
= 0
(11.13)
Slide 12
Slide 12 text
1/ 3 : .
• : : .
: t !"
= $(&"
= 1|) = 1, ⃗
,)
: t ."
= $(&"
= 1|) = 0, ⃗
,)
(11.14)
Slide 13
Slide 13 text
• / / 1
/
(11.15)
/ . 3/ /
(11.16)
/ .
Slide 14
Slide 14 text
A 3a B
• . . / 1/ 1 ()
• B Ra
• 11.16S B
(11.17)
(11.18)
a !
V
a !
V
Slide 15
Slide 15 text
. 0
!
(#$ = &) (#($ = )&) *!
) − *!
,!
) − ,!
-!
-!
1 ( (
4
1
4
11
log
4
1
+ log
11
4
(
S -
2
3
9
6
log
2
3
+ log
6
9
)
5
3
2
12
3
log
3
2
+ log
3
12
(
8
RSV RSV
9:
4 4 ; 1 + ;
S ,-
9<
4 4 ;
S
+ ;
5 ,
9=
4 4 ; 1 + ;
5 )
12 1 S 538 V R > = 20
12 1 S 53 7 69 9:
, 9<
, 9=
8. 0
Slide 16
Slide 16 text
12
(11.19)
!"
= ⁄
% &
'"
= ⁄
()*"
− %) (- − &)
(N)
3 (S)
.
(dft
)
(s)
Slide 17
Slide 17 text
(11.18 -> 11.20 )
(11.20)
13 ( ) 2 .
(11.21)
!"
= log
'"
1 − *"
+"
1 − '"
= log
'"
1 − '"
,
1 − *"
*"
= log
-
. − -
,
/ − 01"
− (. − -)
01"
− -
Slide 18
Slide 18 text
i x
•
• d e s Po
• suh r h
• p 2 /2 2 1/ 1/.33 /2 )(
• i x L
• e
• kt e ! a Mx i E
• su l i ! A
• M ! = #
$
• p smi 2 /2 2 3 /3 / )
• s i p x e
Slide 19
Slide 19 text
o
• p
• p f r 7 p
f H
(11.22)
• p
p V a o 9
!"
= 0.5 Hn ) 31 .2/ . ( (! SCd e
!
• R p p R
• log *+
,-*+
= 0 H R H7 idf H R
t R !"
= , + 0 12"
/4 R
(idf)
Slide 20
Slide 20 text
) )
!"
#"
!"
= 0.5 /
!"
#" 1 ( = ): (+,-
= 1
) )
) ) (0() (02() 2 .
!"
#" 3
(11.23)
)
(11.24)
5 4 (3 = 5 ()
(11.25)
) ) 3 3
Slide 21
Slide 21 text
!" = !3 1
$%3&%
!" = !3 4!
$%3&%
• ! 1 3 1 2 $%
(11.26)
• ! 1 3 &%
(11.27)
4. . 2 .
Slide 22
Slide 22 text
4
• !"
3tf-idf. 1
(11.28)
(11.29)
tf-idf3 3
#
$
1
idf
tf
31
Slide 23
Slide 23 text
4 1
• t
• - B t.
•
• i
•
t d f
4 1
• B ) ()
I M f
Slide 24
Slide 24 text
i a
• ( i e dA
• i a A N T
• M N
2 . 14 ) )
M B I Ai g
Slide 25
Slide 25 text
Okapi BM25B Cc e
• k O s m R c e
• fg gvi at o 3 = ?
=2?= 2 ?2 nr T
• ) )2 ? ?15 4
• ((
• l p TM y . hE
Slide 26
Slide 26 text
Okapi BM25
(11.32)
!"#$
% ! &$
&'()
3
*+
1 4 *+
= 0) (. )
. 1 4 0 ≤ . ≤ 1 . = 0) (. )
12
= 3
(0 + 1)!"#$
0( 1 − . + .× &$
/&'()
) + !"#$
=
!"#$
!"#$
= 1
: = 3
(*+
+ 1)!"#$
*+
( 1 − 0 + 0× &$
/&'()
) + !"#$
=
(*+
+ 1)!"#$
*+
+ !"#$
;<;=
= 3
(*+
+ 1)×0
*+
( 1 − . + .× &$
/&'()
) + 0
= 0
Slide 27
Slide 27 text
Okapi BM25
• 4 .
(11.33)
!"#$
% 4 ! &'
4
&(3&'
1.2 2.0 ) = 0.75
•
(11.34)
4 1
Slide 28
Slide 28 text
. 4 .
• 4
• 1
• . 1
•
•
•
• 1
Slide 29
Slide 29 text
• B
• iO 2
M 5 B O
• aO
• ) (
• I
Slide 30
Slide 30 text
a
• _O Mc
• A ? 5 ?5? 8 ? :: AA
• 0 A: .
• A : :A65: 8 : : 0 A:2 .
• / : 6 6 N1 / T
• A :A : B ?:: A 6 : ? 6A : 2 : : 6 2:5 &
7:=62:5 7:=62?