言語モデルを利用した検索手法 クエリ尤度モデル シンプル＆拡張性 言語モデルとスムージングを問題にあわせて組み合わせ
応用した言語モデル色々 言語尤度モデル、KL距離 翻訳モデル
ใݕࡧͷجૅ ใݕࡧͷͨΊͷݴޠϞσϧLVNBHBJ
View Slide
ষͷ֓ཁ• • ݴޠϞσϧͷ֓ཁ• • ΫΤϦʔϞσϧ• • ݴޠϞσϧͱଞͷख๏ͷൺֱ• • ֦ுݴޠϞσϧ
ষͷ֓ཁ• ষͷ༰• จষͱΫΤϦΛར༻ͨ͠ॱং͚• จষEʹΫΤϦRΛؚΉ͔൱͔• ΫΤϦʹରͯؔ͠࿈͔ඇؔ࿈͔2VFSZ! " = 1 %, ')
ষͷ֓ཁ• จষ!͔ΒݴޠϞσϧ"#Λੜ• ݴޠϞσϧ͕ΫΤϦΛੜ͢Δ֬$ % "#• $ % "# Ͱॱং͚2VFSZݴޠϞσϧ$(%|"#)
ݴޠϞσϧ
༗ݶΦʔτϚτϯͱݴޠϞσϧ• ୯ޠΛੜ͢ΔݴޠϞσϧͷྫ• lGSPHTBJEUIBUUPBEMJLFGSPHzΛੜ͢Δ֬จষEͷ.PEFM୯ޠͷग़ݱ֬lGSPHTBJEUIBUUPBEMJLFGSPHzΛੜ͢Δ֬จষEʹ͓͚Δ୯ޠͷग़ݱ֬= 0.000000000024&ℎ(
༗ݶΦʔτϚτϯͱݴޠϞσϧ• ྫ͑ͯઆ໌• จষதͷ୯ޠ GSPH MJLF͘͡• จষͷશ୯ޠΛೖΕͨ͘͡ശ ʹ ݴޠϞσϧ• lGSPHzճɺlTBJEzճʜͷΈ߹ΘͤΛ͘͡ശ͔ΒҾ֬͘lGSPHTBJEUIBUUPBEMJLFGSPHzΛੜ͢Δ֬จষ୯ޠͷׂ߹GSPHUIBUMJLFGSPHTBJEUPBE
༗ݶΦʔτϚτϯͱݴޠϞσϧ• ݴޠϞσϧͷൺֱ• ͭจষ͔Β࡞ͨ͠ݴޠϞσϧ• ͲͪΒͷํ͕lGSPHTBJEUIBUUPBEMJLFGSPHzΛੜ͢Δ͕֬ߴ͍͔.PEFMͷํ͕͕֬ߴ͍จষͷํ͕ଟ͘ΫΤϦ͕ग़ݱ͠ɺదͨ͠จষ
༗ݶΦʔτϚτϯͱݴޠϞσϧจষ୯ޠͷׂ߹ ୯ޠͷׂ߹จষ• Ͳ͏͍͏͜ͱ• จষͷ͘͡ശͱจষͷ͘͡ശΛ४උ• GSPHº TBJE UIBU UPBE MJLFͷΈ߹ΘͤΛͻ֬͘ͲͪΒͷํ͕ߴ͍͔ʁ
ݴޠϞσϧͷछྨ• ྫͰΫΤϦʹؚ·ΕΔ୯ޠͷग़ݱ֬ͷੵΛར༻• શ୯ޠͷग़ݱ֬ͷੵʹΫΤϦ͕ੜ͞ΕΔ֬ˠ ͜Εຊʹଥʁ୯ޠͷग़ݱ֬lGSPHTBJEUIBUUPBEMJLFGSPHzΛੜ͢Δ֬= 0.000000000024
ݴޠϞσϧͷछྨ• ΫΤϦ͕ग़ݱ͢Δ֬ΛͲ͏ߏங͢Δ͔ʁ• ϢχάϥϜݴޠϞσϧ• ֤୯ޠಠཱͱԾఆ͢Δ• ྫͰܭࢉͨ͠ͷ͜ͷϞσϧ• όΠάϥϜݴޠϞσϧ• ֤୯ޠલͷ୯ޠͷӨڹΛड͚ΔͱԾఆ͢Δ• ԻೝࣝͰར༻• ֬తࣗ༝จ๏• Իೝࣝεϖϧमਖ਼ͳͲෳࡶͳपลจ຺Λߟྀ͢Δ߹ʹར༻
ݴޠϞσϧͷछྨ• ใݕࡧຆͲϢχάϥϜݴޠϞσϧΛར༻• ୯ޠͷߏʹґଘ͢ΔλεΫͰͳ͍• ใݕࡧͰेͳύϑΥʔϚϯε͕ಘΒΕΔ• ΑΓෳࡶͳϞσϧใݕࡧʹద͞ͳ͍• จষ͔ΒϞσϧΛ࡞͢ΔͨΊ܇࿅σʔλ͕গͳ͍• ! "#"$ ΛٻΊΔͷʹෆे୯ޠͷग़ݱ֬ 0,!
ޠʹ͓͚Δଟ߲• ϢχάϥϜݴޠϞσϧͰޠͷॱংແؔ• จষ!Λੜ͢Δ֬ଟ߲ͰදݱͰ͖Δ"#: !%&'(#: ! &) & : &
ΫΤϦʔϞσϧ
ใݕࡧʹ͓͚ΔΫΤϦʔϞσϧͷར༻• ֬తʹϥϯΩϯά͢Δʹʜ• Γ͍ͨ͜ͱɿ! " # ʹΑͬͯจষΛϥϯΩϯά͢Δ• ! " # ɿΫΤϦ#ʹରͯ͠จॻ"͕ద߹͢Δ֬• ϕΠζͷ๏ଇΛద༻͢ΔͱΫΤϦͷൃੜ֬จষͷൃੜ֬จষʹ͓͚ΔΫΤϦͷൃੜ֬
ใݕࡧʹ͓͚ΔΫΤϦʔϞσϧͷར༻ΫΤϦશͯͷจষͰಉ͡ˠ ϥϯΩϯάʹؔͳ͍จষ͕ग़ݱ͢Δ֬Ұ༷ ͱߟ͑Δ͔͠ͳ͍ˠ ϥϯΩϯάʹؔͳ͍˞δϟϯϧطಡใͳͲΛߟྀͯ͠Մมͷ߹͋Δʮจষʹ͓͚ΔΫΤϦͷൃੜ֬ʯ͕ຊ࣭తͳҙຯΛ࣋ͭ
ใݕࡧʹ͓͚ΔΫΤϦʔϞσϧͷར༻! " # ͷٻΊΔํ๏৭ʑ͜͜ͰϢχάϥϜݴޠϞσϧΛར༻ ࠷ॳͷྫͱҰॹ! " # = ! " %&ݴޠϞσϧΛར༻ͨ͠ݕࡧ͕ΫΤϦʔϞσϧจষ#! " %&lGSPHTBJEUIBUUPBEMJLFGSPHz
ใݕࡧʹ͓͚ΔΫΤϦʔϞσϧͷར༻• ଟ߲ʹͯΊΔͱ࠷ऴతʹ͜͏ͳΔଟ߲จॻEͷϞσϧ͕୯ޠUΛੜ͢Δ֬จॻEʹ͓͚Δ୯ޠUͷൃੜසίϨΫγϣϯͷશ୯ޠ7ʹର͢Δੵ
ΫΤϦʔੜ֬ͷਪఆ• ! " #$ Ͳ͏ٻΊΒΕΔ͔ʁ• ࠷ਪఆͰ% " #$ ͕࠷େʹͳΔ% & #$ ΛٻΊΔจষEͷ૯୯ޠจষEʹ͓͚Δ୯ޠUͷग़ݱස୯७ʹ୯ޠ͕ൃੜ͢Δׂ߹ͰٻΊΔ͜ͱ͕Ͱ͖Δ
! " #$=&$'()*$! '(),$! ⋯ '().$!! '/#$)01*2! '3#$)01,2 ⋯ ! '4#$)01.2=&$∏67/4 '()8$!9:7/4! ':#$)01;2ରΛऔΔͱlog ! " #$= &$− @67/4log '()8$! + @:7/4'();$log! ':#$ଟ߲ͷ∑676C ! ':#$= 1Λ༻͍ͯϥάϥϯδϡ๏ʹΑΓۃΛٻΊΔ& = &$− @67/4log '()8$! + @:7/4'();$log! ':#$+ E @676C! '6#$− 1F&F! 'G#$='()H$! 'G#$+ E = 0−'()H$E= ! 'G#$શͯͷJʹରͯ͠ಉ༷ʹภඍΛٻΊɺ͠߹ΘͤΔ−1E@G7/C'()H$= @G7/C! 'G#$−&$E= 1E = −&$−'()H$&$= ! 'G#$! 'G #$ )01H2K2EΛ্هͷࣜʹೖ͢ΔٻΊͯΈͨ
ΫΤϦʔੜ֬ͷਪఆ࠷ॳͷྫͰߟ͑Δͱʜ!"#,%&%จষEʹग़ݱ͢Δશ୯ޠதͷ୯ޠUͷׂ߹ΫΤϦʹؚ·ΕΔ୯ޠͷൃੜ֬ͷੵ࠷ॳͷྫϢχάϥϜݴޠϞσϧΛར༻ͨ͠ΫΤϦϞσϧ
ΫΤϦʔੜ֬ͷਪఆ• • શ͘ग़ݱ͠ͳ͍୯ޠ͕͋Δͱ͕֬ʹͳΔ• ΫΤϦʮϥʔϝϯ ͱΜͭ͜ OBHPZBʯͰݕࡧจষʹʮOBHPZBʯ͕ͳ͚Ε• ྵ֬• ҙຯͱͷଓʁ DPOOFDUJWFTFNBOUJDT DPOKVODUJWFTFNBOUJDT
ΫΤϦʔੜ֬ͷਪఆ• ղܾࡦɿεϜʔδϯά• ষͰొͨ͠ྵ֬ରࡦ• ՃࢉεϜʔδϯά ষ• ࢠʹՃࢉ Ћ• ਫ਼ѱ͍
ΫΤϦʔੜ֬ͷਪఆ• ઢܗิؒ๏• จষʹग़ݱ͠ͳ͍୯ޠίϨΫγϣϯશମͰग़ݱ͢ΔͩΖ͏• ίϨΫγϣϯʹؚ·ΕΔ୯ޠͰ͋Εྵ֬ΛճආͰ͖Δ• શจষʹରͯ͠εϜʔδϯά߲ಉ͡ˠ ॱংͷӨڹͳ͍εϜʔδϯάͷॏΈ0 ≤ # ≤ 1จষEʹ͓͚Δ୯ޠUͷग़ݱ֬ίϨΫγϣϯશମͷ୯ޠUͷग़ݱ֬
ΫΤϦʔੜ֬ͷਪఆ• σΟϦΫϨɾεϜʔδϯά• จষʹԠͯ͡εϜʔδϯάͷ߹͍ΛՄมʹ͢Δ• จষ͕͍ ʹ ؚΜͰ͍Δ୯ޠ͕ଟ͘ɺεϜʔδϯά͕ඞཁͳ͍εϜʔδϯάͷॏΈЋͷӨڹจষʹΑܾͬͯ·Δ
ΫΤϦʔੜ֬ͷਪఆ• ΫΤϦϞσϧΛ·ͱΊΔͱʜ• ͜ͷΛར༻ͯ͠ϥϯΩϯά͢ΔจষEʹ͓͚Δ୯ޠUͷग़ݱ֬ίϨΫγϣϯશମͷ୯ޠUͷग़ݱ֬จষͷੜ֬ಥવ෮׆ͨ͠
1POUFͱ$SPGUʹΑΔ࣮ݧ• ΫΤϦϞσϧʹΑΔݕࡧ1POUFBOE$SPGU ͰॳΊͯఏҊ͞Εͨ• ΫΤϦϞσϧͱUGJEGΛൺֱ• 53&$Ͱݕূ• UGJEGΑΓݦஶʹྑ͍͜ͱΛࣔͨ͠
1POUFͱ$SPGUʹΑΔ࣮ݧ• ฏۉద߹ͰධՁ• શͯͷ3FDBMMͰ-. ΫΤϦϞσϧͷ1SFDJTJPO͕༏Ґ• จΑΓ• UGJEGͷΑ͏ͳΞυϗοΫͳํ๏Ͱͳ͘౷ܭతͳཧʹجͮ͘ख๏ΛఏҊͨ͠• ਫ਼্ॏཁͰͳ͍৽͍͠ใݕࡧͷํ๏ͷఏҊʹҙຯ͕͋Δ
ใݕࡧʹ͓͚ΔݴޠϞσϧख๏ͱଞͷख๏ͷରൺ
ݴޠϞσϧख๏ͱଞͷख๏ͷରൺ• #*. όΠφϦಠཱϞσϧͱͷҧ͍• Ϟσϧͷؔ࿈ੑΛఘΊ͍ͯΔ• #*.୯ޠ͝ͱͷ!"Λར༻ɺ֤จষͰڞ௨ͯ͠ར༻͢Δ• ݴޠϞσϧϞσϧؒ จষؒͰڞ௨ͷύϥϝʔλΛ༻͍ͳ͍• ݴޠϞσϧؔ࿈ੑͷ֓೦͕ͳ͍#*.ͷ3
ݴޠϞσϧख๏ͱଞͷख๏ͷରൺ• ݴޠϞσϧͷܽ• ؔ࿈ඇؔ࿈ͷ֓೦͕ͳ͍ͨΊద߹ϑΟʔυόοΫ͕ࠔ• ϑϨʔζઅͷݕࡧʹରԠͰ͖ͳ͍• ϢχάϥϜϞσϧ୯ޠͷग़ݱ͕֬ಠཱ͔ͩΒ• όΠάϥϜϞσϧͳͲΛ͏ඞཁ͕͋Δ
ݴޠϞσϧख๏ͱଞͷख๏ͷରൺ• UGJEGͱͷҧ͍• େ·͔ʹࣅ͍ͯΔ• UG ˠ ϢχάϥϜݴޠϞσϧͰͦͷ··ར༻• JEG ˠ ίϨΫγϣϯશମΛར༻͢ΔεϜʔδϯάʹগ͠ࣅ͍ͯΔ• UGJEGώϡʔϦεςΟοΫ ݴޠϞσϧݪଇత ཧత • ݴޠϞσϧ֬ϞσϧεϜʔδϯάํ๏Λม͑ΒΕΔUGJEG ݴޠϞσϧ
ݴޠϞσϧख๏ͱଞͷख๏ͷରൺ• UGJEG• UG JEG྆ํڞ͕ߴ͍ͱߴ͍• ίϨΫγϣϯͰසग़͢Δ୯ޠͷJEG͍• ݴޠϞσϧ• ͋·Γग़ݱ͠ͳ͍୯ޠ͕͋Δͱ͕֬ݮΔUGJEG ݴޠϞσϧ
֦ுݴޠϞσϧख๏
֦ுݴޠϞσϧख๏จষϞσϧ ! " #$• ΫΤϦʔ͕จষΛੜ͢Δ֬Λར༻• ͋·ΓධՁ͞Ε͍ͯͳ͍• ΫΤϦʔ୯ޠ͕গͳ͍ͨΊɺਫ਼ྑ͍ਪఆ͕Ͱ͖ͳ͍• ద߹ϑΟʔυόοΫࠐΊΔ• ؔ࿈จষ͔ΒऔΓग़ͨ͠༻ޠΛΫΤϦʔʹ֦ுͰ͖ΔΫΤϦϞσϧจষϞσϧ,-ڑʹجͮ͘ํ๏
֦ுݴޠϞσϧख๏• ,-ڑʹجͮ͘ख๏• ! " #$ ͱ! % #& ͷڑΛଌΓɺখ͍͞ॱʹϥϯΩϯά• ΫΤϦɺจষڞʹසग़͢Δ୯ޠ͕͋Δ΄Ͳద߹͍ͯ͠Δ • ࣮ΫΤϦϞσϧͱՁʹͳΔ• ؒͷڑΛར༻ͨ͠ํ๏ଞʹൃలͰ͖Δ
֦ுݴޠϞσϧख๏• ༁Ϟσϧ• ಉٛޠɺଞݴޠݕࡧͷରࡦจষݴޠϞσϧΫΤϦϞσϧಉٛޠؒͷࣄޙ֬γιʔϥεݴޠࣙॻ͔Β࡞ຊޠͷ୯ޠUͱӳޠͷ୯ޠW͕ಉٛޠͰ͋Δ֬ӳ୯ޠW͕ӳจষEʹൃੜ͢Δ֬
·ͱΊ• ݴޠϞσϧΛར༻ͨ͠ݕࡧख๏• ΫΤϦϞσϧ• γϯϓϧˍ֦ுੑ• ݴޠϞσϧͱεϜʔδϯάΛʹ͋ΘͤͯΈ߹Θͤ• Ԡ༻ͨ͠ݴޠϞσϧ৭ʑ• ݴޠϞσϧɺ,-ڑ• ༁Ϟσϧ
ࢀߟจݙ• ߐޱߒೋ lใݕࡧͷͨΊͷ֬తݴޠϞσϧz ใॲཧֶձݚڀใࠂ 7PM4-1/P • ݪౡॱ ࠇڮఓ lςΩετͷදใͱજࡏใΛར༻ͨ͠ద߹ϑΟʔυόοΫz ࣗવݴޠॲཧ /P 7PM • ʹ࣮ࢪ͞Εͨษڧձࢿྉ• IUUQOBPZBEZOEOTPSHdOBPZBJJSQQU
nishiokya
ssii
yoavram
ykamit
lahuuki
sshimizu2006
keichi
ae14watanabe
yellowshippo
nkmr_rl
mitsuharu
reverentgeek
jakevdp
jasonvnalue
yeseniaperezcruz
myddelton
vanstee
geoffreycrofte
zenorocha
jonrohan
iamctodd
jennybc
sugarenia