Upgrade to Pro — share decks privately, control downloads, hide ads and more …

情報検索の基礎 #12

nishiokya
July 03, 2019

情報検索の基礎 #12

言語モデルを利用した検索手法
クエリ尤度モデル
シンプル&拡張性
言語モデルとスムージングを問題にあわせて組み合わせ

応用した言語モデル色々
言語尤度モデル、KL距離
翻訳モデル

nishiokya

July 03, 2019
Tweet

More Decks by nishiokya

Other Decks in Science

Transcript

  1. ৘ใݕࡧͷجૅ
    ৘ใݕࡧͷͨΊͷݴޠϞσϧ
    LVNBHBJ

    View Slide

  2. ষͷ֓ཁ

    • ݴޠϞσϧͷ֓ཁ

    • ΫΤϦʔ໬౓Ϟσϧ

    • ݴޠϞσϧͱଞͷख๏ͷൺֱ

    • ֦ுݴޠϞσϧ

    View Slide

  3. ষͷ֓ཁ
    • ষͷ಺༰
    • จষͱΫΤϦΛ௚઀ར༻ͨ͠ॱং෇͚
    • จষEʹΫΤϦRΛؚΉ͔൱͔
    • ΫΤϦʹରͯؔ͠࿈͔ඇؔ࿈͔
    2VFSZ
    ! " = 1 %, ')

    View Slide

  4. ষͷ֓ཁ
    • จষ!͔ΒݴޠϞσϧ"#Λੜ੒
    • ݴޠϞσϧ͕ΫΤϦΛੜ੒͢Δ֬཰$ % "#
    • $ % "# Ͱॱং෇͚
    2VFSZ
    ݴޠϞσϧ
    $(%|"#
    )

    View Slide

  5. ݴޠϞσϧ

    View Slide

  6. ༗ݶΦʔτϚτϯͱݴޠϞσϧ
    • ୯ޠΛੜ੒͢ΔݴޠϞσϧͷྫ
    • lGSPHTBJEUIBUUPBEMJLFGSPHzΛੜ੒͢Δ֬཰
    จষEͷ.PEFM
    ୯ޠͷग़ݱ֬཰
    lGSPHTBJEUIBUUPBEMJLFGSPHzΛੜ੒͢Δ֬཰
    จষEʹ͓͚Δ୯ޠ
    ͷग़ݱ֬཰
    = 0.000000000024
    &ℎ(

    View Slide

  7. ༗ݶΦʔτϚτϯͱݴޠϞσϧ
    • ྫ͑ͯઆ໌
    • จষதͷ୯ޠ GSPH MJLF
    ͘͡
    • จষͷશ୯ޠΛೖΕͨ͘͡ശ ʹ ݴޠϞσϧ
    • lGSPHzճɺlTBJEzճʜͷ૊Έ߹ΘͤΛ͘͡ശ͔ΒҾ֬͘཰
    lGSPHTBJEUIBUUPBEMJLFGSPHzΛੜ੒͢Δ֬཰
    จষ
    ୯ޠͷׂ߹
    GSPH
    UIBU
    MJLF
    GSPH
    TBJE
    UPBE

    View Slide

  8. ༗ݶΦʔτϚτϯͱݴޠϞσϧ
    • ݴޠϞσϧͷൺֱ
    • ͭจষ͔Β࡞੒ͨ͠ݴޠϞσϧ
    • ͲͪΒͷํ͕lGSPHTBJEUIBUUPBEMJLFGSPHzΛੜ੒͢Δ֬཰͕ߴ͍͔
    .PEFMͷํ͕֬཰͕ߴ͍
    จষͷํ͕ଟ͘ΫΤϦ͕ग़ݱ͠ɺదͨ͠จষ

    View Slide

  9. ༗ݶΦʔτϚτϯͱݴޠϞσϧ
    จষ
    ୯ޠͷׂ߹ ୯ޠͷׂ߹
    จষ
    • Ͳ͏͍͏͜ͱ
    • จষͷ͘͡ശͱจষͷ͘͡ശΛ४උ
    • GSPHº TBJE UIBU UPBE MJLFͷ૊Έ߹ΘͤΛͻ֬͘཰͸
    ͲͪΒͷํ͕ߴ͍͔ʁ

    View Slide

  10. ݴޠϞσϧͷछྨ
    • ྫͰ͸ΫΤϦʹؚ·ΕΔ୯ޠͷग़ݱ֬཰ͷੵΛར༻
    • શ୯ޠͷग़ݱ֬཰ͷੵʹΫΤϦ͕ੜ੒͞ΕΔ֬཰
    ˠ ͜Ε͸ຊ౰ʹଥ౰ʁ
    ୯ޠͷग़ݱ֬཰
    lGSPHTBJEUIBUUPBEMJLFGSPHzΛੜ੒͢Δ֬཰
    = 0.000000000024

    View Slide

  11. ݴޠϞσϧͷछྨ
    • ΫΤϦ͕ग़ݱ͢Δ֬཰ΛͲ͏ߏங͢Δ͔ʁ
    • ϢχάϥϜݴޠϞσϧ
    • ֤୯ޠ͸ಠཱͱԾఆ͢Δ
    • ྫͰܭࢉͨ͠ͷ͸͜ͷϞσϧ
    • όΠάϥϜݴޠϞσϧ
    • ֤୯ޠ͸લͷ୯ޠͷӨڹΛड͚ΔͱԾఆ͢Δ
    • Ի੠ೝࣝ౳Ͱར༻
    • ֬཰తࣗ༝จ๏
    • Ի੠ೝࣝ΍εϖϧमਖ਼ͳͲෳࡶͳपลจ຺Λߟྀ͢Δ৔߹ʹར༻

    View Slide

  12. ݴޠϞσϧͷछྨ
    • ৘ใݕࡧ͸ຆͲϢχάϥϜݴޠϞσϧΛར༻
    • ୯ޠͷߏ੒ʹґଘ͢ΔλεΫͰ͸ͳ͍
    • ৘ใݕࡧͰे෼ͳύϑΥʔϚϯε͕ಘΒΕΔ
    • ΑΓෳࡶͳϞσϧ͸৘ใݕࡧʹద͞ͳ͍
    • จষ͔ΒϞσϧΛ࡞੒͢ΔͨΊ܇࿅σʔλ͕গͳ͍
    • ! "#
    "$ ΛٻΊΔͷʹෆे෼
    ୯ޠͷग़ݱ֬཰ 0,!

    View Slide

  13. ޠʹ͓͚Δଟ߲෼෍
    • ϢχάϥϜݴޠϞσϧͰ͸ޠͷॱং͸ແؔ܎
    • จষ!Λੜ੒͢Δ֬཰͸ଟ߲෼෍ͰදݱͰ͖Δ
    "#
    : !
    %
    &'(#
    : ! &
    ) & : &

    View Slide

  14. ΫΤϦʔ໬౓Ϟσϧ

    View Slide

  15. ৘ใݕࡧʹ͓͚ΔΫΤϦʔ໬౓Ϟσϧͷར༻
    • ֬཰తʹϥϯΩϯά͢Δʹ͸ʜ
    • ΍Γ͍ͨ͜ͱɿ! " # ʹΑͬͯจষΛϥϯΩϯά͢Δ
    • ! " # ɿΫΤϦ#ʹରͯ͠จॻ"͕ద߹͢Δ֬཰
    • ϕΠζͷ๏ଇΛద༻͢Δͱ
    ΫΤϦͷൃੜ֬཰
    จষͷൃੜ֬཰
    จষʹ͓͚Δ
    ΫΤϦͷൃੜ֬཰

    View Slide

  16. ৘ใݕࡧʹ͓͚ΔΫΤϦʔ໬౓Ϟσϧͷར༻
    ΫΤϦ͸શͯͷจষͰಉ͡
    ˠ ϥϯΩϯάʹؔ܎ͳ͍
    จষ͕ग़ݱ͢Δ֬཰͸Ұ༷ ͱߟ͑Δ͔͠ͳ͍

    ˠ ϥϯΩϯάʹؔ܎ͳ͍
    ˞δϟϯϧ΍طಡ৘ใͳͲΛߟྀͯ͠Մมͷ৔߹΋͋Δ

    ʮจষʹ͓͚ΔΫΤϦͷൃੜ֬཰ʯ͕ຊ࣭తͳҙຯΛ࣋ͭ

    View Slide

  17. ৘ใݕࡧʹ͓͚ΔΫΤϦʔ໬౓Ϟσϧͷར༻
    ! " # ͷٻΊΔํ๏͸৭ʑ
    ͜͜Ͱ͸ϢχάϥϜݴޠϞσϧΛར༻ ࠷ॳͷྫͱҰॹ

    ! " # = ! " %&
    ݴޠϞσϧΛར༻ͨ͠ݕࡧ͕ΫΤϦʔ໬౓Ϟσϧ
    จষ
    #
    ! " %&
    lGSPHTBJEUIBUUPBEMJLFGSPHz

    View Slide

  18. ৘ใݕࡧʹ͓͚ΔΫΤϦʔ໬౓Ϟσϧͷར༻
    • ଟ߲෼෍ʹ౰ͯ͸ΊΔͱ࠷ऴతʹ͜͏ͳΔ
    ଟ߲܎਺
    จॻEͷϞσϧ͕
    ୯ޠUΛੜ੒͢Δ֬཰
    จॻEʹ͓͚Δ
    ୯ޠUͷൃੜස౓
    ίϨΫγϣϯ಺ͷશ
    ୯ޠ7ʹର͢Δ௚ੵ

    View Slide

  19. ΫΤϦʔੜ੒֬཰ͷਪఆ
    • ! " #$ ͸Ͳ͏ٻΊΒΕΔ͔ʁ
    • ࠷໬ਪఆͰ% " #$ ͕࠷େʹͳΔ% & #$ ΛٻΊΔ
    จষEͷ૯୯ޠ਺
    จষEʹ͓͚Δ୯ޠUͷग़ݱස౓
    ୯७ʹ୯ޠ͕ൃੜ͢Δׂ߹ͰٻΊΔ͜ͱ͕Ͱ͖Δ

    View Slide

  20. ! " #$
    =
    &$
    '()*$
    ! '(),$
    ! ⋯ '().$
    !
    ! '/
    #$
    )01*2! '3
    #$
    )01,2 ⋯ ! '4
    #$
    )01.2
    =
    &$

    67/
    4 '()8$
    !
    9
    :7/
    4
    ! ':
    #$
    )01;2
    ର਺໬౓ΛऔΔͱ
    log ! " #$
    = &$
    − @
    67/
    4
    log '()8$
    ! + @
    :7/
    4
    '();$
    log! ':
    #$
    ଟ߲෼෍ͷ੒໿∑676
    C ! ':
    #$
    = 1Λ༻͍ͯ
    ϥάϥϯδϡ৐਺๏ʹΑΓۃ஋ΛٻΊΔ
    & = &$
    − @
    67/
    4
    log '()8$
    ! + @
    :7/
    4
    '();$
    log! ':
    #$
    + E @
    676
    C
    ! '6
    #$
    − 1
    F&
    F! 'G
    #$
    =
    '()H$
    ! 'G
    #$
    + E = 0

    '()H$
    E
    = ! 'G
    #$
    શͯͷJʹରͯ͠ಉ༷ʹภඍ෼ΛٻΊɺ
    ଍͠߹ΘͤΔ

    1
    E
    @
    G7/
    C
    '()H$
    = @
    G7/
    C
    ! 'G
    #$

    &$
    E
    = 1
    E = −&$

    '()H$
    &$
    = ! 'G
    #$
    ! 'G #$
    )01H2
    K2
    EΛ্هͷࣜʹ୅ೖ͢Δ
    ٻΊͯΈͨ

    View Slide

  21. ΫΤϦʔੜ੒֬཰ͷਪఆ
    ࠷ॳͷྫͰߟ͑Δͱʜ
    !"#,%
    &%
    จষEʹग़ݱ͢Δશ୯ޠதͷ୯ޠUͷׂ߹
    ΫΤϦʹؚ·ΕΔ୯ޠͷ
    ൃੜ֬཰ͷ௚ੵ
    ࠷ॳͷྫ͸ϢχάϥϜݴޠϞσϧΛར༻ͨ͠ΫΤϦ໬౓Ϟσϧ

    View Slide

  22. ΫΤϦʔੜ੒֬཰ͷਪఆ
    • ໰୊఺
    • શ͘ग़ݱ͠ͳ͍୯ޠ͕͋Δͱ֬཰͕ʹͳΔ
    • ΫΤϦʮϥʔϝϯ ͱΜͭ͜ OBHPZBʯͰݕࡧ
    จষʹʮOBHPZBʯ͕ͳ͚Ε͹໬౓͸
    • ྵ֬཰໰୊
    • ҙຯͱͷ઀ଓʁ DPOOFDUJWFTFNBOUJDT DPOKVODUJWFTFNBOUJDT

    View Slide

  23. ΫΤϦʔੜ੒֬཰ͷਪఆ
    • ղܾࡦɿεϜʔδϯά
    • ষͰ΋ొ৔ͨ͠ྵ֬཰ରࡦ
    • ՃࢉεϜʔδϯά ষ

    • ෼฼෼ࢠʹՃࢉ Ћ

    • ਫ਼౓ѱ͍

    View Slide

  24. ΫΤϦʔੜ੒֬཰ͷਪఆ
    • ઢܗิؒ๏
    • จষʹग़ݱ͠ͳ͍୯ޠ΋ίϨΫγϣϯશମͰ͸ग़ݱ͢ΔͩΖ͏
    • ίϨΫγϣϯʹؚ·ΕΔ୯ޠͰ͋Ε͹ྵ֬཰໰୊ΛճආͰ͖Δ
    • શจষʹରͯ͠εϜʔδϯά߲͸ಉ͡
    ˠ ॱং΁ͷӨڹ͸ͳ͍
    εϜʔδϯάͷॏΈ
    0 ≤ # ≤ 1
    จষEʹ͓͚Δ୯ޠU
    ͷग़ݱ֬཰
    ίϨΫγϣϯશମͷ
    ୯ޠUͷग़ݱ֬཰

    View Slide

  25. ΫΤϦʔੜ੒֬཰ͷਪఆ
    • σΟϦΫϨɾεϜʔδϯά
    • จষ௕ʹԠͯ͡εϜʔδϯάͷ౓߹͍ΛՄมʹ͢Δ
    • จষ͕௕͍ ʹ ؚΜͰ͍Δ୯ޠ͕ଟ͘ɺεϜʔδϯά͕ඞཁͳ͍
    εϜʔδϯάͷॏΈЋͷӨڹ
    ͸จষ௕ʹΑܾͬͯ·Δ

    View Slide

  26. ΫΤϦʔੜ੒֬཰ͷਪఆ
    • ΫΤϦ໬౓ϞσϧΛ·ͱΊΔͱʜ
    • ͜ͷ໬౓Λར༻ͯ͠ϥϯΩϯά͢Δ
    จষEʹ͓͚Δ୯ޠU
    ͷग़ݱ֬཰
    ίϨΫγϣϯશମͷ
    ୯ޠUͷग़ݱ֬཰
    จষͷੜ੒֬཰
    ಥવ෮׆ͨ͠

    View Slide

  27. 1POUFͱ$SPGUʹΑΔ࣮ݧ
    • ΫΤϦ໬౓ϞσϧʹΑΔݕࡧ͸1POUFBOE$SPGU
    Ͱ
    ॳΊͯఏҊ͞Εͨ
    • ΫΤϦ໬౓ϞσϧͱUGJEGΛൺֱ
    • 53&$Ͱݕূ
    • UGJEGΑΓݦஶʹྑ͍͜ͱΛࣔͨ͠

    View Slide

  28. 1POUFͱ$SPGUʹΑΔ࣮ݧ
    • ఺ฏۉద߹཰ͰධՁ
    • શͯͷ3FDBMMͰ-. ΫΤϦ໬౓Ϟσϧ

    ͷ1SFDJTJPO͕༏Ґ
    • ࿦จΑΓ
    • UGJEGͷΑ͏ͳΞυϗοΫͳํ๏Ͱ͸ͳ͘
    ౷ܭతͳཧ࿦ʹجͮ͘ख๏ΛఏҊͨ͠
    • ਫ਼౓޲্͸ॏཁͰ͸ͳ͍
    ৽͍͠৘ใݕࡧͷํ๏ͷఏҊʹҙຯ͕͋Δ

    View Slide

  29. ৘ใݕࡧʹ͓͚ΔݴޠϞσϧख๏ͱ
    ଞͷख๏ͷରൺ

    View Slide

  30. ݴޠϞσϧख๏ͱଞͷख๏ͷରൺ
    • #*. όΠφϦಠཱϞσϧ
    ͱͷҧ͍
    • Ϟσϧͷؔ࿈ੑΛఘΊ͍ͯΔ
    • #*.͸୯ޠ͝ͱͷ!"Λར༻ɺ֤จষͰڞ௨ͯ͠ར༻͢Δ
    • ݴޠϞσϧ͸Ϟσϧؒ จষؒ
    Ͱڞ௨ͷύϥϝʔλΛ༻͍ͳ͍
    • ݴޠϞσϧ͸ؔ࿈ੑͷ֓೦͕ͳ͍
    #*.ͷ3

    View Slide

  31. ݴޠϞσϧख๏ͱଞͷख๏ͷରൺ
    • ݴޠϞσϧͷܽ఺
    • ؔ࿈ඇؔ࿈ͷ֓೦͕ͳ͍ͨΊద߹ϑΟʔυόοΫ͕ࠔ೉
    • ϑϨʔζ΍અͷݕࡧʹ͸ରԠͰ͖ͳ͍
    • ϢχάϥϜϞσϧ͸୯ޠͷग़ݱ֬཰͕ಠཱ͔ͩΒ
    • όΠάϥϜϞσϧͳͲΛ࢖͏ඞཁ͕͋Δ

    View Slide

  32. ݴޠϞσϧख๏ͱଞͷख๏ͷରൺ
    • UGJEGͱͷҧ͍
    • େ·͔ʹ͸ࣅ͍ͯΔ
    • UG ˠ ϢχάϥϜݴޠϞσϧͰͦͷ··ར༻
    • JEG ˠ ίϨΫγϣϯશମΛར༻͢ΔεϜʔδϯάʹগ͠ࣅ͍ͯΔ
    • UGJEG͸ώϡʔϦεςΟοΫ ݴޠϞσϧ͸ݪଇత ਺ཧత

    • ݴޠϞσϧ͸֬཰Ϟσϧ΍εϜʔδϯάํ๏Λม͑ΒΕΔ
    UGJEG ݴޠϞσϧ

    View Slide

  33. ݴޠϞσϧख๏ͱଞͷख๏ͷରൺ
    • UGJEG
    • UG JEG྆ํڞ͕ߴ͍ͱߴ͍஋
    • ίϨΫγϣϯͰසग़͢Δ୯ޠͷJEG͸௿͍஋
    • ݴޠϞσϧ
    • ͋·Γग़ݱ͠ͳ͍୯ޠ͕͋Δͱ֬཰͕ݮΔ
    UGJEG ݴޠϞσϧ

    View Slide

  34. ֦ுݴޠϞσϧख๏

    View Slide

  35. ֦ுݴޠϞσϧख๏
    จষ໬౓Ϟσϧ ! " #$
    • ΫΤϦʔ͕จষΛੜ੒͢Δ֬཰Λར༻
    • ͋·ΓධՁ͞Ε͍ͯͳ͍
    • ΫΤϦʔ͸୯ޠ͕গͳ͍ͨΊɺਫ਼౓ྑ͍ਪఆ͕Ͱ͖ͳ͍
    • ద߹ϑΟʔυόοΫ͸૊ࠐΊΔ
    • ؔ࿈จষ͔ΒऔΓग़ͨ͠༻ޠΛΫΤϦʔʹ֦ுͰ͖Δ
    ΫΤϦ໬౓Ϟσϧ
    จষ໬౓Ϟσϧ
    ,-ڑ཭ʹجͮ͘ํ๏

    View Slide

  36. ֦ுݴޠϞσϧख๏
    • ,-ڑ཭ʹجͮ͘ख๏
    • ! " #$ ͱ! % #& ͷڑ཭ΛଌΓɺখ͍͞ॱʹϥϯΩϯά
    • ΫΤϦ໬౓ɺจষ໬౓ڞʹසग़͢Δ୯ޠ͕͋Δ΄Ͳద߹͍ͯ͠Δ

    • ࣮͸ΫΤϦ໬౓Ϟσϧͱ౳ՁʹͳΔ
    • ෼෍ؒͷڑ཭Λར༻ͨ͠ํ๏͸ଞʹ΋ൃలͰ͖Δ

    View Slide

  37. ֦ுݴޠϞσϧख๏
    • ຋༁Ϟσϧ
    • ಉٛޠɺଞݴޠݕࡧ΁ͷରࡦ
    จষݴޠϞσϧ
    ΫΤϦ໬౓Ϟσϧ

    ಉٛޠؒͷࣄޙ֬཰
    γιʔϥε΍ݴޠࣙॻ͔Β࡞੒

    ೔ຊޠͷ୯ޠUͱӳޠͷ୯ޠW
    ͕ಉٛޠͰ͋Δ֬཰
    ӳ୯ޠW͕ӳจষEʹ
    ൃੜ͢Δ֬཰

    View Slide

  38. ·ͱΊ
    • ݴޠϞσϧΛར༻ͨ͠ݕࡧख๏
    • ΫΤϦ໬౓Ϟσϧ
    • γϯϓϧˍ֦ுੑ
    • ݴޠϞσϧͱεϜʔδϯάΛ໰୊ʹ͋Θͤͯ૊Έ߹Θͤ
    • Ԡ༻ͨ͠ݴޠϞσϧ৭ʑ
    • ݴޠ໬౓Ϟσϧɺ,-ڑ཭
    • ຋༁Ϟσϧ

    View Slide

  39. ࢀߟจݙ
    • ߐޱߒೋ l৘ใݕࡧͷͨΊͷ֬཰తݴޠϞσϧz ৘ใॲཧֶձ
    ݚڀใࠂ 7PM4-1/P
    • ݪౡॱ ࠇڮఓ෉ lςΩετͷද૚৘ใͱજࡏ৘ใΛར༻ͨ͠ద
    ߹ϑΟʔυόοΫz ࣗવݴޠॲཧ /P 7PM
    • ೥ʹ࣮ࢪ͞Εͨษڧձࢿྉ
    • IUUQOBPZBEZOEOTPSHdOBPZBJJSQQU

    View Slide