Upgrade to Pro — share decks privately, control downloads, hide ads and more …

自然言語処理と情報検索について(NLP AND IR)

88b514e6413838c0d0cfb3257cefd19d?s=47 KAMATA Shingo
November 27, 2021

自然言語処理と情報検索について(NLP AND IR)

友人たちとの勉強会で作成した資料
内容の正確性については保証しません。

88b514e6413838c0d0cfb3257cefd19d?s=128

KAMATA Shingo

November 27, 2021
Tweet

Transcript

  1. ൃදऀɿ,"."5"4IJOHP ࣗવݴޠॲཧʢ/-1ʣͱ ৘ใݕࡧʢ*3ʣʹ͍ͭͯ ୈճ༨ؼೲతτʔΫձ 4FTTJPO*%

  2. ຊൃදͷͶΒ͍ wࣗવݴޠॲཧʹ͍ͭͯʢ΋ͬͱʣ஌ͬͯ΋Β͏ w৘ใݕࡧʹ͍ͭͯʢ΋ͬͱʣ஌ͬͯ΋Β͏ w྆ऀͷؔΘΓʹ͍ͭͯ΋஌ͬͯ΋Β͍ɺ྆ऀͷؔ܎ʹ͍ͭͯڞʹٞ࿦Λ͍ͨ͠  ಛʹɺ୯ޠຒΊࠐΈɺ෼ࢄҙຯ࿦ɺݴޠϞσϧͷΩʔϫʔυΛ࣠ͱͨؔ͠܎Λ஌ͬͯ΋Β͏  ͨͩ͠ɺ͜ΕΒͰඥ෇͚Δͷ͸΍΍͚͔ͭ͜͡΋  ݱ৔ͷݚڀऀ͕͜ΕΒΛڧ͘ҙ͍ࣝͯ͠Δͱ͸ࢥ͑ͳ͍ɻɻɻ

     ઐ໳Ͱͳ͍ਓͰ΋ɺ਺ֶ΍৘ใՊֶʢܭࢉػՊֶʣΛ͖ͯͨ͠ਓͳΒԿ͔͠Βͷߟ࡯Λ࣋ͬ ͯ΋Β͑Δͱࢥ͏ wϓϩμΫτͱͯ͠ɺࣗવݴޠॲཧɺ৘ใݕࡧΛ࢖͏ࡍͷ޻෉ʹ͍ͭͯ΋஌ͬͯ ΋Β͏ʢ༨ஊఔ౓ɺ͕࣌ؒ༨Ε͹ʣ
  3. ࣗવݴޠॲཧ /BUVSBM-BOHVBHF1SPDFTTJOH

  4. ࣗવݴޠॲཧͱ͸ʁ wʮࣗવݴޠʯΛίϯϐϡʔλͰѻ͏໰୊  ࣍εϥΠυͷࣗવݴޠॲཧͷʮλεΫʯΛݟͯ΋Β͏ͱΘ͔Γ΍͍͢  ࣗવݴޠͱൺֱ͞ΕΔର৅ͱͯ͠ʮਓ޻ݴޠʯ͕͋Δ  ਓ޻ݴޠ͸ಛఆͷ༻్ʹಛԽͨ͠΋ͷͰɺϓϩάϥϛϯάݴޠɺ਺ࣜͳͲ wݱঢ়ͷࣗવݴޠॲཧʹ͓͍ͯ΋ɺਫ਼౓Λग़ͨ͢Ίʹ͸ɺӳޠͱ೔ຊޠͳͲݴޠ ͷࠩҟΛଟগ͸ߟྀ͢Δඞཁ͕͋Δ

     ීวతͳݴޠʢݱ৅ʣҰൠΛղ໌͢Δʹ͸·ͩ·ͩࢸ͍ͬͯͳ͍ ʢͦ΋ͦ΋ීวతͳߏ଄͕ଘࡏ͠͏Δͷ͔ͱ͍͏࿩΋Α͘Θ͔͍ͬͯͳ͍͔΋ɾɾɾʣ wχϡʔϥϧݴޠϞσϧʢޙड़ʣొ৔ͷલޙͰ͋ΔछͷύϥμΠϜγϑτ͕ى͖ ͨײ͡͸͋Δ
  5. ࣗવݴޠॲཧͷ୅දతͳλεΫ ҎԼͷΑ͏ͳλεΫ͕ࣗવݴޠॲཧͷλεΫͱͯ͋͛͠ΒΕΔ w෼͔ͪॻ͖ɿจষΛ୯ޠ͜͝ͱʹ۠੾Δ  ྫɿӈͷ݁Ռࢀর wཁ໿λεΫɿઆ໌͠ͳͯ͘΋஌͍ͬͯΔͱࢥ͏  ྫɿΠϥΠβμΠδΣετ w຋༁λεΫɿઆ໌͠ͳͯ͘΋஌͍ͬͯΔͱࢥ͏ 

    ྫɿ%FFQ-MPHP຋༁πʔϧ w࣭໰Ԡ౴λεΫɿνϟοτϘοτͱ͔  ྫɿ"*νϟοτϘοτ͔ͨΒ͍ wจষੜ੒λεΫɿ͋Δఔ౓ͷ௕จΛࣗಈతʹੜ੒͢Δ  ྫɿ͜ͷهࣄ͸࣮ࡏ͠·ͤΜ(155FYU(FOFSBUJPO%FNP FDIPࢲ͸ژ౎ͷΓΜ͕͝޷͖Ͱ͢cNFDBC ࢲ ໊ࢺ ୅໊ࢺ Ұൠ ࢲ ϫλγ ϫλγ ͸ ॿࢺ ܎ॿࢺ ͸ ϋ ϫ ژ౎ ໊ࢺ ݻ༗໊ࢺ ஍Ҭ Ұൠ ژ౎ Ωϣ΢τ Ωϣʔτ ͷ ॿࢺ ࿈ମԽ ͷ ϊ ϊ ΓΜ͝ ໊ࢺ Ұൠ ΓΜ͝ Ϧϯΰ Ϧϯΰ ͕ ॿࢺ ֨ॿࢺ Ұൠ ͕ Ψ Ψ ޷͖ ໊ࢺ ܗ༰ಈࢺޠװ ޷͖ εΩ εΩ Ͱ͢ ॿಈࢺ ಛघɾσε جຊܗ Ͱ͢ σε σ ε &04
  6. ࣗવݴޠॲཧͷมભ ҎԼͷ࢙؍͸<>ʹج͕ͮ͘ɺ֓Ͷਓ޻஌ೳҰൠͷ࢙؍<>ͱڞ௨͍ͯ͠Δͱ΋͍͑ͦ͏ wॳظʢه߸తΞϓϩʔνʣ  ཧ࿦తͳݴޠֶʢ$IPNTLZͳͲʹΑΔʣͷӨڹ͕ڧ͘ɺه߸࿦తͳΞϓϩʔνʢޙड़ʣ͕͞Ε͍ͯΔ wதظʢ౷ܭతΞϓϩʔνʣ  ݴޠֶ͔Β΍΍ڑ཭ΛऔΓ࢝ΊͯɺΑΓ޻ֶతԠ༻Պֶతଆ໘͕Ͱͯ͘Δ wݱ୅ʢχϡʔϥϧωοτతΞϓϩʔνʣ 

    ਂ૚ֶश͕ྲྀߦΓͩͯ͠ɺػցֶशͱ઀ۙͯ͘͠Δ ݱࡏɺཧ࿦తݴޠֶͱࣗવݴޠॲཧʹ͸݁ߏִͨΓ͕͋Δ͔΋ wDG$IPNTLZ/PSWJHEFCBUF IUUQXFCDTFPIJPTUBUFFEVdTUJ⒎DTFOPSWJHDIPNTLZIUNM w/PSWJH͸(PPHMFݚڀຊ෦௕ʢ%JSFDUPSPG3FTFBSDIʣ
  7. ࣗવݴޠॲཧͷݹయతͳख๏ wϧʔϧϕʔεతͳΞϓϩʔν  ϧʔϧʹΑΔॻ͖׵͑ଇͳͲ  ྫɿݟग़͠ޠԽͷม׵ͳͲʢӈͷਤࢀߟʣ wه߸࿦ཧɺ,(ʢ,OPXMFEHF(SBQIʣతͳΞϓϩʔν  ཭ࢄతʹߏ଄Խ͞Εͨ৘ใΛ༻͍Δ 

    ྫɿXJLJEBUB41"32-ʹΑΔؔ܎ͷඳը w#P8ɺ5'*%'ͳͲͷݴޠϞσϧΛར༻͢ΔΑ͏ͳΞϓϩʔν  ৄࡉ͸ޙड़ w౷ܭతͳΞϓϩʔν  ϚϧίϑϞσϧΛ༻͍ͨΞϓϩʔνʢ#P8ͳͲ΋ΑΓ΋ߴ࣍ݩͳݴޠϞσϧͱ΋͍͑Δʣ  ྫɿϚϧίϑ࿈࠯Λ༻͍ͨจষੜ੒ɺ෼͔ͪॻ͖ͳͲɻ ݹయత͔ͩΒͱ͍ͬͯࠓ͸࢖ΘΕ͍ͯͳ͍ͱ͍͏͜ͱͰ͸ͳ͍ ʢ͜ΕΒͷํ๏͸໌շͰDPOUSPMMBCMFͱ͍͏͜ͱ΋͋Γɺݱࡏ΋࢖ΘΕ͍ͯΔ͜ͱ΋ଟ͍ʣ ݟग़͠ޠԽͷྫ CFGPSFBGUFS DPNQVUFDPNQVUF DPNQVUFSDPNQVUFS DPNQVUFEDPNQVUF DPNQVUJOHDPNQVUJOH
  8. ৘ใݕࡧ *OGPSNBUJPO3FUSJFWBM

  9. ৘ใݕࡧͱ͸ʁ wσʔλू߹ʢ๲େͳྔʣ΁ͷ2VFSZʢ໰͍߹Θͤʣʹରͯ͠ద੾ͳճ౴Λద ੾ͳॱ෇͚Λͯ͠ఏࣔ͢ΔλεΫ  σʔλू߹ʹจࣈྻσʔλ͕དྷΔ͜ͱ΋ଟ͘ʢXFCݕࡧΤϯδϯͳͲʣ ͦ͏͍͏ҙຯͰ͸ࣗવݴޠॲཧͷαϒλεΫͱ΋ΈͳͤΔ  ͨͩ͠ɺۙ೥Ͱ͸ɺը૾ݕࡧͳͲ΋Ұൠʹ޿·͍ͬͯΔʢ͕ࠓճ͸৮Εͳ͍ʣ wޙड़͢ΔΑ͏ʹɺ୯ͳΔ/-1ͷαϒλεΫͱͯ͠ͷ*3ͱ͍͏ଆ໘Ͱ͸ͳ͘ɺ ʮ୯ޠຒΊࠐΈʯͷΑ͏ͳൃ໌͕/-1ʹ࣋ͪࠐ·Εɺޙʹχϡʔϥϧݴޠ

    Ϟσϧͷ੒ޭʹͭͳ͕ͬͨͱΈͳ͢ͱɺλεΫͷओैҎ্ͷؔ܎͕͋Δͱ΋ ݴ͑ͦ͏  ͦͷೝ͕ࣝద੾ͳͷ͔ʢͦ͏ΈͳͤΔͷ͔ʣ͸ཁٞ࿦͔΋ɻɻɻ w w w
  10. ৘ใݕࡧͷλεΫ ʮ৘ใݕࡧʯ͸ࣗવݴޠॲཧͱൺ΂Δͱɺ޿͍λεΫΛΧόʔ͢Δݴ༿Ͱ͸ͳ ͍͕ɺࠓճ͸ҎԼͷͭͷΠϝʔδΛ΋͍ͬͯ΋Β͑Δͱ͍͍͔΋ wશจݕࡧ  υΩϡϝϯτͷݕࡧ΍ɺXFCϖʔδͷݕࡧͳͲ͕͜Ε  ྫɿ(PPHMFݕࡧɺࣾ಺จষݕࡧ wߏ଄Խ͞Εͨσʔλ͔Βߏ଄Խ͞Εͨ৘ใʹΑΔݕࡧ 

    ஌ࣝϕʔεͳͲΛ༻͍ͨݕࡧͳͲ͕͜Ε  ྫɿXJLJEBUBͷݕࡧʢઌఔͷྫʣ
  11. ৘ใݕࡧͷมભ w஌Βͳ͍Ͱ͢୭͔ڭ͑ͯ💦 wݹయతʹ͸ɺσʔλߏ଄తͳ࿩ͱ΋ਂ݁͘ͼ͍ͭͯͦ͏Ͱ͸͋Δ  ύλʔϯϚον౳  ͨͩݱ୅తʹ͸ɺૉ๿ͳύλʔϯϚον͸΋͸΍ΞϧΰϦζϜͱ͔ͷ՝୊ʹͳ͍ͬͯΔʁ wసஔ*OEFYͱ5'*%'ͱ͍͏ݹయత݁Ռ͕͘͢͝ڧྗͰ͋Δ͜ͱ͸·͕͍ͪ ͳ͍ 

    ͭͱ΋͜ͷ͋ͱ঺հ͠·͢ wݱ୅ͩͱɺʮਪનʢγεςϜʣʯͱͯ͠ͷݚڀͷ΄͏͕੝Γ্͕͍ͬͯΔ͔΋ ͠Εͳ͍<>
  12. શจݕࡧʹ͍ͭͯ શจݕࡧʢͥΜͿΜ͚Μ͘͞ɺӳ'VMMUFYUTFBSDIʣͱ͸ɺίϯϐϡʔλʹ͓͍ͯɺෳ਺ ͷจॻʢϑΝΠϧʣ͔ΒಛఆͷจࣈྻΛݕࡧ͢Δ͜ͱɻʮϑΝΠϧ໊ݕࡧʯ΍ʮ୯ҰϑΝΠ ϧ಺ͷจࣈྻݕࡧʯͱҟͳΓɺʮෳ਺จॻʹ·͕ͨͬͯɺจॻʹؚ·ΕΔશจΛର৅ͱͨ͠ ݕࡧʯͱ͍͏ҙຯͰ࢖༻͞ΕΔɻʙXJLJQFEJB KB ʮશจݕࡧʯΑΓʙ wશจݕࡧʹ͸ɺ۪௚ʹݕࡧจࣈྻΛύλʔϯϚονͤ͞Δํ๏ʢHSFQܕʣͱɺࡧҾ ʢJOEFYʣΛ༻ҙͤ͞Δํ๏͕͋Δ<> wࡧҾܕݕࡧʹ͍ͭͯ

     ࡧҾҾ͖ͷͨΊͷ࢓૊ΈʮసஔΠϯσοΫεʯΛࣄલʹ࡞੒͓ͯ͘͜͠ͱͰߴ଎ʹݕࡧ͕Ͱ͖Δ  υΩϡϝϯτ਺ υΩϡϝϯτฏۉจࣈ਺Φʔμʔʢ2VFSZαΠζ͸͜ΕΑΓѹ౗తʹখ͍͞ͱ͢ΔʣΑΓૣ݁͘Ռ ΛಘΒΕΔ  ʮژ౎ʯͰݕࡧͯ͠ʮ౦ژ౎ʯ͕ώοτ͠ͳ͍ࣗવͳݕࡧʹ΋د༩͢Δ  HSFQܕʹ͘Β΂ɺΠϯσοΫεΛ࡞Γʹ͍͘ߏ଄ʢύλʔϯจࣈྻݕࡧͳͲʣ͸ۤख  Ԙج഑ྻ͔ΒಛఆͷύλʔϯจࣈྻΛݕࡧ͢ΔͳͲͰ͸ɺHSFQܕͱ͔ͷ΄͏͕޲͍ͯΔʢ"IP$PSBTJDLͳͲͷ͕޲ ͍ͯͦ͏ʣ
  13. సஔ*OEFY w*OEFYJOH͢Δͷʹɺ෼͔ͪॻ͖͕ར༻͞Ε͍ͯΔ  ӳޠͳΒεϖʔεΛ໨҆ʹநग़Ͱ͖Δ͕ɺ೔ຊޠͩͱ೉͍͠ w͜Ε͸ʮޠኮʯΛఆ͍ٛͯ͠Δ͜ͱ͕݁ߏॏཁ wݕࡧͷྫ  ΓΜ͝Ͱݕࡧˠจষ  ͕ώοτ

     Զ"/%ΓΜ͝ˠͷΈ͕ώοτ  ژ౎ˠͷΈ͕ώοτ  ౦ژ౎ ౦ژ౎౦ژˍ౎ ˠͷΈ͕ώοτ هࣄ൪߸ ੜςΩετ 5PLFO෼ׂ݁Ռʢ*OEFYJOH  Զ͸౦ژ౎ʹ͍·͢ Զ͸ΓΜ͕͝ݏ͍Ͱ͢ Զ͸౦ژ౎ʹ͍·͢ Զ͸ΓΜ͕͝ݏ͍Ͱ͢  ࢲ͸ژ౎ʹ͍·͢ ࢲ͸ΓΜ͕͝޷͖Ͱ͢ ࢲ͸ژ౎ʹ͍·͢ ࢲ͸ΓΜ͕͝޷͖Ͱ͢  ࢲ͸ΓΜ͕͝޷͖Ͱ੨ΓΜ͝͸΋ͬͱ޷͖Ͱ͢ ࢲ͸ΓΜ͕͝޷͖Ͱ੨ΓΜ͝͸΋ͬͱ޷͖Ͱ͢  ෹આຎᨈൠए೾ཏຶଟ৺ܦ ෹આຎᨈൠए೾ཏຶଟ৺ܦ ୯ޠ هࣄ൪߸ Զ  ͸    ౦ژ  ౎  ʹ   ͍   ·͢   ΓΜ͝    ͕   ݏ͍  Ͱ͢    ࢲ   ژ౎  ޷͖   Ͱ  ੨  ΋ͬͱ  ෹આ  ຎ  ʢதུʣ  ܦ 
  14. ϥϯΩϯά෇͚ͱ5'*%' w৘ใݕࡧʹ͓͍ͯ͸ɺݕࡧ݁ՌΛʮద੾ʯͳϥϯΩϯάͰग़͢ ͜ͱ͕ඞཁ  2ʮΓΜ͝ʯͷݕࡧ݁Ռ͕ͲΕΛҐʹ͢Δͷ͕ଥ౰ͩΖ͏͔ʁ  ΓΜ͝ͷग़ݱճ਺Λߟ͑Δͷ͕ྑͦ͞͏  2ʮࢲ"/%ΓΜ͝ʯͰݕࡧͨ݁͠Ռ͸ͲΕ͕ҐʹͳΔͷ͕ଥ౰ʁ 

    ʮࢲʯͷ΄͏͕ॏΈ͕͋Γͦ͏͔ͩΒɺͪ͜ΒͷϙΠϯτධՁΛߴ͍ͨ͘͠ w5'*%'  ɿจষ਺ʢࠓճ͸ʣɺ ɿ୯ޠU͕ग़ݱ͢ΔυΩϡϝϯτ ਺ɺ ɿจষEʹ͓͚Δ୯ޠUͷग़ݱճ਺  ɿจষEʹ͓͚Δ୯ޠUͷग़ݱ֬཰    ɿ୯ޠU͕ग़ݱ͢Δ͜ͱʹର͢Δ৘ใྔతͳ΋ͷ   ɿ୯ޠUͰݕࡧͨ͠ͱ͖ͷจষEͷධՁ஋తͳ΋ͷ   5'͸*OEFYςʔϒϧʹɺ*%'͸సஔ*OEFYςʔϒϧʹॻ͘ͱΘ͔Γ΍͍͢ N ∈ ℕ tf(t) ∈ ℕ nf(t, d) ∈ ℕ tf(t, d) ∈ ℝ tf(t, d) = nf(t, d) / Σs∈d nf(s, d) idf(t) ∈ ℝ idf(t) = log(N / df(t)) + 1 tfidf(t, d) ∈ ℝ tfidf(t, d) = tf(t, d) * idf(t) هࣄ ൪߸ 5' /'  Զ͸౦ژ౎ʹ ͍·͢Զ͸ΓΜ ͕͝ݏ͍Ͱ͢ \Զ ͸ ౦ژ ౎ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ౎ ޷͖ Ͱ ੨ ΋ͬͱ ෹ આ ຎ ʢதུʣ ܦ^  ࢲ͸ژ౎ʹ͍· ͢ࢲ͸ΓΜ͕͝ ޷͖Ͱ͢ \Զ ͸ ౦ژ ౎ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ౎ ޷͖ Ͱ ੨ ΋ͬͱ ෹ આ ຎ ʢதུʣ ܦ^  ࢲ͸ΓΜ͕͝޷ ͖Ͱ੨ΓΜ͝͸ ΋ͬͱ޷͖Ͱ͢ \Զ ͸ ౦ژ ౎ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ౎ ޷͖ Ͱ ੨ ΋ͬͱ ෹ આ ຎ ʢதུʣ ܦ^  ෹આຎᨈൠए೾ ཏຶଟ৺ܦ \Զ ͸ ౦ژ ౎ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ౎ ޷͖ Ͱ ੨ ΋ͬͱ ෹ આ ຎ ʢதུʣ ܦ^ ୯ޠ هࣄ൪߸ 5' *%' Զ    ͸      ౦ژ    ౎    ʹ     ͍     ·͢     ΓΜ͝      ͕     ݏ͍    Ͱ͢      ࢲ     ژ౎    ޷͖     Ͱ    ੨    ΋ͬͱ    ෹આ    ຎ    ʢதུʣ    ܦ   
  15. ୯ޠຒΊࠐΈɺจॻͷຒΊࠐΈ wޠኮʢ୯ޠͷछྨʣ͕ఆΊΒΕΔ৔໘ʹ͓͍ͯɺ୯ޠΛϕΫτϧʹରԠͤ͞Δ͜ͱ͕ͰͰ͖Δ  ୯ޠຒΊࠐΈʢ5FSNϕΫτϧʣɿ୯ޠΛ࣮ϕΫτϧ্ʹҐஔ͚ͮΔ͜ͱ  ࠓ·Ͱͷྫʹ͓͚Δʮ౦ژʯͷ୯ޠຒΊࠐΈ   ্هͷ୯७ͳ୯ޠຒΊࠐΈΛ0OFIPUදݱͱ͍͏ w0OFIPUͷߟ͑ํΛԠ༻ͯ͠ɺจষ΋ϕΫτϧԽͰ͖Δ

     #PXɿ/'ͷ৘ใϕΫτϧͰද͢  ઌఔͷ/'ͷਤΛࢀߟ  5'*%'ϕΫτϧɿ5'*%' U E ͰจষEΛϕΫτϧԽ  จষͩͱҎԼͷײ͡  wจষϕΫτϧΛ༻͍ͨจষݕࡧ  ྫɿจষͱจষͷൺֱͳͲΛͯ͠ΈΔ  $PTྨࣅ౓Λ༻͍ͯจষͷൺֱ͕Ͱ͖Δ w໰୊ɿ0OFIPUදݱ͕΋ͭɺ৘ใݕࡧతͳ՝୊͸ͳΜͰ͋Ζ͏͔ʁ ࢲ ͸ ౦ژ ʹ ʢதུʣ ܦ     ʜ  ࢲ ͸ ౦ژ ʹ ʢதུʣ ܦ     ʜ 
  16. ۩ମతͳશจݕࡧΤϯδϯ wશจݕࡧΤϯδϯʢϛυϧ΢ΣΞʣͷಛ௃  ࣗಈͰ*OEFY࡞੒ͯ͘͠ΕΔ  શจݕࡧͱͦ͏Ͱͳ͍෦෼ͷݕࡧ΋Մೳ  ࠷ۙ͸Ϋϥ΢υϕʔεͷ΋ͷ͕ଟ͍  5FSNϕΫτϧϕʔεͰྨࣅจষݕࡧͯ͘͠ΕΔɹ

    &MBTUJDTFBSDIͷNPSFMJLFUIJTʣͳͲͷػೳ΋͋Δ w୅දྫ  -VDFOF  ೥͘Β͍͔Β͋Γࠓ΋ϝϯς͞Ε͍ͯΔɺଟ͘ͷશจݕࡧΤϯδϯͷίΞʹͳ͍ͬͯΔ  &MBTUJDTFBSDI  -VDFOFϕʔε  ෼ࢄॲཧ΍ϚϧνςφϯτʹରԠ͍ͯ͠Δ  "MHPMJB  "1*ϕʔεͷݕࡧαʔϏε ʢ৺ͷ੠ʣ։ൃऀӡ༻ऀͱͯ͠͸ɺ͋Δఔ౓ݕࡧػೳ͕͋Ε͹ɺҎԼͷ͜ͱͷ΄͏͕ॏཁͩͬͨΓɻɻɻ  Ϋϥ΢υαʔϏεͱͷ࿈ܞʢΦϒδΣΫτετϨʔδ΍3%4͔ΒͷҠߦੑͳͲʣ  ΦʔτεέʔϦϯά  ՄࢹԽπʔϧ
  17. ʢ͜͜·Ͱ෼ͳΒ͍͍ϖʔεʣ

  18. ෼ࢄҙຯ࿦ͱݴޠϞσϧ

  19. ෼෍ҙຯ࿦ wʢݴޠ࢖༻ʹ͓͚Δʣʮҙຯ࿦ʯʹؔ͢ΔҰͭͷཧ࿦  ʮࣅͨ෼෍Λ΋ͭݴޠతର৅͸ࣅͨҙຯΛ࣋ͭʯͱ͍͏෼෍Ծઆʹجͮ͘ҙຯͷཧ࿦  ʮ౷ܭతҙຯ࿦ʯͷ̍ͭͰ΋͋Δʢ෼෍ҙຯ࿦͸୯ޠͷҙຯ͕த৺ʁ໌֬ͳࠩҟ͸ෆ໌ʣ w'JSUIͷʮ୯ޠ͸ͦͷपลʹΑͬͯಛ௃͚ͮΒΕΔʯͱ͍͏ΞΠσΟΞ͕ࠜఈʹ͋Δ  'JSUI͸ޙظ΢ΟτήϯγϡλΠϯͷݴޠήʔϜͱͷؔ࿈΋ड़΂͍ͯΔ<> wʮ୯ޠຒΊࠐΈʯ͸΋ͱ΋ͱ෼෍ҙຯ࿦ͷαϒςʔϚͰ͋ͬͨ<>

     ୯ޠຒΊࠐΈͷ࠷ॳͷ੒Ռ͸*3ͱݴΘΕ͍ͯΔ<>  ୯ޠຒΊࠐΈݚڀ͕XPSEWFDʢޙड़ɺҎ߱87ʣΛੜΈग़͠ɺ͔ͦ͜Β#&35ͳͲʹͭͳ͕Δ  ͕ɺ*3ͷد༩͕ͲΕ͚ͩϓϦϛςΟϒͳͷ͔͸Θ͔Βͳ͍ wχϡʔϥϧݴޠϞσϧͷख๏Λݚڀ͍ͯͨ͠ਓ͕͜ΕΒͷ࿩ΛͲ͜·Ͱҙ͍ࣝͯ͠ ͔ͨ͸ෆ໌  <>΍<>ͳͲͰɺEJTUSJCVUJPOBMTFNBOUJDT΍TUBUJTUJDBMTFNBOUJDTͷݴٴ͸ݟ͔ͭΒͣ
  20. ݴޠϞσϧ w౷ܭతͳҙຯ߹͍ͷʮϞσϧʯʢ਺ཧ࿦ཧֶจ຺ͷϞσϧͱ͸ҧ͏ʣ  จষʢ୯ޠγʔέϯεʣશମͷ֬཰෼෍Ͱ͋Γɺจষͷࣗવ͞ଥ౰͞Λʮ֬཰ʯͰදݱ͢Δ  ྫɿQ lࢲ͸ύϯΛ৯΂·ͨ͠z Q l৯΂ύϯΛࢲ͸·ͨ͠z 

    wจষΛॲཧ͢ΔͨΊʹ͸ɺจষΛτʔΫϯԽʢUPLFOJ[Fʣ͢Δඞཁ͕͋Δ  ৘ใݕࡧͷྫͷΑ͏ʹ୯ޠͰ෼ׂ͢Δํ๏΋͋Δ͕ɺޙड़͢Δαϒϫʔυ͕Α͘༻͍ΒΕΔ wจষͷग़ݱ֬཰͸τʔΫϯͷಉ࣌֬཰ ͱಉ͡  จষ4ΛτʔΫϯԽͨ͠΋ͷ   ͷग़ݱ֬཰͸લޙͷτʔΫϯ΁ͷґଘੑ͕ߟ͑ΒΕ  ྫɿʮ๻͸ே͝͸Μʹ Λ৯΂·ͨ͠ʯͳΔ ͸͔ͳΓݶΒΕΔ  ͭ·Γɺจ຺ͳͲΛԾఆ͢Δ͜ͱͰ͜ͷݴޠϞσϧΛΑΓਫ਼֬ʹҎԼͷΑ͏ʹදݱͰ͖Δ<>    ͨͱ͑͹ɺ ͩͱ͢ΔͱɺJ൪໨ͷ୯ޠΛਪ࿦͢ΔͷʹɺલLݸͷ୯ޠΛར༻ wݴޠϞσϧͷதؒ૚͔ΒಘΒΕΔϕΫτϧ͸ɺ෼෍Ծઆʹجͮ͘Α͏ʹΈ͑Δ w w w p(s) = p(w1 , w2 , . . . , wn ) s = (w1 , w2 , . . . , wn ) wi wi wi P(wi |context) ∀wi ∈ ޠኮ P(wi |wi−k , , , . wi−1 )
  21. ݹయతʢඇχϡʔϥϧʣͳݴޠϞσϧ w୅දྫɿ#P8ɺ5'*%'  ࣮͸ݴޠϞσϧͰ΋͋Γ·ͨ͠  τʔΫϯԽɿ୯ޠ෼ׂ  ͦͷଞৄࡉ͸ઌఔݟͨͷͰলུ  ʢݴޠϞσϧͱͯ͠ʣ͋Δจͷ֬཰Λܭࢉ͢Δʹ͸ɺ୯ޠͷग़ݱॱ΍લޙͷ୯ޠͱ͍ͬͨจ

    ຺Λແࢹͯ͠ɺͦͷจΛߏ੒͍ͯ͠Δ୯ޠͷग़ݱ֬཰͚ͩΛࢉग़ͯ֬͠཰Λࢉग़͢Δ  Q Զ͸౦ژ౎ʹ͍·͢ʣQ Զ  Q ͸  Q ౦ژ  Q ౎  Q ʹ Q ͍  Q ·͢   ͜ͷϞσϧͰ͸ɺQ Զ  Q ͸ Q ͸  Q Զ ͱͳͬͯ͠·͍ɺ͋·Γྑ͘ͳ͍  #P8΍5'*%'͸OHSBNͷOͷέʔεͩͱߟ͑ΒΕΔ  Oͱ͔ʹͳΔͱɺQ Զc#04  Q ͸cԶ 㱠Q ͸c#04  Q Զc͸ Έ͍ͨͳ͜ͱ͕Ͱ͖Δ w#P8ͷΑ͏ʹݹయతͳݴޠϞσϧ͸ʮ௿ʯ࣍ݩͰ͋Δ  ʮ௿ʯʢ࣍ݩʣͷؾ࣋ͪ͸ɺ ͳΔDPOUFYUͷࣗ༝౓͕௿͍ͱ͍͏͜ͱ  #P8ͩͱલޙΛશ͘ݟͳ͍ɺͭ·Γɺจ຺ͷೝ͕ࣝ௿͍ P(wi |context)
  22. χϡʔϥϧݴޠϞσϧ wχϡʔϥϧωοτʹΑֶͬͯश͞Εͨ௒ߴ࣍ݩͷϞσϧͰ͋Δ  ϚϧίϑϞσϧͳͲ͕<>Ͱߴ࣍ݩϞσϧͱݺ͹Ε͍ͯΔͷͰɺ௒ߴ࣍ݩͱͨ͠  ୅දྫͱͯ͠͸ɺ87ɺ#&35ͳͲ wͨͩ͠ɺ/-1ͷλεΫΛղ͘ࡍʹɺจͷࣗવ͞΍୯ޠ༧ଌͷͨΊʹχϡʔϥϧ ݴޠϞσϧ͕࢖ΘΕΔͱ͸ݶΒͳ͍  ྫ͑͹ɺ87͸ɺΉ͠ΖதؒදݱͰ͋Δ෼ࢄදݱΛಘΔͨΊʹ࢖ΘΕΔ

     #&35ͳͲͰ͸ɺΫϥε෼ྨ΍ಛ௃ޠநग़ͳͲͷ෼ྨثʹ઀ଓͯ͠ར༻͞ΕΔͨΊ൚༻తͳ ࢖ΘΕํΛ͢Δ  จͷࣗಈੜ੒Ͱ͸(15ܥͷϞσϧ͕࢖ΘΕΔͳͲɺ৔߹ʹԠͯ͡ݴޠϞσϧ͕બ୒͞Ε࢖Θ ΕΔ
  23. χϡʔϥϧݴޠϞσϧͷྫ87 wதؒ૚͔Β෼ࢄදݱΛಘΔͨΊͷϞσϧ  ૚ͳͷͰɺ%FFQͱ͸ݴ͑ͳ͍͔΋ wΞʔΩςΫνϟ  4LJQHSBN͋Δ͍͸$#P8ʢͦΕͧΕಉ͜͡ͱ͕ୡ੒Ͱ͖ΔҟͳΔΞʔΩςΫ νϟʣͱ͍͏ΞʔΩςΫνϟ͕༻͍ΒΕΔ w$#P8ͷઆ໌ 

    8JOEPX4J[FLͱͨ͠৔߹͸ɺೖྗɿLݸͷ0OFIPUɺग़ྗɿ ͷ֬཰෼෍ ͱͯ͠ɺ ͷ༧ଌ͕࠷దʹͳΔΑ͏ʹֶशΛ͢Δ wதؒ૚ʢॏΈͷߦྻ ʣ͔Β୯ޠͷ෼ࢄදݱΛಘΒΕΔ  தؒ૚ͷJߦ໨͸ɺޠኮதJ൪໨ͷ୯ޠͷϕΫτϧͱͳΔ  ͜ͷ୯ޠϕΫτϧ͸ɺֶशʹΑͬͯ8JOEPX಺ͷ୯ޠͱͷؔ࿈෇͚͕͞Ε͍ͯΔ  ͜ΕʹΑͬͯɺ୯ޠؒͷྨࣅ౓͕$PTྨࣅ౓ͳͲΛ༻͍ͯਤΕΔ  $PTྨࣅ౓ͷྫɿσϞͰ͓ݟͤ͠·͢ wΑ͘ݴΘΕΔ͜ͱͱͯ͠ɺՃ๏ߏ੒ੑ͕͋Δ  ྫɿ wi P(wi |wi−k , . . . , wi−1 , wi+1 , . . . , wi+k ) WN×V v(king) − v(male) + v( female) ≈ v(queen) $#P8ͷֶशͷ༷ࢠ ग़యɿ%FNPHSBQIJD1SFEJDUJPO#BTFEPO 6TFS3FWJFXTBCPVU.FEJDBUJPOT
  24. χϡʔϥϧݴޠϞσϧͷྫ#&35 w൚༻ݴޠϞσϧ w87ͱ͸ҧ͍ɺೖྗϕΫτϧ͸୯ޠ෼ׂͰ͸ͳ ͘αϒϫʔυ෼ׂ͞Εͨ΋ͷΛ༻͍Δ  ະ஌ޠͷൃੜΛ཈੍͢Δ͜ͱ͕Ͱ͖Δ  αϒϫʔυ෼ׂͷྫɿσϞͰ͓ݟͤ͠·͢ w#&35͸ࣄલֶशͱͯ͠ɺҎԼͷͭͷλεΫΛ ղ͘

     ϚεΫ಺ͷ୯ޠ༧ଌ  ྫɿʮԶ͸<."4,>౎ʹॅΜͰ͍·͢ʯ͔Β<."4,>ʹೖ ΔޠΛֶशͤ͞Δ  ࣍ͷจষͷ༧ଌ  ྫɿʮԶ͸౦ژ౎ʹॅΜͰ͍·͢ʯͷ࣍ʹͲͷจষ͕͖ͨ Βద੾ͳͷ͔Λֶशͤ͞Δ #&35ͷࣄલֶशͷਤ ग़యɿ#&351SFUSBJOJOHPG%FFQ #JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF 6OEFSTUBOEJOH
  25. #&35Λར༻ͨࣗ͠વݴޠॲཧ w#&35Ͱ͸ɺࣄલֶशͰ࡞ͬͨݴޠϞσϧΛ͞Βʹλ εΫʹ͋ΘͤͯνϡʔχϯάͰ͖Δʢ'JOF5VOJOHʣ  ͜ͷ'JOF5VOJOHੑ͕/-1ͷେ͖ͳϒϨΠΫεϧʔʹܨ͕ͬͨ ͱݴ͑ͦ͏  ࣄલֶशʹ͸ͦΕͳΓͷֶशίετ͕͔͔Δ͕ɺݴޠ͝ͱͷ ࣄલֶशϞσϧ͕͋Ε͹ɺ'JOF5VOJOHࣗମ͸গྔͷσʔλͰ ֶशͰ͖Δ

    w'JOF5VOJOHͰ͸ɺ෼ྨثͱ#&35ͷࣄલֶशࡁΈϞσ ϧΛ߹Θͤͯʢ࠶ʣֶशΛ͢Δ͜ͱͰɺʢಛ௃நग़Λ ߦ͍ͬͯͨʣࣄલֶशࡁΈϞσϧΛ͞Βʹਫ਼౓޲্ ʢͨͩ͜͠Ε͸λεΫʹରͯ͠ͷਫ਼౓Ͱ͸͋Δʣͤ͞ Δ͜ͱ͕Ͱ͖Δ #&35Λ༻͍ͨ୯ҰจͷΫϥε෼ྨͷਤ ग़యɿ#&351SFUSBJOJOHPG%FFQ #JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF 6OEFSTUBOEJOH
  26. /-1ͱ*3ͷޓ͍ͷԠ༻

  27. ݹయతͳԠ༻ Ԡ༻ʹ͍ͭͯ͸ओ؍Ͱ͢ ಛʹݹయతͳ৔߹͸ɺͦ΋ͦ΋྆ํͷݚڀ΍͍ͬͯͨਓ͕ଟͦ͏ͳͷͰɺݫີʹͲ͕ͬͪͲͬ ͪͱ͸ݴ͑ͳͦ͞͏ͳͷͰɺ w৘ใݕࡧͰࣗવݴޠॲཧͷ੒ՌΛར༻͢Δ  શจݕࡧ*OEFYJOHͷͨΊͷ෼͔ͪॻ͖  ݟग़͠ޠԽʢ-FNNB5J[BUJPOʣ wࣗવݴޠॲཧͰ৘ใݕࡧͷ੒ՌΛར༻͢Δ

     ୯ޠຒΊࠐΈͷख๏ w w
  28. χϡʔϥϧݴޠϞσϧҎ߱ͷԠ༻ Ԡ༻ʹ͍ͭͯ͸ओ؍Ͱ͢ w৘ใݕࡧͰࣗવݴޠॲཧͷ੒ՌΛར༻͢Δ  จষϕΫτϧʹΑΔݕࡧ  ͬͪ͜͸ݕࡧ࣌ʹ$PTྨࣅ౓ͳͲΛ΋ͱΊΔ  όονॲཧͳͲͰσʔλΛߏ଄Խͨ͠͏͑Ͱͷݕࡧ 

    ΫϥελϦϯά෼ྨ݁ՌͳͲΛࣄલʹ&OUJUJZԽ͓ͯ͘͠  (PPHMFͷ.6. wࣗવݴޠॲཧͰ৘ใݕࡧͷ੒ՌΛར༻͢Δ  ࣗ෼͸஌Βͳ͍ͷͰɺͳʹ͔஌͍ͬͯͨΒڭ͑ͯԼ͍͞ʂʂ w w
  29. ࢲݟʢ͜ͷ͋ͨΓٞ࿦Ͱ͖Δͱخ͍͠ʣ ߴߍ͔ΒେֶӃ·Ͱ৘ใՊͩͬͨࢲʹΑΔภݟΛؚΜͩएׯඈ͹ͨ͠ࢲݟ💦 w৘ใݕࡧ͸γεςϜతͳ࿩͕த৺ʹ͋Δ͕ɺࠜఈʹ͸ʮ৘ใʯʹؔ͢Δߟ࡯͕͋ ΔΑ͏ʹײ͡Δ  ྫ͑͹ɺ*%'ͱίϧϞΰϩϑෳࡶੑͱʹҰఆͷؔ܎ੑ͕ݟ͍ͩͤΔͱߦͬͨݚڀ͕͋Δ<> wݴޠ͸ଟ෼ʹʮ৘ใʯతଆ໘͕͋Δ  ৘ใΛ఻ୡ͢Δखஈͱͯ͠ͷݴޠΛߟ͑Ε͹౰વ 

    ͦͯ͠ɺݴޠ͕৘ใతଆ໘͕͋Δͱ΋ݴ͑ͦ͏  ৘ใݕࡧ͕ࢦ͢ʮ৘ใʯ͸ଟٛతͰ͋Γɺͦ͜ʹ͸্هͷʢ఻ୡͷʣҙຯͰͷ৘ใ΋ؚ·ΕΔ  ͦ͏ߟ͑Δͱɺʮ৘ใʯͷߟ࡯͕ݴޠֶʹد༩͢Δͷ͸ࣗવ wͳͷͰɺ৘ใݕࡧʢ΍৘ใཧ࿦ʣʹؔ͢Δߟ࡯͕ΑΓҰ૚ਐΊ͹ࣗવݴޠʢॲ ཧʣʹߋʹد༩Ͱ͖Δɺ͋Δ͍͸ͦͷٯ΋͋Γ͑ΔͷͰ͸ͳ͍ͩΖ͏͔ʁ
  30. ·ͱΊ

  31. ·ͱΊ wࣗવݴޠॲཧ  ࣗવݴޠͷ໰୊ΛܭࢉػͰղ͘෼໺Ͱɺੲ͸ϧʔϧϕʔε΍౷ܭϞσϧͷ΋ͷ͕ݚڀ͞Εɺ ࠷ۙ͸ػցֶशϕʔεͷ΋ͷ͕ݚڀ͞Ε͍ͯΔ w৘ใݕࡧ  2VFSZʢ໰͍߹Θͤʣʹରͯ͠ద੾ͳճ౴Λద੾ͳॱ෇͚Λͯ͠ఏࣔ͢ΔλεΫͰɺ సஔΠϯσοΫε΍5'*%'ɺ୯ޠຒΊࠐΈͳͲͷൃ໌ͳͲ͕͋ͬͨ wࣗવݴޠॲཧͱ৘ใݕࡧͷؔ܎

     ৘ใݕࡧͷ*OEFYJOHʹ͸෼͔ͪॻ͖͕ར༻͞Ε͍ͯΔ  ࣗવݴޠॲཧͰ΋ݚڀ͞Ε͍ͯΔ୯ޠຒΊࠐΈͷݚڀ͸ɺ৘ใݕࡧͰͷݚڀ͕͖͕͚͞  ʢߴ࣍ݩͷݴޠϞσϧΛར༻ͯ͠ಘΒΕͨʣಛ௃ϕΫτϧͳͲΛݕࡧ͢ΔͳͲɺݕࡧʹ΋ࣗ વݴޠॲཧͷϒϨΠΫεϧʔ͕ಋೖ͞Ε͍͍ͯͬͯΔ  ͜Ε͔Β΋ͭͷ෼໺Ͱྑ͍૬ޓ࡞༻͕͋Δͱخ͍͠
  32. ࢀߟจݙ  ৘ใݕࡧݕࡧΤϯδϯͷ࣮૷ͱධՁʢ೥຋༁൛ʣ  #&35ʹΑΔࣗવݴޠॲཧೖ໳5SBOTGPSNFSTΛ࢖࣮ͬͨફϓϩάϥϛϯά  ਺ֶηϛφʔ೥݄߸ಛूɿݴޠͷ਺ཧ  XJLJQFEJB FO

    /BUVSBMMBOHVBHFQSPDFTTJOH  XJLJQFEJB FO )JTUPSZPGBSUJpDJBMJOUFMMJHFODF  XJLJQEJB KB શจݕࡧ  XJLJQFJEB FO %JTUSJCVUJPOBMTFNBOUJDT  XJLJQFEJB FO 8PSEFNCFEJOH  XJLJQFEJB FO -BOHVBHFNPEFM ʢݸਓϒϩάʣ/-1XPSESFQSFTFOUBUJPOTBOEUIF8JUUHFOTUFJOQIJMPTPQIZPGMBOHVBHF &⒏DJFOU&TUJNBUJPOPG8PSE3FQSFTFOUBUJPOTJO7FDUPS4QBDF #&351SFUSBJOJOHPG%FFQ#JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF6OEFSTUBOEJOH ਆቇઌੜͷਪનγεςϜࢿྉ ίϧϞΰϩϑෳࡶੑʹجͮ͘*%'ͷ୯ޠ/HSBN΁ͷద༻
  33. ʢ͓·͚ʣ ৘ใݕࡧγεςϜ։ൃͷۤ࿑΍ ͋Ε͜Ε

  34. ࣮ࡍʹӡ༻͢Δ৔߹ͷͭΒ͞ wೖྗιʔε໰୊  ଟ͚Ε͹Α͍ͬͯ΋ΜͰ͸ͳ͍  ϊΠζͷଟ͍ιʔε͕͋Δͱɺඞવతʹ৘ใݕࡧͷਫ਼౓͸Լ͕Δ w଎౓໰୊  ଎౓ʼਫ਼౓ͬͯ͜ͱ͸͋Γ͑Δ w69ͱͯ͠΍͸ΓDPOUSPMMFSBCMFʹ͍ͨ͠ͱ͍͏ཉٻ͕͋Δ

     టषͯ͘΋ࣙॻΛ࡞Δ΂͖ͱஶ໊ͳ/-1ͷ๭ઌੜ͕͓ͬ͠Ό͍ͬͯ·ͨ͠  ͱ͢Δͱɺ౰વ๲େͳϧʔϧͷ؅ཧ͕ඞཁʹͳͬͯ͘Δɻɻɻ wͦ΋ͦ΋Կ͕ྑ͍ݕࡧ݁Ռͳͷ͔Θ͔Βͳ͍໰୊  $53͕ߴ͘ͳΔΑ͏ͳݕࡧͳͷ͔  ධՁΛͲͷΑ͏ʹಘΔ͔
  35. ϓϩμΫτతͳ޻෉ʢόοΫΤϯυΤϯδχΞͷ؍఺ͱͯ͠ʣ wόονॲཧͰ࢓ࠐΉ  ࣄલʹܭࢉ͓͚ͯ͠͹ΦϯϥΠϯૣ͘͢Δඞཁ͕ͦ΋ͦ΋ͳ͘ͳΔՄೳੑ΋͋Δ  ΦϯϥΠϯͰͰ͖Δͱ͜ΖͱͰ͖ͳ͍͜ͱͷҾ͖෼͚ wΩϟογϡॏཁ  ܭࢉ͞ΕΔ໰୊ʹ͸ภΓ͕͋ΔͷͰͦͷੑ࣭Λ͏·͘ར༻͢Δ wΦϯϥΠϯΞϧΰϦζϜΛվળ͢ΔલʹϘτϧωοΫΛվળ͢Δ

     ౰ͨΓલ͚ͩͲɺͪΌΜͱଌఆΛ͠ͳ͍ͱΦϯϥΠϯΞϧΰϦζϜͷվળ͔Β΍Γ͕ͪ  TͷܭࢉॲཧΛߴ଎Խ͢ΔΑΓɺTͷωοτϫʔΫϨΠςϯγΛޮ཰Խͨ͠΄ ͏͕શମ΁ͷߩݙ͸େ͖͍  ϘτϧωοΫ͕ΦϯϥΠϯΞϧΰϦζϜʹͳΔͷ͸΄͔͕੔උ͞Εͨޙ͔΋͠Εͳ͍ɻɻɻ