Upgrade to Pro — share decks privately, control downloads, hide ads and more …

自然言語処理と情報検索について(NLP AND IR)

KAMATA Shingo
November 27, 2021

自然言語処理と情報検索について(NLP AND IR)

友人たちとの勉強会で作成した資料
内容の正確性については保証しません。

KAMATA Shingo

November 27, 2021
Tweet

More Decks by KAMATA Shingo

Other Decks in Technology

Transcript

  1. ࣗવݴޠॲཧͷ୅දతͳλεΫ ҎԼͷΑ͏ͳλεΫ͕ࣗવݴޠॲཧͷλεΫͱͯ͋͛͠ΒΕΔ w෼͔ͪॻ͖ɿจষΛ୯ޠ͜͝ͱʹ۠੾Δ  ྫɿӈͷ݁Ռࢀর wཁ໿λεΫɿઆ໌͠ͳͯ͘΋஌͍ͬͯΔͱࢥ͏  ྫɿΠϥΠβμΠδΣετ w຋༁λεΫɿઆ໌͠ͳͯ͘΋஌͍ͬͯΔͱࢥ͏ 

    ྫɿ%FFQ-MPHP຋༁πʔϧ w࣭໰Ԡ౴λεΫɿνϟοτϘοτͱ͔  ྫɿ"*νϟοτϘοτ͔ͨΒ͍ wจষੜ੒λεΫɿ͋Δఔ౓ͷ௕จΛࣗಈతʹੜ੒͢Δ  ྫɿ͜ͷهࣄ͸࣮ࡏ͠·ͤΜ(155FYU(FOFSBUJPO%FNP FDIPࢲ͸ژ౎ͷΓΜ͕͝޷͖Ͱ͢cNFDBC ࢲ ໊ࢺ ୅໊ࢺ Ұൠ ࢲ ϫλγ ϫλγ ͸ ॿࢺ ܎ॿࢺ ͸ ϋ ϫ ژ౎ ໊ࢺ ݻ༗໊ࢺ ஍Ҭ Ұൠ ژ౎ Ωϣ΢τ Ωϣʔτ ͷ ॿࢺ ࿈ମԽ ͷ ϊ ϊ ΓΜ͝ ໊ࢺ Ұൠ ΓΜ͝ Ϧϯΰ Ϧϯΰ ͕ ॿࢺ ֨ॿࢺ Ұൠ ͕ Ψ Ψ ޷͖ ໊ࢺ ܗ༰ಈࢺޠװ ޷͖ εΩ εΩ Ͱ͢ ॿಈࢺ ಛघɾσε جຊܗ Ͱ͢ σε σ ε &04
  2. ࣗવݴޠॲཧͷมભ ҎԼͷ࢙؍͸<>ʹج͕ͮ͘ɺ֓Ͷਓ޻஌ೳҰൠͷ࢙؍<>ͱڞ௨͍ͯ͠Δͱ΋͍͑ͦ͏ wॳظʢه߸తΞϓϩʔνʣ  ཧ࿦తͳݴޠֶʢ$IPNTLZͳͲʹΑΔʣͷӨڹ͕ڧ͘ɺه߸࿦తͳΞϓϩʔνʢޙड़ʣ͕͞Ε͍ͯΔ wதظʢ౷ܭతΞϓϩʔνʣ  ݴޠֶ͔Β΍΍ڑ཭ΛऔΓ࢝ΊͯɺΑΓ޻ֶతԠ༻Պֶతଆ໘͕Ͱͯ͘Δ wݱ୅ʢχϡʔϥϧωοτతΞϓϩʔνʣ 

    ਂ૚ֶश͕ྲྀߦΓͩͯ͠ɺػցֶशͱ઀ۙͯ͘͠Δ ݱࡏɺཧ࿦తݴޠֶͱࣗવݴޠॲཧʹ͸݁ߏִͨΓ͕͋Δ͔΋ wDG$IPNTLZ/PSWJHEFCBUF IUUQXFCDTFPIJPTUBUFFEVdTUJ⒎DTFOPSWJHDIPNTLZIUNM w/PSWJH͸(PPHMFݚڀຊ෦௕ʢ%JSFDUPSPG3FTFBSDIʣ
  3. ࣗવݴޠॲཧͷݹయతͳख๏ wϧʔϧϕʔεతͳΞϓϩʔν  ϧʔϧʹΑΔॻ͖׵͑ଇͳͲ  ྫɿݟग़͠ޠԽͷม׵ͳͲʢӈͷਤࢀߟʣ wه߸࿦ཧɺ,(ʢ,OPXMFEHF(SBQIʣతͳΞϓϩʔν  ཭ࢄతʹߏ଄Խ͞Εͨ৘ใΛ༻͍Δ 

    ྫɿXJLJEBUB41"32-ʹΑΔؔ܎ͷඳը w#P8ɺ5'*%'ͳͲͷݴޠϞσϧΛར༻͢ΔΑ͏ͳΞϓϩʔν  ৄࡉ͸ޙड़ w౷ܭతͳΞϓϩʔν  ϚϧίϑϞσϧΛ༻͍ͨΞϓϩʔνʢ#P8ͳͲ΋ΑΓ΋ߴ࣍ݩͳݴޠϞσϧͱ΋͍͑Δʣ  ྫɿϚϧίϑ࿈࠯Λ༻͍ͨจষੜ੒ɺ෼͔ͪॻ͖ͳͲɻ ݹయత͔ͩΒͱ͍ͬͯࠓ͸࢖ΘΕ͍ͯͳ͍ͱ͍͏͜ͱͰ͸ͳ͍ ʢ͜ΕΒͷํ๏͸໌շͰDPOUSPMMBCMFͱ͍͏͜ͱ΋͋Γɺݱࡏ΋࢖ΘΕ͍ͯΔ͜ͱ΋ଟ͍ʣ ݟग़͠ޠԽͷྫ CFGPSFBGUFS DPNQVUFDPNQVUF DPNQVUFSDPNQVUFS DPNQVUFEDPNQVUF DPNQVUJOHDPNQVUJOH
  4. શจݕࡧʹ͍ͭͯ શจݕࡧʢͥΜͿΜ͚Μ͘͞ɺӳ'VMMUFYUTFBSDIʣͱ͸ɺίϯϐϡʔλʹ͓͍ͯɺෳ਺ ͷจॻʢϑΝΠϧʣ͔ΒಛఆͷจࣈྻΛݕࡧ͢Δ͜ͱɻʮϑΝΠϧ໊ݕࡧʯ΍ʮ୯ҰϑΝΠ ϧ಺ͷจࣈྻݕࡧʯͱҟͳΓɺʮෳ਺จॻʹ·͕ͨͬͯɺจॻʹؚ·ΕΔશจΛର৅ͱͨ͠ ݕࡧʯͱ͍͏ҙຯͰ࢖༻͞ΕΔɻʙXJLJQFEJB KB ʮશจݕࡧʯΑΓʙ wશจݕࡧʹ͸ɺ۪௚ʹݕࡧจࣈྻΛύλʔϯϚονͤ͞Δํ๏ʢHSFQܕʣͱɺࡧҾ ʢJOEFYʣΛ༻ҙͤ͞Δํ๏͕͋Δ<> wࡧҾܕݕࡧʹ͍ͭͯ

     ࡧҾҾ͖ͷͨΊͷ࢓૊ΈʮసஔΠϯσοΫεʯΛࣄલʹ࡞੒͓ͯ͘͜͠ͱͰߴ଎ʹݕࡧ͕Ͱ͖Δ  υΩϡϝϯτ਺ υΩϡϝϯτฏۉจࣈ਺Φʔμʔʢ2VFSZαΠζ͸͜ΕΑΓѹ౗తʹখ͍͞ͱ͢ΔʣΑΓૣ݁͘Ռ ΛಘΒΕΔ  ʮژ౎ʯͰݕࡧͯ͠ʮ౦ژ౎ʯ͕ώοτ͠ͳ͍ࣗવͳݕࡧʹ΋د༩͢Δ  HSFQܕʹ͘Β΂ɺΠϯσοΫεΛ࡞Γʹ͍͘ߏ଄ʢύλʔϯจࣈྻݕࡧͳͲʣ͸ۤख  Ԙج഑ྻ͔ΒಛఆͷύλʔϯจࣈྻΛݕࡧ͢ΔͳͲͰ͸ɺHSFQܕͱ͔ͷ΄͏͕޲͍ͯΔʢ"IP$PSBTJDLͳͲͷ͕޲ ͍ͯͦ͏ʣ
  5. సஔ*OEFY w*OEFYJOH͢Δͷʹɺ෼͔ͪॻ͖͕ར༻͞Ε͍ͯΔ  ӳޠͳΒεϖʔεΛ໨҆ʹநग़Ͱ͖Δ͕ɺ೔ຊޠͩͱ೉͍͠ w͜Ε͸ʮޠኮʯΛఆ͍ٛͯ͠Δ͜ͱ͕݁ߏॏཁ wݕࡧͷྫ  ΓΜ͝Ͱݕࡧˠจষ  ͕ώοτ

     Զ"/%ΓΜ͝ˠͷΈ͕ώοτ  ژ౎ˠͷΈ͕ώοτ  ౦ژ౎ ౦ژ౎౦ژˍ౎ ˠͷΈ͕ώοτ هࣄ൪߸ ੜςΩετ 5PLFO෼ׂ݁Ռʢ*OEFYJOH  Զ͸౦ژ౎ʹ͍·͢ Զ͸ΓΜ͕͝ݏ͍Ͱ͢ Զ͸౦ژ౎ʹ͍·͢ Զ͸ΓΜ͕͝ݏ͍Ͱ͢  ࢲ͸ژ౎ʹ͍·͢ ࢲ͸ΓΜ͕͝޷͖Ͱ͢ ࢲ͸ژ౎ʹ͍·͢ ࢲ͸ΓΜ͕͝޷͖Ͱ͢  ࢲ͸ΓΜ͕͝޷͖Ͱ੨ΓΜ͝͸΋ͬͱ޷͖Ͱ͢ ࢲ͸ΓΜ͕͝޷͖Ͱ੨ΓΜ͝͸΋ͬͱ޷͖Ͱ͢  ෹આຎᨈൠए೾ཏຶଟ৺ܦ ෹આຎᨈൠए೾ཏຶଟ৺ܦ ୯ޠ هࣄ൪߸ Զ  ͸    ౦ژ  ౎  ʹ   ͍   ·͢   ΓΜ͝    ͕   ݏ͍  Ͱ͢    ࢲ   ژ౎  ޷͖   Ͱ  ੨  ΋ͬͱ  ෹આ  ຎ  ʢதུʣ  ܦ 
  6. ϥϯΩϯά෇͚ͱ5'*%' w৘ใݕࡧʹ͓͍ͯ͸ɺݕࡧ݁ՌΛʮద੾ʯͳϥϯΩϯάͰग़͢ ͜ͱ͕ඞཁ  2ʮΓΜ͝ʯͷݕࡧ݁Ռ͕ͲΕΛҐʹ͢Δͷ͕ଥ౰ͩΖ͏͔ʁ  ΓΜ͝ͷग़ݱճ਺Λߟ͑Δͷ͕ྑͦ͞͏  2ʮࢲ"/%ΓΜ͝ʯͰݕࡧͨ݁͠Ռ͸ͲΕ͕ҐʹͳΔͷ͕ଥ౰ʁ 

    ʮࢲʯͷ΄͏͕ॏΈ͕͋Γͦ͏͔ͩΒɺͪ͜ΒͷϙΠϯτධՁΛߴ͍ͨ͘͠ w5'*%'  ɿจষ਺ʢࠓճ͸ʣɺ ɿ୯ޠU͕ग़ݱ͢ΔυΩϡϝϯτ ਺ɺ ɿจষEʹ͓͚Δ୯ޠUͷग़ݱճ਺  ɿจষEʹ͓͚Δ୯ޠUͷग़ݱ֬཰    ɿ୯ޠU͕ग़ݱ͢Δ͜ͱʹର͢Δ৘ใྔతͳ΋ͷ   ɿ୯ޠUͰݕࡧͨ͠ͱ͖ͷจষEͷධՁ஋తͳ΋ͷ   5'͸*OEFYςʔϒϧʹɺ*%'͸సஔ*OEFYςʔϒϧʹॻ͘ͱΘ͔Γ΍͍͢ N ∈ ℕ tf(t) ∈ ℕ nf(t, d) ∈ ℕ tf(t, d) ∈ ℝ tf(t, d) = nf(t, d) / Σs∈d nf(s, d) idf(t) ∈ ℝ idf(t) = log(N / df(t)) + 1 tfidf(t, d) ∈ ℝ tfidf(t, d) = tf(t, d) * idf(t) هࣄ ൪߸ 5' /'  Զ͸౦ژ౎ʹ ͍·͢Զ͸ΓΜ ͕͝ݏ͍Ͱ͢ \Զ ͸ ౦ژ ౎ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ౎ ޷͖ Ͱ ੨ ΋ͬͱ ෹ આ ຎ ʢதུʣ ܦ^  ࢲ͸ژ౎ʹ͍· ͢ࢲ͸ΓΜ͕͝ ޷͖Ͱ͢ \Զ ͸ ౦ژ ౎ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ౎ ޷͖ Ͱ ੨ ΋ͬͱ ෹ આ ຎ ʢதུʣ ܦ^  ࢲ͸ΓΜ͕͝޷ ͖Ͱ੨ΓΜ͝͸ ΋ͬͱ޷͖Ͱ͢ \Զ ͸ ౦ژ ౎ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ౎ ޷͖ Ͱ ੨ ΋ͬͱ ෹ આ ຎ ʢதུʣ ܦ^  ෹આຎᨈൠए೾ ཏຶଟ৺ܦ \Զ ͸ ౦ژ ౎ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ౎ ޷͖ Ͱ ੨ ΋ͬͱ ෹ આ ຎ ʢதུʣ ܦ^ ୯ޠ هࣄ൪߸ 5' *%' Զ    ͸      ౦ژ    ౎    ʹ     ͍     ·͢     ΓΜ͝      ͕     ݏ͍    Ͱ͢      ࢲ     ژ౎    ޷͖     Ͱ    ੨    ΋ͬͱ    ෹આ    ຎ    ʢதུʣ    ܦ   
  7. ୯ޠຒΊࠐΈɺจॻͷຒΊࠐΈ wޠኮʢ୯ޠͷछྨʣ͕ఆΊΒΕΔ৔໘ʹ͓͍ͯɺ୯ޠΛϕΫτϧʹରԠͤ͞Δ͜ͱ͕ͰͰ͖Δ  ୯ޠຒΊࠐΈʢ5FSNϕΫτϧʣɿ୯ޠΛ࣮ϕΫτϧ্ʹҐஔ͚ͮΔ͜ͱ  ࠓ·Ͱͷྫʹ͓͚Δʮ౦ژʯͷ୯ޠຒΊࠐΈ   ্هͷ୯७ͳ୯ޠຒΊࠐΈΛ0OFIPUදݱͱ͍͏ w0OFIPUͷߟ͑ํΛԠ༻ͯ͠ɺจষ΋ϕΫτϧԽͰ͖Δ

     #PXɿ/'ͷ৘ใϕΫτϧͰද͢  ઌఔͷ/'ͷਤΛࢀߟ  5'*%'ϕΫτϧɿ5'*%' U E ͰจষEΛϕΫτϧԽ  จষͩͱҎԼͷײ͡  wจষϕΫτϧΛ༻͍ͨจষݕࡧ  ྫɿจষͱจষͷൺֱͳͲΛͯ͠ΈΔ  $PTྨࣅ౓Λ༻͍ͯจষͷൺֱ͕Ͱ͖Δ w໰୊ɿ0OFIPUදݱ͕΋ͭɺ৘ใݕࡧతͳ՝୊͸ͳΜͰ͋Ζ͏͔ʁ ࢲ ͸ ౦ژ ʹ ʢதུʣ ܦ     ʜ  ࢲ ͸ ౦ژ ʹ ʢதུʣ ܦ     ʜ 
  8. ۩ମతͳશจݕࡧΤϯδϯ wશจݕࡧΤϯδϯʢϛυϧ΢ΣΞʣͷಛ௃  ࣗಈͰ*OEFY࡞੒ͯ͘͠ΕΔ  શจݕࡧͱͦ͏Ͱͳ͍෦෼ͷݕࡧ΋Մೳ  ࠷ۙ͸Ϋϥ΢υϕʔεͷ΋ͷ͕ଟ͍  5FSNϕΫτϧϕʔεͰྨࣅจষݕࡧͯ͘͠ΕΔɹ

    &MBTUJDTFBSDIͷNPSFMJLFUIJTʣͳͲͷػೳ΋͋Δ w୅දྫ  -VDFOF  ೥͘Β͍͔Β͋Γࠓ΋ϝϯς͞Ε͍ͯΔɺଟ͘ͷશจݕࡧΤϯδϯͷίΞʹͳ͍ͬͯΔ  &MBTUJDTFBSDI  -VDFOFϕʔε  ෼ࢄॲཧ΍ϚϧνςφϯτʹରԠ͍ͯ͠Δ  "MHPMJB  "1*ϕʔεͷݕࡧαʔϏε ʢ৺ͷ੠ʣ։ൃऀӡ༻ऀͱͯ͠͸ɺ͋Δఔ౓ݕࡧػೳ͕͋Ε͹ɺҎԼͷ͜ͱͷ΄͏͕ॏཁͩͬͨΓɻɻɻ  Ϋϥ΢υαʔϏεͱͷ࿈ܞʢΦϒδΣΫτετϨʔδ΍3%4͔ΒͷҠߦੑͳͲʣ  ΦʔτεέʔϦϯά  ՄࢹԽπʔϧ
  9. ෼෍ҙຯ࿦ wʢݴޠ࢖༻ʹ͓͚Δʣʮҙຯ࿦ʯʹؔ͢ΔҰͭͷཧ࿦  ʮࣅͨ෼෍Λ΋ͭݴޠతର৅͸ࣅͨҙຯΛ࣋ͭʯͱ͍͏෼෍Ծઆʹجͮ͘ҙຯͷཧ࿦  ʮ౷ܭతҙຯ࿦ʯͷ̍ͭͰ΋͋Δʢ෼෍ҙຯ࿦͸୯ޠͷҙຯ͕த৺ʁ໌֬ͳࠩҟ͸ෆ໌ʣ w'JSUIͷʮ୯ޠ͸ͦͷपลʹΑͬͯಛ௃͚ͮΒΕΔʯͱ͍͏ΞΠσΟΞ͕ࠜఈʹ͋Δ  'JSUI͸ޙظ΢ΟτήϯγϡλΠϯͷݴޠήʔϜͱͷؔ࿈΋ड़΂͍ͯΔ<> wʮ୯ޠຒΊࠐΈʯ͸΋ͱ΋ͱ෼෍ҙຯ࿦ͷαϒςʔϚͰ͋ͬͨ<>

     ୯ޠຒΊࠐΈͷ࠷ॳͷ੒Ռ͸*3ͱݴΘΕ͍ͯΔ<>  ୯ޠຒΊࠐΈݚڀ͕XPSEWFDʢޙड़ɺҎ߱87ʣΛੜΈग़͠ɺ͔ͦ͜Β#&35ͳͲʹͭͳ͕Δ  ͕ɺ*3ͷد༩͕ͲΕ͚ͩϓϦϛςΟϒͳͷ͔͸Θ͔Βͳ͍ wχϡʔϥϧݴޠϞσϧͷख๏Λݚڀ͍ͯͨ͠ਓ͕͜ΕΒͷ࿩ΛͲ͜·Ͱҙ͍ࣝͯ͠ ͔ͨ͸ෆ໌  <>΍<>ͳͲͰɺEJTUSJCVUJPOBMTFNBOUJDT΍TUBUJTUJDBMTFNBOUJDTͷݴٴ͸ݟ͔ͭΒͣ
  10. ݴޠϞσϧ w౷ܭతͳҙຯ߹͍ͷʮϞσϧʯʢ਺ཧ࿦ཧֶจ຺ͷϞσϧͱ͸ҧ͏ʣ  จষʢ୯ޠγʔέϯεʣશମͷ֬཰෼෍Ͱ͋Γɺจষͷࣗવ͞ଥ౰͞Λʮ֬཰ʯͰදݱ͢Δ  ྫɿQ lࢲ͸ύϯΛ৯΂·ͨ͠z Q l৯΂ύϯΛࢲ͸·ͨ͠z 

    wจষΛॲཧ͢ΔͨΊʹ͸ɺจষΛτʔΫϯԽʢUPLFOJ[Fʣ͢Δඞཁ͕͋Δ  ৘ใݕࡧͷྫͷΑ͏ʹ୯ޠͰ෼ׂ͢Δํ๏΋͋Δ͕ɺޙड़͢Δαϒϫʔυ͕Α͘༻͍ΒΕΔ wจষͷग़ݱ֬཰͸τʔΫϯͷಉ࣌֬཰ ͱಉ͡  จষ4ΛτʔΫϯԽͨ͠΋ͷ   ͷग़ݱ֬཰͸લޙͷτʔΫϯ΁ͷґଘੑ͕ߟ͑ΒΕ  ྫɿʮ๻͸ே͝͸Μʹ Λ৯΂·ͨ͠ʯͳΔ ͸͔ͳΓݶΒΕΔ  ͭ·Γɺจ຺ͳͲΛԾఆ͢Δ͜ͱͰ͜ͷݴޠϞσϧΛΑΓਫ਼֬ʹҎԼͷΑ͏ʹදݱͰ͖Δ<>    ͨͱ͑͹ɺ ͩͱ͢ΔͱɺJ൪໨ͷ୯ޠΛਪ࿦͢ΔͷʹɺલLݸͷ୯ޠΛར༻ wݴޠϞσϧͷதؒ૚͔ΒಘΒΕΔϕΫτϧ͸ɺ෼෍Ծઆʹجͮ͘Α͏ʹΈ͑Δ w w w p(s) = p(w1 , w2 , . . . , wn ) s = (w1 , w2 , . . . , wn ) wi wi wi P(wi |context) ∀wi ∈ ޠኮ P(wi |wi−k , , , . wi−1 )
  11. ݹయతʢඇχϡʔϥϧʣͳݴޠϞσϧ w୅දྫɿ#P8ɺ5'*%'  ࣮͸ݴޠϞσϧͰ΋͋Γ·ͨ͠  τʔΫϯԽɿ୯ޠ෼ׂ  ͦͷଞৄࡉ͸ઌఔݟͨͷͰলུ  ʢݴޠϞσϧͱͯ͠ʣ͋Δจͷ֬཰Λܭࢉ͢Δʹ͸ɺ୯ޠͷग़ݱॱ΍લޙͷ୯ޠͱ͍ͬͨจ

    ຺Λແࢹͯ͠ɺͦͷจΛߏ੒͍ͯ͠Δ୯ޠͷग़ݱ֬཰͚ͩΛࢉग़ͯ֬͠཰Λࢉग़͢Δ  Q Զ͸౦ژ౎ʹ͍·͢ʣQ Զ  Q ͸  Q ౦ژ  Q ౎  Q ʹ Q ͍  Q ·͢   ͜ͷϞσϧͰ͸ɺQ Զ  Q ͸ Q ͸  Q Զ ͱͳͬͯ͠·͍ɺ͋·Γྑ͘ͳ͍  #P8΍5'*%'͸OHSBNͷOͷέʔεͩͱߟ͑ΒΕΔ  Oͱ͔ʹͳΔͱɺQ Զc#04  Q ͸cԶ 㱠Q ͸c#04  Q Զc͸ Έ͍ͨͳ͜ͱ͕Ͱ͖Δ w#P8ͷΑ͏ʹݹయతͳݴޠϞσϧ͸ʮ௿ʯ࣍ݩͰ͋Δ  ʮ௿ʯʢ࣍ݩʣͷؾ࣋ͪ͸ɺ ͳΔDPOUFYUͷࣗ༝౓͕௿͍ͱ͍͏͜ͱ  #P8ͩͱલޙΛશ͘ݟͳ͍ɺͭ·Γɺจ຺ͷೝ͕ࣝ௿͍ P(wi |context)
  12. χϡʔϥϧݴޠϞσϧͷྫ87 wதؒ૚͔Β෼ࢄදݱΛಘΔͨΊͷϞσϧ  ૚ͳͷͰɺ%FFQͱ͸ݴ͑ͳ͍͔΋ wΞʔΩςΫνϟ  4LJQHSBN͋Δ͍͸$#P8ʢͦΕͧΕಉ͜͡ͱ͕ୡ੒Ͱ͖ΔҟͳΔΞʔΩςΫ νϟʣͱ͍͏ΞʔΩςΫνϟ͕༻͍ΒΕΔ w$#P8ͷઆ໌ 

    8JOEPX4J[FLͱͨ͠৔߹͸ɺೖྗɿLݸͷ0OFIPUɺग़ྗɿ ͷ֬཰෼෍ ͱͯ͠ɺ ͷ༧ଌ͕࠷దʹͳΔΑ͏ʹֶशΛ͢Δ wதؒ૚ʢॏΈͷߦྻ ʣ͔Β୯ޠͷ෼ࢄදݱΛಘΒΕΔ  தؒ૚ͷJߦ໨͸ɺޠኮதJ൪໨ͷ୯ޠͷϕΫτϧͱͳΔ  ͜ͷ୯ޠϕΫτϧ͸ɺֶशʹΑͬͯ8JOEPX಺ͷ୯ޠͱͷؔ࿈෇͚͕͞Ε͍ͯΔ  ͜ΕʹΑͬͯɺ୯ޠؒͷྨࣅ౓͕$PTྨࣅ౓ͳͲΛ༻͍ͯਤΕΔ  $PTྨࣅ౓ͷྫɿσϞͰ͓ݟͤ͠·͢ wΑ͘ݴΘΕΔ͜ͱͱͯ͠ɺՃ๏ߏ੒ੑ͕͋Δ  ྫɿ wi P(wi |wi−k , . . . , wi−1 , wi+1 , . . . , wi+k ) WN×V v(king) − v(male) + v( female) ≈ v(queen) $#P8ͷֶशͷ༷ࢠ ग़యɿ%FNPHSBQIJD1SFEJDUJPO#BTFEPO 6TFS3FWJFXTBCPVU.FEJDBUJPOT
  13. χϡʔϥϧݴޠϞσϧͷྫ#&35 w൚༻ݴޠϞσϧ w87ͱ͸ҧ͍ɺೖྗϕΫτϧ͸୯ޠ෼ׂͰ͸ͳ ͘αϒϫʔυ෼ׂ͞Εͨ΋ͷΛ༻͍Δ  ະ஌ޠͷൃੜΛ཈੍͢Δ͜ͱ͕Ͱ͖Δ  αϒϫʔυ෼ׂͷྫɿσϞͰ͓ݟͤ͠·͢ w#&35͸ࣄલֶशͱͯ͠ɺҎԼͷͭͷλεΫΛ ղ͘

     ϚεΫ಺ͷ୯ޠ༧ଌ  ྫɿʮԶ͸<."4,>౎ʹॅΜͰ͍·͢ʯ͔Β<."4,>ʹೖ ΔޠΛֶशͤ͞Δ  ࣍ͷจষͷ༧ଌ  ྫɿʮԶ͸౦ژ౎ʹॅΜͰ͍·͢ʯͷ࣍ʹͲͷจষ͕͖ͨ Βద੾ͳͷ͔Λֶशͤ͞Δ #&35ͷࣄલֶशͷਤ ग़యɿ#&351SFUSBJOJOHPG%FFQ #JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF 6OEFSTUBOEJOH
  14. #&35Λར༻ͨࣗ͠વݴޠॲཧ w#&35Ͱ͸ɺࣄલֶशͰ࡞ͬͨݴޠϞσϧΛ͞Βʹλ εΫʹ͋ΘͤͯνϡʔχϯάͰ͖Δʢ'JOF5VOJOHʣ  ͜ͷ'JOF5VOJOHੑ͕/-1ͷେ͖ͳϒϨΠΫεϧʔʹܨ͕ͬͨ ͱݴ͑ͦ͏  ࣄલֶशʹ͸ͦΕͳΓͷֶशίετ͕͔͔Δ͕ɺݴޠ͝ͱͷ ࣄલֶशϞσϧ͕͋Ε͹ɺ'JOF5VOJOHࣗମ͸গྔͷσʔλͰ ֶशͰ͖Δ

    w'JOF5VOJOHͰ͸ɺ෼ྨثͱ#&35ͷࣄલֶशࡁΈϞσ ϧΛ߹Θͤͯʢ࠶ʣֶशΛ͢Δ͜ͱͰɺʢಛ௃நग़Λ ߦ͍ͬͯͨʣࣄલֶशࡁΈϞσϧΛ͞Βʹਫ਼౓޲্ ʢͨͩ͜͠Ε͸λεΫʹରͯ͠ͷਫ਼౓Ͱ͸͋Δʣͤ͞ Δ͜ͱ͕Ͱ͖Δ #&35Λ༻͍ͨ୯ҰจͷΫϥε෼ྨͷਤ ग़యɿ#&351SFUSBJOJOHPG%FFQ #JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF 6OEFSTUBOEJOH
  15. χϡʔϥϧݴޠϞσϧҎ߱ͷԠ༻ Ԡ༻ʹ͍ͭͯ͸ओ؍Ͱ͢ w৘ใݕࡧͰࣗવݴޠॲཧͷ੒ՌΛར༻͢Δ  จষϕΫτϧʹΑΔݕࡧ  ͬͪ͜͸ݕࡧ࣌ʹ$PTྨࣅ౓ͳͲΛ΋ͱΊΔ  όονॲཧͳͲͰσʔλΛߏ଄Խͨ͠͏͑Ͱͷݕࡧ 

    ΫϥελϦϯά෼ྨ݁ՌͳͲΛࣄલʹ&OUJUJZԽ͓ͯ͘͠  (PPHMFͷ.6. wࣗવݴޠॲཧͰ৘ใݕࡧͷ੒ՌΛར༻͢Δ  ࣗ෼͸஌Βͳ͍ͷͰɺͳʹ͔஌͍ͬͯͨΒڭ͑ͯԼ͍͞ʂʂ w w
  16. ࢲݟʢ͜ͷ͋ͨΓٞ࿦Ͱ͖Δͱخ͍͠ʣ ߴߍ͔ΒେֶӃ·Ͱ৘ใՊͩͬͨࢲʹΑΔภݟΛؚΜͩएׯඈ͹ͨ͠ࢲݟ💦 w৘ใݕࡧ͸γεςϜతͳ࿩͕த৺ʹ͋Δ͕ɺࠜఈʹ͸ʮ৘ใʯʹؔ͢Δߟ࡯͕͋ ΔΑ͏ʹײ͡Δ  ྫ͑͹ɺ*%'ͱίϧϞΰϩϑෳࡶੑͱʹҰఆͷؔ܎ੑ͕ݟ͍ͩͤΔͱߦͬͨݚڀ͕͋Δ<> wݴޠ͸ଟ෼ʹʮ৘ใʯతଆ໘͕͋Δ  ৘ใΛ఻ୡ͢Δखஈͱͯ͠ͷݴޠΛߟ͑Ε͹౰વ 

    ͦͯ͠ɺݴޠ͕৘ใతଆ໘͕͋Δͱ΋ݴ͑ͦ͏  ৘ใݕࡧ͕ࢦ͢ʮ৘ใʯ͸ଟٛతͰ͋Γɺͦ͜ʹ͸্هͷʢ఻ୡͷʣҙຯͰͷ৘ใ΋ؚ·ΕΔ  ͦ͏ߟ͑Δͱɺʮ৘ใʯͷߟ࡯͕ݴޠֶʹد༩͢Δͷ͸ࣗવ wͳͷͰɺ৘ใݕࡧʢ΍৘ใཧ࿦ʣʹؔ͢Δߟ࡯͕ΑΓҰ૚ਐΊ͹ࣗવݴޠʢॲ ཧʣʹߋʹد༩Ͱ͖Δɺ͋Δ͍͸ͦͷٯ΋͋Γ͑ΔͷͰ͸ͳ͍ͩΖ͏͔ʁ
  17. ·ͱΊ wࣗવݴޠॲཧ  ࣗવݴޠͷ໰୊ΛܭࢉػͰղ͘෼໺Ͱɺੲ͸ϧʔϧϕʔε΍౷ܭϞσϧͷ΋ͷ͕ݚڀ͞Εɺ ࠷ۙ͸ػցֶशϕʔεͷ΋ͷ͕ݚڀ͞Ε͍ͯΔ w৘ใݕࡧ  2VFSZʢ໰͍߹Θͤʣʹରͯ͠ద੾ͳճ౴Λద੾ͳॱ෇͚Λͯ͠ఏࣔ͢ΔλεΫͰɺ సஔΠϯσοΫε΍5'*%'ɺ୯ޠຒΊࠐΈͳͲͷൃ໌ͳͲ͕͋ͬͨ wࣗવݴޠॲཧͱ৘ใݕࡧͷؔ܎

     ৘ใݕࡧͷ*OEFYJOHʹ͸෼͔ͪॻ͖͕ར༻͞Ε͍ͯΔ  ࣗવݴޠॲཧͰ΋ݚڀ͞Ε͍ͯΔ୯ޠຒΊࠐΈͷݚڀ͸ɺ৘ใݕࡧͰͷݚڀ͕͖͕͚͞  ʢߴ࣍ݩͷݴޠϞσϧΛར༻ͯ͠ಘΒΕͨʣಛ௃ϕΫτϧͳͲΛݕࡧ͢ΔͳͲɺݕࡧʹ΋ࣗ વݴޠॲཧͷϒϨΠΫεϧʔ͕ಋೖ͞Ε͍͍ͯͬͯΔ  ͜Ε͔Β΋ͭͷ෼໺Ͱྑ͍૬ޓ࡞༻͕͋Δͱخ͍͠
  18. ࢀߟจݙ  ৘ใݕࡧݕࡧΤϯδϯͷ࣮૷ͱධՁʢ೥຋༁൛ʣ  #&35ʹΑΔࣗવݴޠॲཧೖ໳5SBOTGPSNFSTΛ࢖࣮ͬͨફϓϩάϥϛϯά  ਺ֶηϛφʔ೥݄߸ಛूɿݴޠͷ਺ཧ  XJLJQFEJB FO

    /BUVSBMMBOHVBHFQSPDFTTJOH  XJLJQFEJB FO )JTUPSZPGBSUJpDJBMJOUFMMJHFODF  XJLJQEJB KB શจݕࡧ  XJLJQFJEB FO %JTUSJCVUJPOBMTFNBOUJDT  XJLJQFEJB FO 8PSEFNCFEJOH  XJLJQFEJB FO -BOHVBHFNPEFM ʢݸਓϒϩάʣ/-1XPSESFQSFTFOUBUJPOTBOEUIF8JUUHFOTUFJOQIJMPTPQIZPGMBOHVBHF &⒏DJFOU&TUJNBUJPOPG8PSE3FQSFTFOUBUJPOTJO7FDUPS4QBDF #&351SFUSBJOJOHPG%FFQ#JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF6OEFSTUBOEJOH ਆቇઌੜͷਪનγεςϜࢿྉ ίϧϞΰϩϑෳࡶੑʹجͮ͘*%'ͷ୯ޠ/HSBN΁ͷద༻
  19. ࣮ࡍʹӡ༻͢Δ৔߹ͷͭΒ͞ wೖྗιʔε໰୊  ଟ͚Ε͹Α͍ͬͯ΋ΜͰ͸ͳ͍  ϊΠζͷଟ͍ιʔε͕͋Δͱɺඞવతʹ৘ใݕࡧͷਫ਼౓͸Լ͕Δ w଎౓໰୊  ଎౓ʼਫ਼౓ͬͯ͜ͱ͸͋Γ͑Δ w69ͱͯ͠΍͸ΓDPOUSPMMFSBCMFʹ͍ͨ͠ͱ͍͏ཉٻ͕͋Δ

     టषͯ͘΋ࣙॻΛ࡞Δ΂͖ͱஶ໊ͳ/-1ͷ๭ઌੜ͕͓ͬ͠Ό͍ͬͯ·ͨ͠  ͱ͢Δͱɺ౰વ๲େͳϧʔϧͷ؅ཧ͕ඞཁʹͳͬͯ͘Δɻɻɻ wͦ΋ͦ΋Կ͕ྑ͍ݕࡧ݁Ռͳͷ͔Θ͔Βͳ͍໰୊  $53͕ߴ͘ͳΔΑ͏ͳݕࡧͳͷ͔  ධՁΛͲͷΑ͏ʹಘΔ͔
  20. ϓϩμΫτతͳ޻෉ʢόοΫΤϯυΤϯδχΞͷ؍఺ͱͯ͠ʣ wόονॲཧͰ࢓ࠐΉ  ࣄલʹܭࢉ͓͚ͯ͠͹ΦϯϥΠϯૣ͘͢Δඞཁ͕ͦ΋ͦ΋ͳ͘ͳΔՄೳੑ΋͋Δ  ΦϯϥΠϯͰͰ͖Δͱ͜ΖͱͰ͖ͳ͍͜ͱͷҾ͖෼͚ wΩϟογϡॏཁ  ܭࢉ͞ΕΔ໰୊ʹ͸ภΓ͕͋ΔͷͰͦͷੑ࣭Λ͏·͘ར༻͢Δ wΦϯϥΠϯΞϧΰϦζϜΛվળ͢ΔલʹϘτϧωοΫΛվળ͢Δ

     ౰ͨΓલ͚ͩͲɺͪΌΜͱଌఆΛ͠ͳ͍ͱΦϯϥΠϯΞϧΰϦζϜͷվળ͔Β΍Γ͕ͪ  TͷܭࢉॲཧΛߴ଎Խ͢ΔΑΓɺTͷωοτϫʔΫϨΠςϯγΛޮ཰Խͨ͠΄ ͏͕શମ΁ͷߩݙ͸େ͖͍  ϘτϧωοΫ͕ΦϯϥΠϯΞϧΰϦζϜʹͳΔͷ͸΄͔͕੔උ͞Εͨޙ͔΋͠Εͳ͍ɻɻɻ