Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
自然言語処理と情報検索について(NLP AND IR)
Search
KAMATA Shingo
November 27, 2021
Technology
6
2k
自然言語処理と情報検索について(NLP AND IR)
友人たちとの勉強会で作成した資料
内容の正確性については保証しません。
KAMATA Shingo
November 27, 2021
Tweet
Share
More Decks by KAMATA Shingo
See All by KAMATA Shingo
AWS Startup Tech Meetup Online 「SIerとスタートアップでおなじだったことちがったこと」
kamata_shingo
0
820
Other Decks in Technology
See All in Technology
JEDAI認定プログラム JEDAI Order 2026 エントリーのご案内 / JEDAI Order 2026 Entry
databricksjapan
0
170
[Data & AI Summit '25 Fall] AIでデータ活用を進化させる!Google Cloudで作るデータ活用の未来
kirimaru
0
2k
Snowflake だけで実現する “自立的データ品質管理” ~Data Quality Monitoring 解説 ~@ BUILD Meetup: TOKYO 2025
ryo_suzuki
0
120
AI との良い付き合い方を僕らは誰も知らない
asei
0
230
NIKKEI Tech Talk #41: セキュア・バイ・デザインからクラウド管理を考える
sekido
PRO
0
200
たまに起きる外部サービスの障害に備えたり備えなかったりする話
egmc
0
390
MariaDB Connector/C のcaching_sha2_passwordプラグインの仕様について
boro1234
0
1k
AWS re:Invent 2025 re:Cap LT大会 データベース好きが語る re:Invent 2025 データベースアップデート/セッションの紹介
coldairflow
0
160
SREには開発組織全体で向き合う
koh_naga
0
410
Strands AgentsとNova 2 SonicでS2Sを実践してみた
yama3133
1
1.6k
SREが取り組むデプロイ高速化 ─ Docker Buildを最適化した話
capytan
0
130
事業の財務責任に向き合うリクルートデータプラットフォームのFinOps
recruitengineers
PRO
2
180
Featured
See All Featured
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
31
3k
sira's awesome portfolio website redesign presentation
elsirapls
0
89
Darren the Foodie - Storyboard
khoart
PRO
0
1.9k
The agentic SEO stack - context over prompts
schlessera
0
550
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs
inesmontani
PRO
2
2.7k
Exploring anti-patterns in Rails
aemeredith
2
200
Code Review Best Practice
trishagee
74
19k
Kristin Tynski - Automating Marketing Tasks With AI
techseoconnect
PRO
0
110
How GitHub (no longer) Works
holman
316
140k
Learning to Love Humans: Emotional Interface Design
aarron
274
41k
Joys of Absence: A Defence of Solitary Play
codingconduct
1
260
Navigating Algorithm Shifts & AI Overviews - #SMXNext
aleyda
0
1k
Transcript
ൃදऀɿ,"."5"4IJOHP ࣗવݴޠॲཧʢ/-1ʣͱ ใݕࡧʢ*3ʣʹ͍ͭͯ ୈճ༨ؼೲతτʔΫձ 4FTTJPO*%
ຊൃදͷͶΒ͍ wࣗવݴޠॲཧʹ͍ͭͯʢͬͱʣͬͯΒ͏ wใݕࡧʹ͍ͭͯʢͬͱʣͬͯΒ͏ w྆ऀͷؔΘΓʹ͍ͭͯͬͯΒ͍ɺ྆ऀͷؔʹ͍ͭͯڞʹٞΛ͍ͨ͠ ಛʹɺ୯ޠຒΊࠐΈɺࢄҙຯɺݴޠϞσϧͷΩʔϫʔυΛ࣠ͱͨؔ͠ΛͬͯΒ͏ ͨͩ͠ɺ͜ΕΒͰඥ͚Δͷ͚͔ͭ͜͡ ݱͷݚڀऀ͕͜ΕΒΛڧ͘ҙ͍ࣝͯ͠Δͱࢥ͑ͳ͍ɻɻɻ
ઐͰͳ͍ਓͰɺֶใՊֶʢܭࢉػՊֶʣΛ͖ͯͨ͠ਓͳΒԿ͔͠ΒͷߟΛ࣋ͬ ͯΒ͑Δͱࢥ͏ wϓϩμΫτͱͯ͠ɺࣗવݴޠॲཧɺใݕࡧΛ͏ࡍͷʹ͍ͭͯͬͯ Β͏ʢ༨ஊఔɺ͕࣌ؒ༨Εʣ
ࣗવݴޠॲཧ /BUVSBM-BOHVBHF1SPDFTTJOH
ࣗવݴޠॲཧͱʁ wʮࣗવݴޠʯΛίϯϐϡʔλͰѻ͏ ࣍εϥΠυͷࣗવݴޠॲཧͷʮλεΫʯΛݟͯΒ͏ͱΘ͔Γ͍͢ ࣗવݴޠͱൺֱ͞ΕΔରͱͯ͠ʮਓݴޠʯ͕͋Δ ਓݴޠಛఆͷ༻్ʹಛԽͨ͠ͷͰɺϓϩάϥϛϯάݴޠɺࣜͳͲ wݱঢ়ͷࣗવݴޠॲཧʹ͓͍ͯɺਫ਼Λग़ͨ͢ΊʹɺӳޠͱຊޠͳͲݴޠ ͷࠩҟΛଟগߟྀ͢Δඞཁ͕͋Δ
ීวతͳݴޠʢݱʣҰൠΛղ໌͢Δʹ·ͩ·ͩࢸ͍ͬͯͳ͍ ʢͦͦීวతͳߏ͕ଘࡏ͠͏Δͷ͔ͱ͍͏Α͘Θ͔͍ͬͯͳ͍͔ɾɾɾʣ wχϡʔϥϧݴޠϞσϧʢޙड़ʣొͷલޙͰ͋ΔछͷύϥμΠϜγϑτ͕ى͖ ͨײ͋͡Δ
ࣗવݴޠॲཧͷදతͳλεΫ ҎԼͷΑ͏ͳλεΫ͕ࣗવݴޠॲཧͷλεΫͱͯ͋͛͠ΒΕΔ w͔ͪॻ͖ɿจষΛ୯ޠ͜͝ͱʹ۠Δ ྫɿӈͷ݁Ռࢀর wཁλεΫɿઆ໌͠ͳ͍ͯͬͯ͘Δͱࢥ͏ ྫɿΠϥΠβμΠδΣετ w༁λεΫɿઆ໌͠ͳ͍ͯͬͯ͘Δͱࢥ͏
ྫɿ%FFQ-MPHP༁πʔϧ w࣭ԠλεΫɿνϟοτϘοτͱ͔ ྫɿ"*νϟοτϘοτ͔ͨΒ͍ wจষੜλεΫɿ͋ΔఔͷจΛࣗಈతʹੜ͢Δ ྫɿ͜ͷهࣄ࣮ࡏ͠·ͤΜ(155FYU(FOFSBUJPO%FNP FDIPࢲژͷΓΜ͕͖͝Ͱ͢cNFDBC ࢲ ໊ࢺ ໊ࢺ Ұൠ ࢲ ϫλγ ϫλγ ॿࢺ ॿࢺ ϋ ϫ ژ ໊ࢺ ݻ༗໊ࢺ Ҭ Ұൠ ژ Ωϣτ Ωϣʔτ ͷ ॿࢺ ࿈ମԽ ͷ ϊ ϊ ΓΜ͝ ໊ࢺ Ұൠ ΓΜ͝ Ϧϯΰ Ϧϯΰ ͕ ॿࢺ ֨ॿࢺ Ұൠ ͕ Ψ Ψ ͖ ໊ࢺ ܗ༰ಈࢺޠװ ͖ εΩ εΩ Ͱ͢ ॿಈࢺ ಛघɾσε جຊܗ Ͱ͢ σε σ ε &04
ࣗવݴޠॲཧͷมભ ҎԼͷ࢙؍<>ʹج͕ͮ͘ɺ֓ͶਓೳҰൠͷ࢙؍<>ͱڞ௨͍ͯ͠Δͱ͍͑ͦ͏ wॳظʢه߸తΞϓϩʔνʣ ཧతͳݴޠֶʢ$IPNTLZͳͲʹΑΔʣͷӨڹ͕ڧ͘ɺه߸తͳΞϓϩʔνʢޙड़ʣ͕͞Ε͍ͯΔ wதظʢ౷ܭతΞϓϩʔνʣ ݴޠֶ͔ΒڑΛऔΓ࢝ΊͯɺΑΓֶతԠ༻Պֶతଆ໘͕Ͱͯ͘Δ wݱʢχϡʔϥϧωοτతΞϓϩʔνʣ
ਂֶश͕ྲྀߦΓͩͯ͠ɺػցֶशͱۙͯ͘͠Δ ݱࡏɺཧతݴޠֶͱࣗવݴޠॲཧʹ݁ߏִͨΓ͕͋Δ͔ wDG$IPNTLZ/PSWJHEFCBUF IUUQXFCDTFPIJPTUBUFFEVdTUJ⒎DTFOPSWJHDIPNTLZIUNM w/PSWJH(PPHMFݚڀຊ෦ʢ%JSFDUPSPG3FTFBSDIʣ
ࣗવݴޠॲཧͷݹయతͳख๏ wϧʔϧϕʔεతͳΞϓϩʔν ϧʔϧʹΑΔॻ͖͑ଇͳͲ ྫɿݟग़͠ޠԽͷมͳͲʢӈͷਤࢀߟʣ wه߸ཧɺ,(ʢ,OPXMFEHF(SBQIʣతͳΞϓϩʔν ࢄతʹߏԽ͞ΕͨใΛ༻͍Δ
ྫɿXJLJEBUB41"32-ʹΑΔؔͷඳը w#P8ɺ5'*%'ͳͲͷݴޠϞσϧΛར༻͢ΔΑ͏ͳΞϓϩʔν ৄࡉޙड़ w౷ܭతͳΞϓϩʔν ϚϧίϑϞσϧΛ༻͍ͨΞϓϩʔνʢ#P8ͳͲΑΓߴ࣍ݩͳݴޠϞσϧͱ͍͑Δʣ ྫɿϚϧίϑ࿈Λ༻͍ͨจষੜɺ͔ͪॻ͖ͳͲɻ ݹయత͔ͩΒͱ͍ͬͯࠓΘΕ͍ͯͳ͍ͱ͍͏͜ͱͰͳ͍ ʢ͜ΕΒͷํ๏໌շͰDPOUSPMMBCMFͱ͍͏͜ͱ͋ΓɺݱࡏΘΕ͍ͯΔ͜ͱଟ͍ʣ ݟग़͠ޠԽͷྫ CFGPSFBGUFS DPNQVUFDPNQVUF DPNQVUFSDPNQVUFS DPNQVUFEDPNQVUF DPNQVUJOHDPNQVUJOH
ใݕࡧ *OGPSNBUJPO3FUSJFWBM
ใݕࡧͱʁ wσʔλू߹ʢେͳྔʣͷ2VFSZʢ͍߹Θͤʣʹରͯ͠దͳճΛద ͳॱ͚Λͯ͠ఏࣔ͢ΔλεΫ σʔλू߹ʹจࣈྻσʔλ͕དྷΔ͜ͱଟ͘ʢXFCݕࡧΤϯδϯͳͲʣ ͦ͏͍͏ҙຯͰࣗવݴޠॲཧͷαϒλεΫͱΈͳͤΔ ͨͩ͠ɺۙͰɺը૾ݕࡧͳͲҰൠʹ·͍ͬͯΔʢ͕ࠓճ৮Εͳ͍ʣ wޙड़͢ΔΑ͏ʹɺ୯ͳΔ/-1ͷαϒλεΫͱͯ͠ͷ*3ͱ͍͏ଆ໘Ͱͳ͘ɺ ʮ୯ޠຒΊࠐΈʯͷΑ͏ͳൃ໌͕/-1ʹ࣋ͪࠐ·Εɺޙʹχϡʔϥϧݴޠ
Ϟσϧͷޭʹͭͳ͕ͬͨͱΈͳ͢ͱɺλεΫͷओैҎ্ͷ͕ؔ͋Δͱ ݴ͑ͦ͏ ͦͷೝ͕ࣝదͳͷ͔ʢͦ͏ΈͳͤΔͷ͔ʣཁ͔ٞɻɻɻ w w w
ใݕࡧͷλεΫ ʮใݕࡧʯࣗવݴޠॲཧͱൺΔͱɺ͍λεΫΛΧόʔ͢Δݴ༿Ͱͳ ͍͕ɺࠓճҎԼͷͭͷΠϝʔδΛ͍ͬͯΒ͑Δͱ͍͍͔ wશจݕࡧ υΩϡϝϯτͷݕࡧɺXFCϖʔδͷݕࡧͳͲ͕͜Ε ྫɿ(PPHMFݕࡧɺࣾจষݕࡧ wߏԽ͞Εͨσʔλ͔ΒߏԽ͞ΕͨใʹΑΔݕࡧ
ࣝϕʔεͳͲΛ༻͍ͨݕࡧͳͲ͕͜Ε ྫɿXJLJEBUBͷݕࡧʢઌఔͷྫʣ
ใݕࡧͷมભ wΒͳ͍Ͱ͢୭͔ڭ͑ͯ💦 wݹయతʹɺσʔλߏతͳͱਂ݁͘ͼ͍ͭͯͦ͏Ͱ͋Δ ύλʔϯϚον ͨͩݱతʹɺૉͳύλʔϯϚονΞϧΰϦζϜͱ͔ͷ՝ʹͳ͍ͬͯΔʁ wసஔ*OEFYͱ5'*%'ͱ͍͏ݹయత݁Ռ͕͘͢͝ڧྗͰ͋Δ͜ͱ·͕͍ͪ ͳ͍
ͭͱ͜ͷ͋ͱհ͠·͢ wݱͩͱɺʮਪનʢγεςϜʣʯͱͯ͠ͷݚڀͷ΄͏͕Γ্͕͍ͬͯΔ͔ ͠Εͳ͍<>
શจݕࡧʹ͍ͭͯ શจݕࡧʢͥΜͿΜ͚Μ͘͞ɺӳ'VMMUFYUTFBSDIʣͱɺίϯϐϡʔλʹ͓͍ͯɺෳ ͷจॻʢϑΝΠϧʣ͔ΒಛఆͷจࣈྻΛݕࡧ͢Δ͜ͱɻʮϑΝΠϧ໊ݕࡧʯʮ୯ҰϑΝΠ ϧͷจࣈྻݕࡧʯͱҟͳΓɺʮෳจॻʹ·͕ͨͬͯɺจॻʹؚ·ΕΔશจΛରͱͨ͠ ݕࡧʯͱ͍͏ҙຯͰ༻͞ΕΔɻʙXJLJQFEJB KB ʮશจݕࡧʯΑΓʙ wશจݕࡧʹɺ۪ʹݕࡧจࣈྻΛύλʔϯϚονͤ͞Δํ๏ʢHSFQܕʣͱɺࡧҾ ʢJOEFYʣΛ༻ҙͤ͞Δํ๏͕͋Δ<> wࡧҾܕݕࡧʹ͍ͭͯ
ࡧҾҾ͖ͷͨΊͷΈʮసஔΠϯσοΫεʯΛࣄલʹ࡞͓ͯ͘͜͠ͱͰߴʹݕࡧ͕Ͱ͖Δ υΩϡϝϯτ υΩϡϝϯτฏۉจࣈΦʔμʔʢ2VFSZαΠζ͜ΕΑΓѹతʹখ͍͞ͱ͢ΔʣΑΓૣ݁͘Ռ ΛಘΒΕΔ ʮژʯͰݕࡧͯ͠ʮ౦ژʯ͕ώοτ͠ͳ͍ࣗવͳݕࡧʹد༩͢Δ HSFQܕʹ͘ΒɺΠϯσοΫεΛ࡞Γʹ͍͘ߏʢύλʔϯจࣈྻݕࡧͳͲʣۤख Ԙجྻ͔ΒಛఆͷύλʔϯจࣈྻΛݕࡧ͢ΔͳͲͰɺHSFQܕͱ͔ͷ΄͏͕͍ͯΔʢ"IP$PSBTJDLͳͲͷ͕ ͍ͯͦ͏ʣ
సஔ*OEFY w*OEFYJOH͢Δͷʹɺ͔ͪॻ͖͕ར༻͞Ε͍ͯΔ ӳޠͳΒεϖʔεΛ҆ʹநग़Ͱ͖Δ͕ɺຊޠͩͱ͍͠ w͜ΕʮޠኮʯΛఆ͍ٛͯ͠Δ͜ͱ͕݁ߏॏཁ wݕࡧͷྫ ΓΜ͝Ͱݕࡧˠจষ ͕ώοτ
Զ"/%ΓΜ͝ˠͷΈ͕ώοτ ژˠͷΈ͕ώοτ ౦ژ ౦ژ౦ژˍ ˠͷΈ͕ώοτ هࣄ൪߸ ੜςΩετ 5PLFOׂ݁Ռʢ*OEFYJOH Զ౦ژʹ͍·͢ ԶΓΜ͕͝ݏ͍Ͱ͢ Զ౦ژʹ͍·͢ ԶΓΜ͕͝ݏ͍Ͱ͢ ࢲژʹ͍·͢ ࢲΓΜ͕͖͝Ͱ͢ ࢲژʹ͍·͢ ࢲΓΜ͕͖͝Ͱ͢ ࢲΓΜ͕͖͝Ͱ੨ΓΜͬ͝ͱ͖Ͱ͢ ࢲΓΜ͕͖͝Ͱ੨ΓΜͬ͝ͱ͖Ͱ͢ આຎᨈൠएཏຶଟ৺ܦ આຎᨈൠएཏຶଟ৺ܦ ୯ޠ هࣄ൪߸ Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ
ϥϯΩϯά͚ͱ5'*%' wใݕࡧʹ͓͍ͯɺݕࡧ݁ՌΛʮదʯͳϥϯΩϯάͰग़͢ ͜ͱ͕ඞཁ 2ʮΓΜ͝ʯͷݕࡧ݁Ռ͕ͲΕΛҐʹ͢Δͷ͕ଥͩΖ͏͔ʁ ΓΜ͝ͷग़ݱճΛߟ͑Δͷ͕ྑͦ͞͏ 2ʮࢲ"/%ΓΜ͝ʯͰݕࡧͨ݁͠ՌͲΕ͕ҐʹͳΔͷ͕ଥʁ
ʮࢲʯͷ΄͏͕ॏΈ͕͋Γͦ͏͔ͩΒɺͪ͜ΒͷϙΠϯτධՁΛߴ͍ͨ͘͠ w5'*%' ɿจষʢࠓճʣɺ ɿ୯ޠU͕ग़ݱ͢ΔυΩϡϝϯτ ɺ ɿจষEʹ͓͚Δ୯ޠUͷग़ݱճ ɿจষEʹ͓͚Δ୯ޠUͷग़ݱ֬ ɿ୯ޠU͕ग़ݱ͢Δ͜ͱʹର͢Δใྔతͳͷ ɿ୯ޠUͰݕࡧͨ͠ͱ͖ͷจষEͷධՁతͳͷ 5'*OEFYςʔϒϧʹɺ*%'సஔ*OEFYςʔϒϧʹॻ͘ͱΘ͔Γ͍͢ N ∈ ℕ tf(t) ∈ ℕ nf(t, d) ∈ ℕ tf(t, d) ∈ ℝ tf(t, d) = nf(t, d) / Σs∈d nf(s, d) idf(t) ∈ ℝ idf(t) = log(N / df(t)) + 1 tfidf(t, d) ∈ ℝ tfidf(t, d) = tf(t, d) * idf(t) هࣄ ൪߸ 5' /' Զ౦ژʹ ͍·͢ԶΓΜ ͕͝ݏ͍Ͱ͢ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ ࢲژʹ͍· ͢ࢲΓΜ͕͝ ͖Ͱ͢ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ ࢲΓΜ͕͝ ͖Ͱ੨ΓΜ͝ ͬͱ͖Ͱ͢ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ આຎᨈൠए ཏຶଟ৺ܦ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ ୯ޠ هࣄ൪߸ 5' *%' Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ
୯ޠຒΊࠐΈɺจॻͷຒΊࠐΈ wޠኮʢ୯ޠͷछྨʣ͕ఆΊΒΕΔ໘ʹ͓͍ͯɺ୯ޠΛϕΫτϧʹରԠͤ͞Δ͜ͱ͕ͰͰ͖Δ ୯ޠຒΊࠐΈʢ5FSNϕΫτϧʣɿ୯ޠΛ࣮ϕΫτϧ্ʹҐஔ͚ͮΔ͜ͱ ࠓ·Ͱͷྫʹ͓͚Δʮ౦ژʯͷ୯ޠຒΊࠐΈ ্هͷ୯७ͳ୯ޠຒΊࠐΈΛ0OFIPUදݱͱ͍͏ w0OFIPUͷߟ͑ํΛԠ༻ͯ͠ɺจষϕΫτϧԽͰ͖Δ
#PXɿ/'ͷใϕΫτϧͰද͢ ઌఔͷ/'ͷਤΛࢀߟ 5'*%'ϕΫτϧɿ5'*%' U E ͰจষEΛϕΫτϧԽ จষͩͱҎԼͷײ͡ wจষϕΫτϧΛ༻͍ͨจষݕࡧ ྫɿจষͱจষͷൺֱͳͲΛͯ͠ΈΔ $PTྨࣅΛ༻͍ͯจষͷൺֱ͕Ͱ͖Δ wɿ0OFIPUදݱ͕ͭɺใݕࡧతͳ՝ͳΜͰ͋Ζ͏͔ʁ ࢲ ౦ژ ʹ ʢதུʣ ܦ ʜ ࢲ ౦ژ ʹ ʢதུʣ ܦ ʜ
۩ମతͳશจݕࡧΤϯδϯ wશจݕࡧΤϯδϯʢϛυϧΣΞʣͷಛ ࣗಈͰ*OEFY࡞ͯ͘͠ΕΔ શจݕࡧͱͦ͏Ͱͳ͍෦ͷݕࡧՄೳ ࠷ۙΫϥυϕʔεͷͷ͕ଟ͍ 5FSNϕΫτϧϕʔεͰྨࣅจষݕࡧͯ͘͠ΕΔɹ
&MBTUJDTFBSDIͷNPSFMJLFUIJTʣͳͲͷػೳ͋Δ wදྫ -VDFOF ͘Β͍͔Β͋Γࠓϝϯς͞Ε͍ͯΔɺଟ͘ͷશจݕࡧΤϯδϯͷίΞʹͳ͍ͬͯΔ &MBTUJDTFBSDI -VDFOFϕʔε ࢄॲཧϚϧνςφϯτʹରԠ͍ͯ͠Δ "MHPMJB "1*ϕʔεͷݕࡧαʔϏε ʢ৺ͷʣ։ൃऀӡ༻ऀͱͯ͠ɺ͋Δఔݕࡧػೳ͕͋ΕɺҎԼͷ͜ͱͷ΄͏͕ॏཁͩͬͨΓɻɻɻ ΫϥυαʔϏεͱͷ࿈ܞʢΦϒδΣΫτετϨʔδ3%4͔ΒͷҠߦੑͳͲʣ ΦʔτεέʔϦϯά ՄࢹԽπʔϧ
ʢ͜͜·ͰͳΒ͍͍ϖʔεʣ
ࢄҙຯͱݴޠϞσϧ
ҙຯ wʢݴޠ༻ʹ͓͚Δʣʮҙຯʯʹؔ͢ΔҰͭͷཧ ʮࣅͨΛͭݴޠతରࣅͨҙຯΛ࣋ͭʯͱ͍͏Ծઆʹجͮ͘ҙຯͷཧ ʮ౷ܭతҙຯʯͷ̍ͭͰ͋Δʢҙຯ୯ޠͷҙຯ͕த৺ʁ໌֬ͳࠩҟෆ໌ʣ w'JSUIͷʮ୯ޠͦͷपลʹΑͬͯಛ͚ͮΒΕΔʯͱ͍͏ΞΠσΟΞ͕ࠜఈʹ͋Δ 'JSUIޙظΟτήϯγϡλΠϯͷݴޠήʔϜͱͷؔ࿈ड़͍ͯΔ<> wʮ୯ޠຒΊࠐΈʯͱͱҙຯͷαϒςʔϚͰ͋ͬͨ<>
୯ޠຒΊࠐΈͷ࠷ॳͷՌ*3ͱݴΘΕ͍ͯΔ<> ୯ޠຒΊࠐΈݚڀ͕XPSEWFDʢޙड़ɺҎ߱87ʣΛੜΈग़͠ɺ͔ͦ͜Β#&35ͳͲʹͭͳ͕Δ ͕ɺ*3ͷد༩͕ͲΕ͚ͩϓϦϛςΟϒͳͷ͔Θ͔Βͳ͍ wχϡʔϥϧݴޠϞσϧͷख๏Λݚڀ͍ͯͨ͠ਓ͕͜ΕΒͷΛͲ͜·Ͱҙ͍ࣝͯ͠ ͔ͨෆ໌ <><>ͳͲͰɺEJTUSJCVUJPOBMTFNBOUJDTTUBUJTUJDBMTFNBOUJDTͷݴٴݟ͔ͭΒͣ
ݴޠϞσϧ w౷ܭతͳҙຯ߹͍ͷʮϞσϧʯʢཧཧֶจ຺ͷϞσϧͱҧ͏ʣ จষʢ୯ޠγʔέϯεʣશମͷ֬Ͱ͋Γɺจষͷࣗવ͞ଥ͞Λʮ֬ʯͰදݱ͢Δ ྫɿQ lࢲύϯΛ৯·ͨ͠z Q l৯ύϯΛࢲ·ͨ͠z
wจষΛॲཧ͢ΔͨΊʹɺจষΛτʔΫϯԽʢUPLFOJ[Fʣ͢Δඞཁ͕͋Δ ใݕࡧͷྫͷΑ͏ʹ୯ޠͰׂ͢Δํ๏͋Δ͕ɺޙड़͢Δαϒϫʔυ͕Α͘༻͍ΒΕΔ wจষͷग़ݱ֬τʔΫϯͷಉ࣌֬ ͱಉ͡ จষ4ΛτʔΫϯԽͨ͠ͷ ͷग़ݱ֬લޙͷτʔΫϯͷґଘੑ͕ߟ͑ΒΕ ྫɿʮே͝Μʹ Λ৯·ͨ͠ʯͳΔ ͔ͳΓݶΒΕΔ ͭ·Γɺจ຺ͳͲΛԾఆ͢Δ͜ͱͰ͜ͷݴޠϞσϧΛΑΓਫ਼֬ʹҎԼͷΑ͏ʹදݱͰ͖Δ<> ͨͱ͑ɺ ͩͱ͢ΔͱɺJ൪ͷ୯ޠΛਪ͢ΔͷʹɺલLݸͷ୯ޠΛར༻ wݴޠϞσϧͷத͔ؒΒಘΒΕΔϕΫτϧɺԾઆʹجͮ͘Α͏ʹΈ͑Δ w w w p(s) = p(w1 , w2 , . . . , wn ) s = (w1 , w2 , . . . , wn ) wi wi wi P(wi |context) ∀wi ∈ ޠኮ P(wi |wi−k , , , . wi−1 )
ݹయతʢඇχϡʔϥϧʣͳݴޠϞσϧ wදྫɿ#P8ɺ5'*%' ࣮ݴޠϞσϧͰ͋Γ·ͨ͠ τʔΫϯԽɿ୯ޠׂ ͦͷଞৄࡉઌఔݟͨͷͰলུ ʢݴޠϞσϧͱͯ͠ʣ͋Δจͷ֬Λܭࢉ͢Δʹɺ୯ޠͷग़ݱॱલޙͷ୯ޠͱ͍ͬͨจ
຺Λແࢹͯ͠ɺͦͷจΛߏ͍ͯ͠Δ୯ޠͷग़ݱ͚֬ͩΛࢉग़ͯ֬͠Λࢉग़͢Δ Q Զ౦ژʹ͍·͢ʣQ Զ Q Q ౦ژ Q Q ʹ Q ͍ Q ·͢ ͜ͷϞσϧͰɺQ Զ Q Q Q Զ ͱͳͬͯ͠·͍ɺ͋·Γྑ͘ͳ͍ #P85'*%'OHSBNͷOͷέʔεͩͱߟ͑ΒΕΔ Oͱ͔ʹͳΔͱɺQ Զc#04 Q cԶ 㱠Q c#04 Q Զc Έ͍ͨͳ͜ͱ͕Ͱ͖Δ w#P8ͷΑ͏ʹݹయతͳݴޠϞσϧʮʯ࣍ݩͰ͋Δ ʮʯʢ࣍ݩʣͷؾ࣋ͪɺ ͳΔDPOUFYUͷࣗ༝͕͍ͱ͍͏͜ͱ #P8ͩͱલޙΛશ͘ݟͳ͍ɺͭ·Γɺจ຺ͷೝ͕͍ࣝ P(wi |context)
χϡʔϥϧݴޠϞσϧ wχϡʔϥϧωοτʹΑֶͬͯश͞Εͨߴ࣍ݩͷϞσϧͰ͋Δ ϚϧίϑϞσϧͳͲ͕<>Ͱߴ࣍ݩϞσϧͱݺΕ͍ͯΔͷͰɺߴ࣍ݩͱͨ͠ දྫͱͯ͠ɺ87ɺ#&35ͳͲ wͨͩ͠ɺ/-1ͷλεΫΛղ͘ࡍʹɺจͷࣗવ͞୯ޠ༧ଌͷͨΊʹχϡʔϥϧ ݴޠϞσϧ͕ΘΕΔͱݶΒͳ͍ ྫ͑ɺ87ɺΉ͠ΖதؒදݱͰ͋ΔࢄදݱΛಘΔͨΊʹΘΕΔ
#&35ͳͲͰɺΫϥεྨಛޠநग़ͳͲͷྨثʹଓͯ͠ར༻͞ΕΔͨΊ൚༻తͳ ΘΕํΛ͢Δ จͷࣗಈੜͰ(15ܥͷϞσϧ͕ΘΕΔͳͲɺ߹ʹԠͯ͡ݴޠϞσϧ͕બ͞ΕΘ ΕΔ
χϡʔϥϧݴޠϞσϧͷྫ87 wத͔ؒΒࢄදݱΛಘΔͨΊͷϞσϧ ͳͷͰɺ%FFQͱݴ͑ͳ͍͔ wΞʔΩςΫνϟ 4LJQHSBN͋Δ͍$#P8ʢͦΕͧΕಉ͜͡ͱ͕ୡͰ͖ΔҟͳΔΞʔΩςΫ νϟʣͱ͍͏ΞʔΩςΫνϟ͕༻͍ΒΕΔ w$#P8ͷઆ໌
8JOEPX4J[FLͱͨ͠߹ɺೖྗɿLݸͷ0OFIPUɺग़ྗɿ ͷ֬ ͱͯ͠ɺ ͷ༧ଌ͕࠷దʹͳΔΑ͏ʹֶशΛ͢Δ wதؒʢॏΈͷߦྻ ʣ͔Β୯ޠͷࢄදݱΛಘΒΕΔ தؒͷJߦɺޠኮதJ൪ͷ୯ޠͷϕΫτϧͱͳΔ ͜ͷ୯ޠϕΫτϧɺֶशʹΑͬͯ8JOEPXͷ୯ޠͱͷؔ࿈͚͕͞Ε͍ͯΔ ͜ΕʹΑͬͯɺ୯ޠؒͷྨࣅ͕$PTྨࣅͳͲΛ༻͍ͯਤΕΔ $PTྨࣅͷྫɿσϞͰ͓ݟͤ͠·͢ wΑ͘ݴΘΕΔ͜ͱͱͯ͠ɺՃ๏ߏੑ͕͋Δ ྫɿ wi P(wi |wi−k , . . . , wi−1 , wi+1 , . . . , wi+k ) WN×V v(king) − v(male) + v( female) ≈ v(queen) $#P8ͷֶशͷ༷ࢠ ग़యɿ%FNPHSBQIJD1SFEJDUJPO#BTFEPO 6TFS3FWJFXTBCPVU.FEJDBUJPOT
χϡʔϥϧݴޠϞσϧͷྫ#&35 w൚༻ݴޠϞσϧ w87ͱҧ͍ɺೖྗϕΫτϧ୯ޠׂͰͳ ͘αϒϫʔυׂ͞ΕͨͷΛ༻͍Δ ະޠͷൃੜΛ੍͢Δ͜ͱ͕Ͱ͖Δ αϒϫʔυׂͷྫɿσϞͰ͓ݟͤ͠·͢ w#&35ࣄલֶशͱͯ͠ɺҎԼͷͭͷλεΫΛ ղ͘
ϚεΫͷ୯ޠ༧ଌ ྫɿʮԶ<."4,>ʹॅΜͰ͍·͢ʯ͔Β<."4,>ʹೖ ΔޠΛֶशͤ͞Δ ࣍ͷจষͷ༧ଌ ྫɿʮԶ౦ژʹॅΜͰ͍·͢ʯͷ࣍ʹͲͷจষ͕͖ͨ Βదͳͷ͔Λֶशͤ͞Δ #&35ͷࣄલֶशͷਤ ग़యɿ#&351SFUSBJOJOHPG%FFQ #JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF 6OEFSTUBOEJOH
#&35Λར༻ͨࣗ͠વݴޠॲཧ w#&35ͰɺࣄલֶशͰ࡞ͬͨݴޠϞσϧΛ͞Βʹλ εΫʹ͋ΘͤͯνϡʔχϯάͰ͖Δʢ'JOF5VOJOHʣ ͜ͷ'JOF5VOJOHੑ͕/-1ͷେ͖ͳϒϨΠΫεϧʔʹܨ͕ͬͨ ͱݴ͑ͦ͏ ࣄલֶशʹͦΕͳΓͷֶशίετ͕͔͔Δ͕ɺݴޠ͝ͱͷ ࣄલֶशϞσϧ͕͋Εɺ'JOF5VOJOHࣗମগྔͷσʔλͰ ֶशͰ͖Δ
w'JOF5VOJOHͰɺྨثͱ#&35ͷࣄલֶशࡁΈϞσ ϧΛ߹Θͤͯʢ࠶ʣֶशΛ͢Δ͜ͱͰɺʢಛநग़Λ ߦ͍ͬͯͨʣࣄલֶशࡁΈϞσϧΛ͞Βʹਫ਼্ ʢͨͩ͜͠ΕλεΫʹରͯ͠ͷਫ਼Ͱ͋Δʣͤ͞ Δ͜ͱ͕Ͱ͖Δ #&35Λ༻͍ͨ୯ҰจͷΫϥεྨͷਤ ग़యɿ#&351SFUSBJOJOHPG%FFQ #JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF 6OEFSTUBOEJOH
/-1ͱ*3ͷޓ͍ͷԠ༻
ݹయతͳԠ༻ Ԡ༻ʹ͍ͭͯओ؍Ͱ͢ ಛʹݹయతͳ߹ɺͦͦ྆ํͷݚڀ͍ͬͯͨਓ͕ଟͦ͏ͳͷͰɺݫີʹͲ͕ͬͪͲͬ ͪͱݴ͑ͳͦ͞͏ͳͷͰɺ wใݕࡧͰࣗવݴޠॲཧͷՌΛར༻͢Δ શจݕࡧ*OEFYJOHͷͨΊͷ͔ͪॻ͖ ݟग़͠ޠԽʢ-FNNB5J[BUJPOʣ wࣗવݴޠॲཧͰใݕࡧͷՌΛར༻͢Δ
୯ޠຒΊࠐΈͷख๏ w w
χϡʔϥϧݴޠϞσϧҎ߱ͷԠ༻ Ԡ༻ʹ͍ͭͯओ؍Ͱ͢ wใݕࡧͰࣗવݴޠॲཧͷՌΛར༻͢Δ จষϕΫτϧʹΑΔݕࡧ ͬͪ͜ݕࡧ࣌ʹ$PTྨࣅͳͲΛͱΊΔ όονॲཧͳͲͰσʔλΛߏԽͨ͠͏͑Ͱͷݕࡧ
ΫϥελϦϯάྨ݁ՌͳͲΛࣄલʹ&OUJUJZԽ͓ͯ͘͠ (PPHMFͷ.6. wࣗવݴޠॲཧͰใݕࡧͷՌΛར༻͢Δ ࣗΒͳ͍ͷͰɺͳʹ͔͍ͬͯͨΒڭ͑ͯԼ͍͞ʂʂ w w
ࢲݟʢ͜ͷ͋ͨΓٞͰ͖Δͱخ͍͠ʣ ߴߍ͔ΒେֶӃ·ͰใՊͩͬͨࢲʹΑΔภݟΛؚΜͩएׯඈͨ͠ࢲݟ💦 wใݕࡧγεςϜతͳ͕த৺ʹ͋Δ͕ɺࠜఈʹʮใʯʹؔ͢Δߟ͕͋ ΔΑ͏ʹײ͡Δ ྫ͑ɺ*%'ͱίϧϞΰϩϑෳࡶੑͱʹҰఆͷؔੑ͕ݟ͍ͩͤΔͱߦͬͨݚڀ͕͋Δ<> wݴޠଟʹʮใʯతଆ໘͕͋Δ ใΛୡ͢Δखஈͱͯ͠ͷݴޠΛߟ͑Εવ
ͦͯ͠ɺݴޠ͕ใతଆ໘͕͋Δͱݴ͑ͦ͏ ใݕࡧ͕ࢦ͢ʮใʯଟٛతͰ͋Γɺͦ͜ʹ্هͷʢୡͷʣҙຯͰͷใؚ·ΕΔ ͦ͏ߟ͑Δͱɺʮใʯͷߟ͕ݴޠֶʹد༩͢Δͷࣗવ wͳͷͰɺใݕࡧʢใཧʣʹؔ͢Δߟ͕ΑΓҰਐΊࣗવݴޠʢॲ ཧʣʹߋʹد༩Ͱ͖Δɺ͋Δ͍ͦͷٯ͋Γ͑ΔͷͰͳ͍ͩΖ͏͔ʁ
·ͱΊ
·ͱΊ wࣗવݴޠॲཧ ࣗવݴޠͷΛܭࢉػͰղ͘Ͱɺੲϧʔϧϕʔε౷ܭϞσϧͷͷ͕ݚڀ͞Εɺ ࠷ۙػցֶशϕʔεͷͷ͕ݚڀ͞Ε͍ͯΔ wใݕࡧ 2VFSZʢ͍߹Θͤʣʹରͯ͠దͳճΛదͳॱ͚Λͯ͠ఏࣔ͢ΔλεΫͰɺ సஔΠϯσοΫε5'*%'ɺ୯ޠຒΊࠐΈͳͲͷൃ໌ͳͲ͕͋ͬͨ wࣗવݴޠॲཧͱใݕࡧͷؔ
ใݕࡧͷ*OEFYJOHʹ͔ͪॻ͖͕ར༻͞Ε͍ͯΔ ࣗવݴޠॲཧͰݚڀ͞Ε͍ͯΔ୯ޠຒΊࠐΈͷݚڀɺใݕࡧͰͷݚڀ͕͖͕͚͞ ʢߴ࣍ݩͷݴޠϞσϧΛར༻ͯ͠ಘΒΕͨʣಛϕΫτϧͳͲΛݕࡧ͢ΔͳͲɺݕࡧʹࣗ વݴޠॲཧͷϒϨΠΫεϧʔ͕ಋೖ͞Ε͍͍ͯͬͯΔ ͜Ε͔ΒͭͷͰྑ͍૬ޓ࡞༻͕͋Δͱخ͍͠
ࢀߟจݙ ใݕࡧݕࡧΤϯδϯͷ࣮ͱධՁʢ༁൛ʣ #&35ʹΑΔࣗવݴޠॲཧೖ5SBOTGPSNFSTΛ࣮ͬͨફϓϩάϥϛϯά ֶηϛφʔ݄߸ಛूɿݴޠͷཧ XJLJQFEJB FO
/BUVSBMMBOHVBHFQSPDFTTJOH XJLJQFEJB FO )JTUPSZPGBSUJpDJBMJOUFMMJHFODF XJLJQEJB KB શจݕࡧ XJLJQFJEB FO %JTUSJCVUJPOBMTFNBOUJDT XJLJQFEJB FO 8PSEFNCFEJOH XJLJQFEJB FO -BOHVBHFNPEFM ʢݸਓϒϩάʣ/-1XPSESFQSFTFOUBUJPOTBOEUIF8JUUHFOTUFJOQIJMPTPQIZPGMBOHVBHF &⒏DJFOU&TUJNBUJPOPG8PSE3FQSFTFOUBUJPOTJO7FDUPS4QBDF #&351SFUSBJOJOHPG%FFQ#JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF6OEFSTUBOEJOH ਆቇઌੜͷਪનγεςϜࢿྉ ίϧϞΰϩϑෳࡶੑʹجͮ͘*%'ͷ୯ޠ/HSBNͷద༻
ʢ͓·͚ʣ ใݕࡧγεςϜ։ൃͷۤ࿑ ͋Ε͜Ε
࣮ࡍʹӡ༻͢Δ߹ͷͭΒ͞ wೖྗιʔε ଟ͚ΕΑ͍ͬͯΜͰͳ͍ ϊΠζͷଟ͍ιʔε͕͋Δͱɺඞવతʹใݕࡧͷਫ਼Լ͕Δ w ʼਫ਼ͬͯ͜ͱ͋Γ͑Δ w69ͱͯ͠ΓDPOUSPMMFSBCMFʹ͍ͨ͠ͱ͍͏ཉٻ͕͋Δ
టषͯࣙ͘ॻΛ࡞Δ͖ͱஶ໊ͳ/-1ͷઌੜ͕͓ͬ͠Ό͍ͬͯ·ͨ͠ ͱ͢Δͱɺવେͳϧʔϧͷཧ͕ඞཁʹͳͬͯ͘Δɻɻɻ wͦͦԿ͕ྑ͍ݕࡧ݁Ռͳͷ͔Θ͔Βͳ͍ $53͕ߴ͘ͳΔΑ͏ͳݕࡧͳͷ͔ ධՁΛͲͷΑ͏ʹಘΔ͔
ϓϩμΫτతͳʢόοΫΤϯυΤϯδχΞͷ؍ͱͯ͠ʣ wόονॲཧͰࠐΉ ࣄલʹܭࢉ͓͚ͯ͠ΦϯϥΠϯૣ͘͢Δඞཁ͕ͦͦͳ͘ͳΔՄೳੑ͋Δ ΦϯϥΠϯͰͰ͖Δͱ͜ΖͱͰ͖ͳ͍͜ͱͷҾ͖͚ wΩϟογϡॏཁ ܭࢉ͞ΕΔʹภΓ͕͋ΔͷͰͦͷੑ࣭Λ͏·͘ར༻͢Δ wΦϯϥΠϯΞϧΰϦζϜΛվળ͢ΔલʹϘτϧωοΫΛվળ͢Δ
ͨΓલ͚ͩͲɺͪΌΜͱଌఆΛ͠ͳ͍ͱΦϯϥΠϯΞϧΰϦζϜͷվળ͔ΒΓ͕ͪ TͷܭࢉॲཧΛߴԽ͢ΔΑΓɺTͷωοτϫʔΫϨΠςϯγΛޮԽͨ͠΄ ͏͕શମͷߩݙେ͖͍ ϘτϧωοΫ͕ΦϯϥΠϯΞϧΰϦζϜʹͳΔͷ΄͔͕උ͞Εͨޙ͔͠Εͳ͍ɻɻɻ