Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
自然言語処理と情報検索について(NLP AND IR)
Search
KAMATA Shingo
November 27, 2021
Technology
6
2k
自然言語処理と情報検索について(NLP AND IR)
友人たちとの勉強会で作成した資料
内容の正確性については保証しません。
KAMATA Shingo
November 27, 2021
Tweet
Share
More Decks by KAMATA Shingo
See All by KAMATA Shingo
AWS Startup Tech Meetup Online 「SIerとスタートアップでおなじだったことちがったこと」
kamata_shingo
0
800
Other Decks in Technology
See All in Technology
自社製CMSからmicroCMSへのリプレースがプロダクトグロースを加速させた話
nextbeatdev
0
130
.NET開発者のためのAzureの概要
tomokusaba
0
230
Goss: New Production-Ready Go Binding for Faiss #coefl_go_jp
bengo4com
0
1.1k
Claude Code x Androidアプリ 開発
kgmyshin
1
570
株式会社ARAV 採用案内
maqui
0
340
サービスロボット最前線:ugoが挑むPhysical AI活用
kmatsuiugo
0
190
Preferred Networks (PFN) とLLM Post-Training チームの紹介 / 第4回 関東Kaggler会 スポンサーセッション
pfn
PRO
1
180
つくって納得、つかって実感! 大規模言語モデルことはじめ
recruitengineers
PRO
19
5.1k
実践データベース設計 ①データベース設計概論
recruitengineers
PRO
2
200
[CVPR2025論文読み会] Linguistics-aware Masked Image Modelingfor Self-supervised Scene Text Recognition
s_aiueo32
0
210
広島発!スタートアップ開発の裏側
tsankyo
0
240
Oracle Base Database Service:サービス概要のご紹介
oracle4engineer
PRO
2
20k
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
The Invisible Side of Design
smashingmag
301
51k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Done Done
chrislema
185
16k
Imperfection Machines: The Place of Print at Facebook
scottboms
268
13k
The Art of Programming - Codeland 2020
erikaheidi
55
13k
GitHub's CSS Performance
jonrohan
1031
460k
Scaling GitHub
holman
462
140k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Transcript
ൃදऀɿ,"."5"4IJOHP ࣗવݴޠॲཧʢ/-1ʣͱ ใݕࡧʢ*3ʣʹ͍ͭͯ ୈճ༨ؼೲతτʔΫձ 4FTTJPO*%
ຊൃදͷͶΒ͍ wࣗવݴޠॲཧʹ͍ͭͯʢͬͱʣͬͯΒ͏ wใݕࡧʹ͍ͭͯʢͬͱʣͬͯΒ͏ w྆ऀͷؔΘΓʹ͍ͭͯͬͯΒ͍ɺ྆ऀͷؔʹ͍ͭͯڞʹٞΛ͍ͨ͠ ಛʹɺ୯ޠຒΊࠐΈɺࢄҙຯɺݴޠϞσϧͷΩʔϫʔυΛ࣠ͱͨؔ͠ΛͬͯΒ͏ ͨͩ͠ɺ͜ΕΒͰඥ͚Δͷ͚͔ͭ͜͡ ݱͷݚڀऀ͕͜ΕΒΛڧ͘ҙ͍ࣝͯ͠Δͱࢥ͑ͳ͍ɻɻɻ
ઐͰͳ͍ਓͰɺֶใՊֶʢܭࢉػՊֶʣΛ͖ͯͨ͠ਓͳΒԿ͔͠ΒͷߟΛ࣋ͬ ͯΒ͑Δͱࢥ͏ wϓϩμΫτͱͯ͠ɺࣗવݴޠॲཧɺใݕࡧΛ͏ࡍͷʹ͍ͭͯͬͯ Β͏ʢ༨ஊఔɺ͕࣌ؒ༨Εʣ
ࣗવݴޠॲཧ /BUVSBM-BOHVBHF1SPDFTTJOH
ࣗવݴޠॲཧͱʁ wʮࣗવݴޠʯΛίϯϐϡʔλͰѻ͏ ࣍εϥΠυͷࣗવݴޠॲཧͷʮλεΫʯΛݟͯΒ͏ͱΘ͔Γ͍͢ ࣗવݴޠͱൺֱ͞ΕΔରͱͯ͠ʮਓݴޠʯ͕͋Δ ਓݴޠಛఆͷ༻్ʹಛԽͨ͠ͷͰɺϓϩάϥϛϯάݴޠɺࣜͳͲ wݱঢ়ͷࣗવݴޠॲཧʹ͓͍ͯɺਫ਼Λग़ͨ͢ΊʹɺӳޠͱຊޠͳͲݴޠ ͷࠩҟΛଟগߟྀ͢Δඞཁ͕͋Δ
ීวతͳݴޠʢݱʣҰൠΛղ໌͢Δʹ·ͩ·ͩࢸ͍ͬͯͳ͍ ʢͦͦීวతͳߏ͕ଘࡏ͠͏Δͷ͔ͱ͍͏Α͘Θ͔͍ͬͯͳ͍͔ɾɾɾʣ wχϡʔϥϧݴޠϞσϧʢޙड़ʣొͷલޙͰ͋ΔछͷύϥμΠϜγϑτ͕ى͖ ͨײ͋͡Δ
ࣗવݴޠॲཧͷදతͳλεΫ ҎԼͷΑ͏ͳλεΫ͕ࣗવݴޠॲཧͷλεΫͱͯ͋͛͠ΒΕΔ w͔ͪॻ͖ɿจষΛ୯ޠ͜͝ͱʹ۠Δ ྫɿӈͷ݁Ռࢀর wཁλεΫɿઆ໌͠ͳ͍ͯͬͯ͘Δͱࢥ͏ ྫɿΠϥΠβμΠδΣετ w༁λεΫɿઆ໌͠ͳ͍ͯͬͯ͘Δͱࢥ͏
ྫɿ%FFQ-MPHP༁πʔϧ w࣭ԠλεΫɿνϟοτϘοτͱ͔ ྫɿ"*νϟοτϘοτ͔ͨΒ͍ wจষੜλεΫɿ͋ΔఔͷจΛࣗಈతʹੜ͢Δ ྫɿ͜ͷهࣄ࣮ࡏ͠·ͤΜ(155FYU(FOFSBUJPO%FNP FDIPࢲژͷΓΜ͕͖͝Ͱ͢cNFDBC ࢲ ໊ࢺ ໊ࢺ Ұൠ ࢲ ϫλγ ϫλγ ॿࢺ ॿࢺ ϋ ϫ ژ ໊ࢺ ݻ༗໊ࢺ Ҭ Ұൠ ژ Ωϣτ Ωϣʔτ ͷ ॿࢺ ࿈ମԽ ͷ ϊ ϊ ΓΜ͝ ໊ࢺ Ұൠ ΓΜ͝ Ϧϯΰ Ϧϯΰ ͕ ॿࢺ ֨ॿࢺ Ұൠ ͕ Ψ Ψ ͖ ໊ࢺ ܗ༰ಈࢺޠװ ͖ εΩ εΩ Ͱ͢ ॿಈࢺ ಛघɾσε جຊܗ Ͱ͢ σε σ ε &04
ࣗવݴޠॲཧͷมભ ҎԼͷ࢙؍<>ʹج͕ͮ͘ɺ֓ͶਓೳҰൠͷ࢙؍<>ͱڞ௨͍ͯ͠Δͱ͍͑ͦ͏ wॳظʢه߸తΞϓϩʔνʣ ཧతͳݴޠֶʢ$IPNTLZͳͲʹΑΔʣͷӨڹ͕ڧ͘ɺه߸తͳΞϓϩʔνʢޙड़ʣ͕͞Ε͍ͯΔ wதظʢ౷ܭతΞϓϩʔνʣ ݴޠֶ͔ΒڑΛऔΓ࢝ΊͯɺΑΓֶతԠ༻Պֶతଆ໘͕Ͱͯ͘Δ wݱʢχϡʔϥϧωοτతΞϓϩʔνʣ
ਂֶश͕ྲྀߦΓͩͯ͠ɺػցֶशͱۙͯ͘͠Δ ݱࡏɺཧతݴޠֶͱࣗવݴޠॲཧʹ݁ߏִͨΓ͕͋Δ͔ wDG$IPNTLZ/PSWJHEFCBUF IUUQXFCDTFPIJPTUBUFFEVdTUJ⒎DTFOPSWJHDIPNTLZIUNM w/PSWJH(PPHMFݚڀຊ෦ʢ%JSFDUPSPG3FTFBSDIʣ
ࣗવݴޠॲཧͷݹయతͳख๏ wϧʔϧϕʔεతͳΞϓϩʔν ϧʔϧʹΑΔॻ͖͑ଇͳͲ ྫɿݟग़͠ޠԽͷมͳͲʢӈͷਤࢀߟʣ wه߸ཧɺ,(ʢ,OPXMFEHF(SBQIʣతͳΞϓϩʔν ࢄతʹߏԽ͞ΕͨใΛ༻͍Δ
ྫɿXJLJEBUB41"32-ʹΑΔؔͷඳը w#P8ɺ5'*%'ͳͲͷݴޠϞσϧΛར༻͢ΔΑ͏ͳΞϓϩʔν ৄࡉޙड़ w౷ܭతͳΞϓϩʔν ϚϧίϑϞσϧΛ༻͍ͨΞϓϩʔνʢ#P8ͳͲΑΓߴ࣍ݩͳݴޠϞσϧͱ͍͑Δʣ ྫɿϚϧίϑ࿈Λ༻͍ͨจষੜɺ͔ͪॻ͖ͳͲɻ ݹయత͔ͩΒͱ͍ͬͯࠓΘΕ͍ͯͳ͍ͱ͍͏͜ͱͰͳ͍ ʢ͜ΕΒͷํ๏໌շͰDPOUSPMMBCMFͱ͍͏͜ͱ͋ΓɺݱࡏΘΕ͍ͯΔ͜ͱଟ͍ʣ ݟग़͠ޠԽͷྫ CFGPSFBGUFS DPNQVUFDPNQVUF DPNQVUFSDPNQVUFS DPNQVUFEDPNQVUF DPNQVUJOHDPNQVUJOH
ใݕࡧ *OGPSNBUJPO3FUSJFWBM
ใݕࡧͱʁ wσʔλू߹ʢେͳྔʣͷ2VFSZʢ͍߹Θͤʣʹରͯ͠దͳճΛద ͳॱ͚Λͯ͠ఏࣔ͢ΔλεΫ σʔλू߹ʹจࣈྻσʔλ͕དྷΔ͜ͱଟ͘ʢXFCݕࡧΤϯδϯͳͲʣ ͦ͏͍͏ҙຯͰࣗવݴޠॲཧͷαϒλεΫͱΈͳͤΔ ͨͩ͠ɺۙͰɺը૾ݕࡧͳͲҰൠʹ·͍ͬͯΔʢ͕ࠓճ৮Εͳ͍ʣ wޙड़͢ΔΑ͏ʹɺ୯ͳΔ/-1ͷαϒλεΫͱͯ͠ͷ*3ͱ͍͏ଆ໘Ͱͳ͘ɺ ʮ୯ޠຒΊࠐΈʯͷΑ͏ͳൃ໌͕/-1ʹ࣋ͪࠐ·Εɺޙʹχϡʔϥϧݴޠ
Ϟσϧͷޭʹͭͳ͕ͬͨͱΈͳ͢ͱɺλεΫͷओैҎ্ͷ͕ؔ͋Δͱ ݴ͑ͦ͏ ͦͷೝ͕ࣝదͳͷ͔ʢͦ͏ΈͳͤΔͷ͔ʣཁ͔ٞɻɻɻ w w w
ใݕࡧͷλεΫ ʮใݕࡧʯࣗવݴޠॲཧͱൺΔͱɺ͍λεΫΛΧόʔ͢Δݴ༿Ͱͳ ͍͕ɺࠓճҎԼͷͭͷΠϝʔδΛ͍ͬͯΒ͑Δͱ͍͍͔ wશจݕࡧ υΩϡϝϯτͷݕࡧɺXFCϖʔδͷݕࡧͳͲ͕͜Ε ྫɿ(PPHMFݕࡧɺࣾจষݕࡧ wߏԽ͞Εͨσʔλ͔ΒߏԽ͞ΕͨใʹΑΔݕࡧ
ࣝϕʔεͳͲΛ༻͍ͨݕࡧͳͲ͕͜Ε ྫɿXJLJEBUBͷݕࡧʢઌఔͷྫʣ
ใݕࡧͷมભ wΒͳ͍Ͱ͢୭͔ڭ͑ͯ💦 wݹయతʹɺσʔλߏతͳͱਂ݁͘ͼ͍ͭͯͦ͏Ͱ͋Δ ύλʔϯϚον ͨͩݱతʹɺૉͳύλʔϯϚονΞϧΰϦζϜͱ͔ͷ՝ʹͳ͍ͬͯΔʁ wసஔ*OEFYͱ5'*%'ͱ͍͏ݹయత݁Ռ͕͘͢͝ڧྗͰ͋Δ͜ͱ·͕͍ͪ ͳ͍
ͭͱ͜ͷ͋ͱհ͠·͢ wݱͩͱɺʮਪનʢγεςϜʣʯͱͯ͠ͷݚڀͷ΄͏͕Γ্͕͍ͬͯΔ͔ ͠Εͳ͍<>
શจݕࡧʹ͍ͭͯ શจݕࡧʢͥΜͿΜ͚Μ͘͞ɺӳ'VMMUFYUTFBSDIʣͱɺίϯϐϡʔλʹ͓͍ͯɺෳ ͷจॻʢϑΝΠϧʣ͔ΒಛఆͷจࣈྻΛݕࡧ͢Δ͜ͱɻʮϑΝΠϧ໊ݕࡧʯʮ୯ҰϑΝΠ ϧͷจࣈྻݕࡧʯͱҟͳΓɺʮෳจॻʹ·͕ͨͬͯɺจॻʹؚ·ΕΔશจΛରͱͨ͠ ݕࡧʯͱ͍͏ҙຯͰ༻͞ΕΔɻʙXJLJQFEJB KB ʮશจݕࡧʯΑΓʙ wશจݕࡧʹɺ۪ʹݕࡧจࣈྻΛύλʔϯϚονͤ͞Δํ๏ʢHSFQܕʣͱɺࡧҾ ʢJOEFYʣΛ༻ҙͤ͞Δํ๏͕͋Δ<> wࡧҾܕݕࡧʹ͍ͭͯ
ࡧҾҾ͖ͷͨΊͷΈʮసஔΠϯσοΫεʯΛࣄલʹ࡞͓ͯ͘͜͠ͱͰߴʹݕࡧ͕Ͱ͖Δ υΩϡϝϯτ υΩϡϝϯτฏۉจࣈΦʔμʔʢ2VFSZαΠζ͜ΕΑΓѹతʹখ͍͞ͱ͢ΔʣΑΓૣ݁͘Ռ ΛಘΒΕΔ ʮژʯͰݕࡧͯ͠ʮ౦ژʯ͕ώοτ͠ͳ͍ࣗવͳݕࡧʹد༩͢Δ HSFQܕʹ͘ΒɺΠϯσοΫεΛ࡞Γʹ͍͘ߏʢύλʔϯจࣈྻݕࡧͳͲʣۤख Ԙجྻ͔ΒಛఆͷύλʔϯจࣈྻΛݕࡧ͢ΔͳͲͰɺHSFQܕͱ͔ͷ΄͏͕͍ͯΔʢ"IP$PSBTJDLͳͲͷ͕ ͍ͯͦ͏ʣ
సஔ*OEFY w*OEFYJOH͢Δͷʹɺ͔ͪॻ͖͕ར༻͞Ε͍ͯΔ ӳޠͳΒεϖʔεΛ҆ʹநग़Ͱ͖Δ͕ɺຊޠͩͱ͍͠ w͜ΕʮޠኮʯΛఆ͍ٛͯ͠Δ͜ͱ͕݁ߏॏཁ wݕࡧͷྫ ΓΜ͝Ͱݕࡧˠจষ ͕ώοτ
Զ"/%ΓΜ͝ˠͷΈ͕ώοτ ژˠͷΈ͕ώοτ ౦ژ ౦ژ౦ژˍ ˠͷΈ͕ώοτ هࣄ൪߸ ੜςΩετ 5PLFOׂ݁Ռʢ*OEFYJOH Զ౦ژʹ͍·͢ ԶΓΜ͕͝ݏ͍Ͱ͢ Զ౦ژʹ͍·͢ ԶΓΜ͕͝ݏ͍Ͱ͢ ࢲژʹ͍·͢ ࢲΓΜ͕͖͝Ͱ͢ ࢲژʹ͍·͢ ࢲΓΜ͕͖͝Ͱ͢ ࢲΓΜ͕͖͝Ͱ੨ΓΜͬ͝ͱ͖Ͱ͢ ࢲΓΜ͕͖͝Ͱ੨ΓΜͬ͝ͱ͖Ͱ͢ આຎᨈൠएཏຶଟ৺ܦ આຎᨈൠएཏຶଟ৺ܦ ୯ޠ هࣄ൪߸ Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ
ϥϯΩϯά͚ͱ5'*%' wใݕࡧʹ͓͍ͯɺݕࡧ݁ՌΛʮదʯͳϥϯΩϯάͰग़͢ ͜ͱ͕ඞཁ 2ʮΓΜ͝ʯͷݕࡧ݁Ռ͕ͲΕΛҐʹ͢Δͷ͕ଥͩΖ͏͔ʁ ΓΜ͝ͷग़ݱճΛߟ͑Δͷ͕ྑͦ͞͏ 2ʮࢲ"/%ΓΜ͝ʯͰݕࡧͨ݁͠ՌͲΕ͕ҐʹͳΔͷ͕ଥʁ
ʮࢲʯͷ΄͏͕ॏΈ͕͋Γͦ͏͔ͩΒɺͪ͜ΒͷϙΠϯτධՁΛߴ͍ͨ͘͠ w5'*%' ɿจষʢࠓճʣɺ ɿ୯ޠU͕ग़ݱ͢ΔυΩϡϝϯτ ɺ ɿจষEʹ͓͚Δ୯ޠUͷग़ݱճ ɿจষEʹ͓͚Δ୯ޠUͷग़ݱ֬ ɿ୯ޠU͕ग़ݱ͢Δ͜ͱʹର͢Δใྔతͳͷ ɿ୯ޠUͰݕࡧͨ͠ͱ͖ͷจষEͷධՁతͳͷ 5'*OEFYςʔϒϧʹɺ*%'సஔ*OEFYςʔϒϧʹॻ͘ͱΘ͔Γ͍͢ N ∈ ℕ tf(t) ∈ ℕ nf(t, d) ∈ ℕ tf(t, d) ∈ ℝ tf(t, d) = nf(t, d) / Σs∈d nf(s, d) idf(t) ∈ ℝ idf(t) = log(N / df(t)) + 1 tfidf(t, d) ∈ ℝ tfidf(t, d) = tf(t, d) * idf(t) هࣄ ൪߸ 5' /' Զ౦ژʹ ͍·͢ԶΓΜ ͕͝ݏ͍Ͱ͢ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ ࢲژʹ͍· ͢ࢲΓΜ͕͝ ͖Ͱ͢ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ ࢲΓΜ͕͝ ͖Ͱ੨ΓΜ͝ ͬͱ͖Ͱ͢ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ આຎᨈൠए ཏຶଟ৺ܦ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ ୯ޠ هࣄ൪߸ 5' *%' Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ
୯ޠຒΊࠐΈɺจॻͷຒΊࠐΈ wޠኮʢ୯ޠͷछྨʣ͕ఆΊΒΕΔ໘ʹ͓͍ͯɺ୯ޠΛϕΫτϧʹରԠͤ͞Δ͜ͱ͕ͰͰ͖Δ ୯ޠຒΊࠐΈʢ5FSNϕΫτϧʣɿ୯ޠΛ࣮ϕΫτϧ্ʹҐஔ͚ͮΔ͜ͱ ࠓ·Ͱͷྫʹ͓͚Δʮ౦ژʯͷ୯ޠຒΊࠐΈ ্هͷ୯७ͳ୯ޠຒΊࠐΈΛ0OFIPUදݱͱ͍͏ w0OFIPUͷߟ͑ํΛԠ༻ͯ͠ɺจষϕΫτϧԽͰ͖Δ
#PXɿ/'ͷใϕΫτϧͰද͢ ઌఔͷ/'ͷਤΛࢀߟ 5'*%'ϕΫτϧɿ5'*%' U E ͰจষEΛϕΫτϧԽ จষͩͱҎԼͷײ͡ wจষϕΫτϧΛ༻͍ͨจষݕࡧ ྫɿจষͱจষͷൺֱͳͲΛͯ͠ΈΔ $PTྨࣅΛ༻͍ͯจষͷൺֱ͕Ͱ͖Δ wɿ0OFIPUදݱ͕ͭɺใݕࡧతͳ՝ͳΜͰ͋Ζ͏͔ʁ ࢲ ౦ژ ʹ ʢதུʣ ܦ ʜ ࢲ ౦ژ ʹ ʢதུʣ ܦ ʜ
۩ମతͳશจݕࡧΤϯδϯ wશจݕࡧΤϯδϯʢϛυϧΣΞʣͷಛ ࣗಈͰ*OEFY࡞ͯ͘͠ΕΔ શจݕࡧͱͦ͏Ͱͳ͍෦ͷݕࡧՄೳ ࠷ۙΫϥυϕʔεͷͷ͕ଟ͍ 5FSNϕΫτϧϕʔεͰྨࣅจষݕࡧͯ͘͠ΕΔɹ
&MBTUJDTFBSDIͷNPSFMJLFUIJTʣͳͲͷػೳ͋Δ wදྫ -VDFOF ͘Β͍͔Β͋Γࠓϝϯς͞Ε͍ͯΔɺଟ͘ͷશจݕࡧΤϯδϯͷίΞʹͳ͍ͬͯΔ &MBTUJDTFBSDI -VDFOFϕʔε ࢄॲཧϚϧνςφϯτʹରԠ͍ͯ͠Δ "MHPMJB "1*ϕʔεͷݕࡧαʔϏε ʢ৺ͷʣ։ൃऀӡ༻ऀͱͯ͠ɺ͋Δఔݕࡧػೳ͕͋ΕɺҎԼͷ͜ͱͷ΄͏͕ॏཁͩͬͨΓɻɻɻ ΫϥυαʔϏεͱͷ࿈ܞʢΦϒδΣΫτετϨʔδ3%4͔ΒͷҠߦੑͳͲʣ ΦʔτεέʔϦϯά ՄࢹԽπʔϧ
ʢ͜͜·ͰͳΒ͍͍ϖʔεʣ
ࢄҙຯͱݴޠϞσϧ
ҙຯ wʢݴޠ༻ʹ͓͚Δʣʮҙຯʯʹؔ͢ΔҰͭͷཧ ʮࣅͨΛͭݴޠతରࣅͨҙຯΛ࣋ͭʯͱ͍͏Ծઆʹجͮ͘ҙຯͷཧ ʮ౷ܭతҙຯʯͷ̍ͭͰ͋Δʢҙຯ୯ޠͷҙຯ͕த৺ʁ໌֬ͳࠩҟෆ໌ʣ w'JSUIͷʮ୯ޠͦͷपลʹΑͬͯಛ͚ͮΒΕΔʯͱ͍͏ΞΠσΟΞ͕ࠜఈʹ͋Δ 'JSUIޙظΟτήϯγϡλΠϯͷݴޠήʔϜͱͷؔ࿈ड़͍ͯΔ<> wʮ୯ޠຒΊࠐΈʯͱͱҙຯͷαϒςʔϚͰ͋ͬͨ<>
୯ޠຒΊࠐΈͷ࠷ॳͷՌ*3ͱݴΘΕ͍ͯΔ<> ୯ޠຒΊࠐΈݚڀ͕XPSEWFDʢޙड़ɺҎ߱87ʣΛੜΈग़͠ɺ͔ͦ͜Β#&35ͳͲʹͭͳ͕Δ ͕ɺ*3ͷد༩͕ͲΕ͚ͩϓϦϛςΟϒͳͷ͔Θ͔Βͳ͍ wχϡʔϥϧݴޠϞσϧͷख๏Λݚڀ͍ͯͨ͠ਓ͕͜ΕΒͷΛͲ͜·Ͱҙ͍ࣝͯ͠ ͔ͨෆ໌ <><>ͳͲͰɺEJTUSJCVUJPOBMTFNBOUJDTTUBUJTUJDBMTFNBOUJDTͷݴٴݟ͔ͭΒͣ
ݴޠϞσϧ w౷ܭతͳҙຯ߹͍ͷʮϞσϧʯʢཧཧֶจ຺ͷϞσϧͱҧ͏ʣ จষʢ୯ޠγʔέϯεʣશମͷ֬Ͱ͋Γɺจষͷࣗવ͞ଥ͞Λʮ֬ʯͰදݱ͢Δ ྫɿQ lࢲύϯΛ৯·ͨ͠z Q l৯ύϯΛࢲ·ͨ͠z
wจষΛॲཧ͢ΔͨΊʹɺจষΛτʔΫϯԽʢUPLFOJ[Fʣ͢Δඞཁ͕͋Δ ใݕࡧͷྫͷΑ͏ʹ୯ޠͰׂ͢Δํ๏͋Δ͕ɺޙड़͢Δαϒϫʔυ͕Α͘༻͍ΒΕΔ wจষͷग़ݱ֬τʔΫϯͷಉ࣌֬ ͱಉ͡ จষ4ΛτʔΫϯԽͨ͠ͷ ͷग़ݱ֬લޙͷτʔΫϯͷґଘੑ͕ߟ͑ΒΕ ྫɿʮே͝Μʹ Λ৯·ͨ͠ʯͳΔ ͔ͳΓݶΒΕΔ ͭ·Γɺจ຺ͳͲΛԾఆ͢Δ͜ͱͰ͜ͷݴޠϞσϧΛΑΓਫ਼֬ʹҎԼͷΑ͏ʹදݱͰ͖Δ<> ͨͱ͑ɺ ͩͱ͢ΔͱɺJ൪ͷ୯ޠΛਪ͢ΔͷʹɺલLݸͷ୯ޠΛར༻ wݴޠϞσϧͷத͔ؒΒಘΒΕΔϕΫτϧɺԾઆʹجͮ͘Α͏ʹΈ͑Δ w w w p(s) = p(w1 , w2 , . . . , wn ) s = (w1 , w2 , . . . , wn ) wi wi wi P(wi |context) ∀wi ∈ ޠኮ P(wi |wi−k , , , . wi−1 )
ݹయతʢඇχϡʔϥϧʣͳݴޠϞσϧ wදྫɿ#P8ɺ5'*%' ࣮ݴޠϞσϧͰ͋Γ·ͨ͠ τʔΫϯԽɿ୯ޠׂ ͦͷଞৄࡉઌఔݟͨͷͰলུ ʢݴޠϞσϧͱͯ͠ʣ͋Δจͷ֬Λܭࢉ͢Δʹɺ୯ޠͷग़ݱॱલޙͷ୯ޠͱ͍ͬͨจ
຺Λແࢹͯ͠ɺͦͷจΛߏ͍ͯ͠Δ୯ޠͷग़ݱ͚֬ͩΛࢉग़ͯ֬͠Λࢉग़͢Δ Q Զ౦ژʹ͍·͢ʣQ Զ Q Q ౦ژ Q Q ʹ Q ͍ Q ·͢ ͜ͷϞσϧͰɺQ Զ Q Q Q Զ ͱͳͬͯ͠·͍ɺ͋·Γྑ͘ͳ͍ #P85'*%'OHSBNͷOͷέʔεͩͱߟ͑ΒΕΔ Oͱ͔ʹͳΔͱɺQ Զc#04 Q cԶ 㱠Q c#04 Q Զc Έ͍ͨͳ͜ͱ͕Ͱ͖Δ w#P8ͷΑ͏ʹݹయతͳݴޠϞσϧʮʯ࣍ݩͰ͋Δ ʮʯʢ࣍ݩʣͷؾ࣋ͪɺ ͳΔDPOUFYUͷࣗ༝͕͍ͱ͍͏͜ͱ #P8ͩͱલޙΛશ͘ݟͳ͍ɺͭ·Γɺจ຺ͷೝ͕͍ࣝ P(wi |context)
χϡʔϥϧݴޠϞσϧ wχϡʔϥϧωοτʹΑֶͬͯश͞Εͨߴ࣍ݩͷϞσϧͰ͋Δ ϚϧίϑϞσϧͳͲ͕<>Ͱߴ࣍ݩϞσϧͱݺΕ͍ͯΔͷͰɺߴ࣍ݩͱͨ͠ දྫͱͯ͠ɺ87ɺ#&35ͳͲ wͨͩ͠ɺ/-1ͷλεΫΛղ͘ࡍʹɺจͷࣗવ͞୯ޠ༧ଌͷͨΊʹχϡʔϥϧ ݴޠϞσϧ͕ΘΕΔͱݶΒͳ͍ ྫ͑ɺ87ɺΉ͠ΖதؒදݱͰ͋ΔࢄදݱΛಘΔͨΊʹΘΕΔ
#&35ͳͲͰɺΫϥεྨಛޠநग़ͳͲͷྨثʹଓͯ͠ར༻͞ΕΔͨΊ൚༻తͳ ΘΕํΛ͢Δ จͷࣗಈੜͰ(15ܥͷϞσϧ͕ΘΕΔͳͲɺ߹ʹԠͯ͡ݴޠϞσϧ͕બ͞ΕΘ ΕΔ
χϡʔϥϧݴޠϞσϧͷྫ87 wத͔ؒΒࢄදݱΛಘΔͨΊͷϞσϧ ͳͷͰɺ%FFQͱݴ͑ͳ͍͔ wΞʔΩςΫνϟ 4LJQHSBN͋Δ͍$#P8ʢͦΕͧΕಉ͜͡ͱ͕ୡͰ͖ΔҟͳΔΞʔΩςΫ νϟʣͱ͍͏ΞʔΩςΫνϟ͕༻͍ΒΕΔ w$#P8ͷઆ໌
8JOEPX4J[FLͱͨ͠߹ɺೖྗɿLݸͷ0OFIPUɺग़ྗɿ ͷ֬ ͱͯ͠ɺ ͷ༧ଌ͕࠷దʹͳΔΑ͏ʹֶशΛ͢Δ wதؒʢॏΈͷߦྻ ʣ͔Β୯ޠͷࢄදݱΛಘΒΕΔ தؒͷJߦɺޠኮதJ൪ͷ୯ޠͷϕΫτϧͱͳΔ ͜ͷ୯ޠϕΫτϧɺֶशʹΑͬͯ8JOEPXͷ୯ޠͱͷؔ࿈͚͕͞Ε͍ͯΔ ͜ΕʹΑͬͯɺ୯ޠؒͷྨࣅ͕$PTྨࣅͳͲΛ༻͍ͯਤΕΔ $PTྨࣅͷྫɿσϞͰ͓ݟͤ͠·͢ wΑ͘ݴΘΕΔ͜ͱͱͯ͠ɺՃ๏ߏੑ͕͋Δ ྫɿ wi P(wi |wi−k , . . . , wi−1 , wi+1 , . . . , wi+k ) WN×V v(king) − v(male) + v( female) ≈ v(queen) $#P8ͷֶशͷ༷ࢠ ग़యɿ%FNPHSBQIJD1SFEJDUJPO#BTFEPO 6TFS3FWJFXTBCPVU.FEJDBUJPOT
χϡʔϥϧݴޠϞσϧͷྫ#&35 w൚༻ݴޠϞσϧ w87ͱҧ͍ɺೖྗϕΫτϧ୯ޠׂͰͳ ͘αϒϫʔυׂ͞ΕͨͷΛ༻͍Δ ະޠͷൃੜΛ੍͢Δ͜ͱ͕Ͱ͖Δ αϒϫʔυׂͷྫɿσϞͰ͓ݟͤ͠·͢ w#&35ࣄલֶशͱͯ͠ɺҎԼͷͭͷλεΫΛ ղ͘
ϚεΫͷ୯ޠ༧ଌ ྫɿʮԶ<."4,>ʹॅΜͰ͍·͢ʯ͔Β<."4,>ʹೖ ΔޠΛֶशͤ͞Δ ࣍ͷจষͷ༧ଌ ྫɿʮԶ౦ژʹॅΜͰ͍·͢ʯͷ࣍ʹͲͷจষ͕͖ͨ Βదͳͷ͔Λֶशͤ͞Δ #&35ͷࣄલֶशͷਤ ग़యɿ#&351SFUSBJOJOHPG%FFQ #JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF 6OEFSTUBOEJOH
#&35Λར༻ͨࣗ͠વݴޠॲཧ w#&35ͰɺࣄલֶशͰ࡞ͬͨݴޠϞσϧΛ͞Βʹλ εΫʹ͋ΘͤͯνϡʔχϯάͰ͖Δʢ'JOF5VOJOHʣ ͜ͷ'JOF5VOJOHੑ͕/-1ͷେ͖ͳϒϨΠΫεϧʔʹܨ͕ͬͨ ͱݴ͑ͦ͏ ࣄલֶशʹͦΕͳΓͷֶशίετ͕͔͔Δ͕ɺݴޠ͝ͱͷ ࣄલֶशϞσϧ͕͋Εɺ'JOF5VOJOHࣗମগྔͷσʔλͰ ֶशͰ͖Δ
w'JOF5VOJOHͰɺྨثͱ#&35ͷࣄલֶशࡁΈϞσ ϧΛ߹Θͤͯʢ࠶ʣֶशΛ͢Δ͜ͱͰɺʢಛநग़Λ ߦ͍ͬͯͨʣࣄલֶशࡁΈϞσϧΛ͞Βʹਫ਼্ ʢͨͩ͜͠ΕλεΫʹରͯ͠ͷਫ਼Ͱ͋Δʣͤ͞ Δ͜ͱ͕Ͱ͖Δ #&35Λ༻͍ͨ୯ҰจͷΫϥεྨͷਤ ग़యɿ#&351SFUSBJOJOHPG%FFQ #JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF 6OEFSTUBOEJOH
/-1ͱ*3ͷޓ͍ͷԠ༻
ݹయతͳԠ༻ Ԡ༻ʹ͍ͭͯओ؍Ͱ͢ ಛʹݹయతͳ߹ɺͦͦ྆ํͷݚڀ͍ͬͯͨਓ͕ଟͦ͏ͳͷͰɺݫີʹͲ͕ͬͪͲͬ ͪͱݴ͑ͳͦ͞͏ͳͷͰɺ wใݕࡧͰࣗવݴޠॲཧͷՌΛར༻͢Δ શจݕࡧ*OEFYJOHͷͨΊͷ͔ͪॻ͖ ݟग़͠ޠԽʢ-FNNB5J[BUJPOʣ wࣗવݴޠॲཧͰใݕࡧͷՌΛར༻͢Δ
୯ޠຒΊࠐΈͷख๏ w w
χϡʔϥϧݴޠϞσϧҎ߱ͷԠ༻ Ԡ༻ʹ͍ͭͯओ؍Ͱ͢ wใݕࡧͰࣗવݴޠॲཧͷՌΛར༻͢Δ จষϕΫτϧʹΑΔݕࡧ ͬͪ͜ݕࡧ࣌ʹ$PTྨࣅͳͲΛͱΊΔ όονॲཧͳͲͰσʔλΛߏԽͨ͠͏͑Ͱͷݕࡧ
ΫϥελϦϯάྨ݁ՌͳͲΛࣄલʹ&OUJUJZԽ͓ͯ͘͠ (PPHMFͷ.6. wࣗવݴޠॲཧͰใݕࡧͷՌΛར༻͢Δ ࣗΒͳ͍ͷͰɺͳʹ͔͍ͬͯͨΒڭ͑ͯԼ͍͞ʂʂ w w
ࢲݟʢ͜ͷ͋ͨΓٞͰ͖Δͱخ͍͠ʣ ߴߍ͔ΒେֶӃ·ͰใՊͩͬͨࢲʹΑΔภݟΛؚΜͩएׯඈͨ͠ࢲݟ💦 wใݕࡧγεςϜతͳ͕த৺ʹ͋Δ͕ɺࠜఈʹʮใʯʹؔ͢Δߟ͕͋ ΔΑ͏ʹײ͡Δ ྫ͑ɺ*%'ͱίϧϞΰϩϑෳࡶੑͱʹҰఆͷؔੑ͕ݟ͍ͩͤΔͱߦͬͨݚڀ͕͋Δ<> wݴޠଟʹʮใʯతଆ໘͕͋Δ ใΛୡ͢Δखஈͱͯ͠ͷݴޠΛߟ͑Εવ
ͦͯ͠ɺݴޠ͕ใతଆ໘͕͋Δͱݴ͑ͦ͏ ใݕࡧ͕ࢦ͢ʮใʯଟٛతͰ͋Γɺͦ͜ʹ্هͷʢୡͷʣҙຯͰͷใؚ·ΕΔ ͦ͏ߟ͑Δͱɺʮใʯͷߟ͕ݴޠֶʹد༩͢Δͷࣗવ wͳͷͰɺใݕࡧʢใཧʣʹؔ͢Δߟ͕ΑΓҰਐΊࣗવݴޠʢॲ ཧʣʹߋʹد༩Ͱ͖Δɺ͋Δ͍ͦͷٯ͋Γ͑ΔͷͰͳ͍ͩΖ͏͔ʁ
·ͱΊ
·ͱΊ wࣗવݴޠॲཧ ࣗવݴޠͷΛܭࢉػͰղ͘Ͱɺੲϧʔϧϕʔε౷ܭϞσϧͷͷ͕ݚڀ͞Εɺ ࠷ۙػցֶशϕʔεͷͷ͕ݚڀ͞Ε͍ͯΔ wใݕࡧ 2VFSZʢ͍߹Θͤʣʹରͯ͠దͳճΛదͳॱ͚Λͯ͠ఏࣔ͢ΔλεΫͰɺ సஔΠϯσοΫε5'*%'ɺ୯ޠຒΊࠐΈͳͲͷൃ໌ͳͲ͕͋ͬͨ wࣗવݴޠॲཧͱใݕࡧͷؔ
ใݕࡧͷ*OEFYJOHʹ͔ͪॻ͖͕ར༻͞Ε͍ͯΔ ࣗવݴޠॲཧͰݚڀ͞Ε͍ͯΔ୯ޠຒΊࠐΈͷݚڀɺใݕࡧͰͷݚڀ͕͖͕͚͞ ʢߴ࣍ݩͷݴޠϞσϧΛར༻ͯ͠ಘΒΕͨʣಛϕΫτϧͳͲΛݕࡧ͢ΔͳͲɺݕࡧʹࣗ વݴޠॲཧͷϒϨΠΫεϧʔ͕ಋೖ͞Ε͍͍ͯͬͯΔ ͜Ε͔ΒͭͷͰྑ͍૬ޓ࡞༻͕͋Δͱخ͍͠
ࢀߟจݙ ใݕࡧݕࡧΤϯδϯͷ࣮ͱධՁʢ༁൛ʣ #&35ʹΑΔࣗવݴޠॲཧೖ5SBOTGPSNFSTΛ࣮ͬͨફϓϩάϥϛϯά ֶηϛφʔ݄߸ಛूɿݴޠͷཧ XJLJQFEJB FO
/BUVSBMMBOHVBHFQSPDFTTJOH XJLJQFEJB FO )JTUPSZPGBSUJpDJBMJOUFMMJHFODF XJLJQEJB KB શจݕࡧ XJLJQFJEB FO %JTUSJCVUJPOBMTFNBOUJDT XJLJQFEJB FO 8PSEFNCFEJOH XJLJQFEJB FO -BOHVBHFNPEFM ʢݸਓϒϩάʣ/-1XPSESFQSFTFOUBUJPOTBOEUIF8JUUHFOTUFJOQIJMPTPQIZPGMBOHVBHF &⒏DJFOU&TUJNBUJPOPG8PSE3FQSFTFOUBUJPOTJO7FDUPS4QBDF #&351SFUSBJOJOHPG%FFQ#JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF6OEFSTUBOEJOH ਆቇઌੜͷਪનγεςϜࢿྉ ίϧϞΰϩϑෳࡶੑʹجͮ͘*%'ͷ୯ޠ/HSBNͷద༻
ʢ͓·͚ʣ ใݕࡧγεςϜ։ൃͷۤ࿑ ͋Ε͜Ε
࣮ࡍʹӡ༻͢Δ߹ͷͭΒ͞ wೖྗιʔε ଟ͚ΕΑ͍ͬͯΜͰͳ͍ ϊΠζͷଟ͍ιʔε͕͋Δͱɺඞવతʹใݕࡧͷਫ਼Լ͕Δ w ʼਫ਼ͬͯ͜ͱ͋Γ͑Δ w69ͱͯ͠ΓDPOUSPMMFSBCMFʹ͍ͨ͠ͱ͍͏ཉٻ͕͋Δ
టषͯࣙ͘ॻΛ࡞Δ͖ͱஶ໊ͳ/-1ͷઌੜ͕͓ͬ͠Ό͍ͬͯ·ͨ͠ ͱ͢Δͱɺવେͳϧʔϧͷཧ͕ඞཁʹͳͬͯ͘Δɻɻɻ wͦͦԿ͕ྑ͍ݕࡧ݁Ռͳͷ͔Θ͔Βͳ͍ $53͕ߴ͘ͳΔΑ͏ͳݕࡧͳͷ͔ ධՁΛͲͷΑ͏ʹಘΔ͔
ϓϩμΫτతͳʢόοΫΤϯυΤϯδχΞͷ؍ͱͯ͠ʣ wόονॲཧͰࠐΉ ࣄલʹܭࢉ͓͚ͯ͠ΦϯϥΠϯૣ͘͢Δඞཁ͕ͦͦͳ͘ͳΔՄೳੑ͋Δ ΦϯϥΠϯͰͰ͖Δͱ͜ΖͱͰ͖ͳ͍͜ͱͷҾ͖͚ wΩϟογϡॏཁ ܭࢉ͞ΕΔʹภΓ͕͋ΔͷͰͦͷੑ࣭Λ͏·͘ར༻͢Δ wΦϯϥΠϯΞϧΰϦζϜΛվળ͢ΔલʹϘτϧωοΫΛվળ͢Δ
ͨΓલ͚ͩͲɺͪΌΜͱଌఆΛ͠ͳ͍ͱΦϯϥΠϯΞϧΰϦζϜͷվળ͔ΒΓ͕ͪ TͷܭࢉॲཧΛߴԽ͢ΔΑΓɺTͷωοτϫʔΫϨΠςϯγΛޮԽͨ͠΄ ͏͕શମͷߩݙେ͖͍ ϘτϧωοΫ͕ΦϯϥΠϯΞϧΰϦζϜʹͳΔͷ΄͔͕උ͞Εͨޙ͔͠Εͳ͍ɻɻɻ