Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
自然言語処理と情報検索について(NLP AND IR)
Search
KAMATA Shingo
November 27, 2021
Technology
6
2k
自然言語処理と情報検索について(NLP AND IR)
友人たちとの勉強会で作成した資料
内容の正確性については保証しません。
KAMATA Shingo
November 27, 2021
Tweet
Share
More Decks by KAMATA Shingo
See All by KAMATA Shingo
AWS Startup Tech Meetup Online 「SIerとスタートアップでおなじだったことちがったこと」
kamata_shingo
0
800
Other Decks in Technology
See All in Technology
対話型音声AIアプリケーションの信頼性向上の取り組み
ivry_presentationmaterials
3
1.1k
アクセスピークを制するオートスケール再設計: 障害を乗り越えKEDAで実現したリソース管理の最適化
myamashii
1
670
PHPからはじめるコンピュータアーキテクチャ / From Scripts to Silicon: A Journey Through the Layers of Computing
tomzoh
2
130
ClaudeCodeにキレない技術
gtnao
1
870
shake-upを科学する
rsakata
7
1k
ソフトウェアテストのAI活用_ver1.25
fumisuke
1
610
american aa airlines®️ USA Contact Numbers: Complete 2025 Support Guide
aaguide
0
500
名刺メーカーDevグループ 紹介資料
sansan33
PRO
0
820
20250708オープンエンドな探索と知識発見
sakana_ai
PRO
4
1k
助けて! XからWaylandに移行しないと新しいGNOMEが使えなくなっちゃう 2025-07-12
nobutomurata
2
200
Introduction to Bill One Development Engineer
sansan33
PRO
0
260
ABEMAの本番環境負荷試験への挑戦
mk2taiga
5
1.3k
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Being A Developer After 40
akosma
90
590k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
We Have a Design System, Now What?
morganepeng
53
7.7k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
108
19k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Balancing Empowerment & Direction
lara
1
460
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
4 Signs Your Business is Dying
shpigford
184
22k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
Code Reviewing Like a Champion
maltzj
524
40k
Transcript
ൃදऀɿ,"."5"4IJOHP ࣗવݴޠॲཧʢ/-1ʣͱ ใݕࡧʢ*3ʣʹ͍ͭͯ ୈճ༨ؼೲతτʔΫձ 4FTTJPO*%
ຊൃදͷͶΒ͍ wࣗવݴޠॲཧʹ͍ͭͯʢͬͱʣͬͯΒ͏ wใݕࡧʹ͍ͭͯʢͬͱʣͬͯΒ͏ w྆ऀͷؔΘΓʹ͍ͭͯͬͯΒ͍ɺ྆ऀͷؔʹ͍ͭͯڞʹٞΛ͍ͨ͠ ಛʹɺ୯ޠຒΊࠐΈɺࢄҙຯɺݴޠϞσϧͷΩʔϫʔυΛ࣠ͱͨؔ͠ΛͬͯΒ͏ ͨͩ͠ɺ͜ΕΒͰඥ͚Δͷ͚͔ͭ͜͡ ݱͷݚڀऀ͕͜ΕΒΛڧ͘ҙ͍ࣝͯ͠Δͱࢥ͑ͳ͍ɻɻɻ
ઐͰͳ͍ਓͰɺֶใՊֶʢܭࢉػՊֶʣΛ͖ͯͨ͠ਓͳΒԿ͔͠ΒͷߟΛ࣋ͬ ͯΒ͑Δͱࢥ͏ wϓϩμΫτͱͯ͠ɺࣗવݴޠॲཧɺใݕࡧΛ͏ࡍͷʹ͍ͭͯͬͯ Β͏ʢ༨ஊఔɺ͕࣌ؒ༨Εʣ
ࣗવݴޠॲཧ /BUVSBM-BOHVBHF1SPDFTTJOH
ࣗવݴޠॲཧͱʁ wʮࣗવݴޠʯΛίϯϐϡʔλͰѻ͏ ࣍εϥΠυͷࣗવݴޠॲཧͷʮλεΫʯΛݟͯΒ͏ͱΘ͔Γ͍͢ ࣗવݴޠͱൺֱ͞ΕΔରͱͯ͠ʮਓݴޠʯ͕͋Δ ਓݴޠಛఆͷ༻్ʹಛԽͨ͠ͷͰɺϓϩάϥϛϯάݴޠɺࣜͳͲ wݱঢ়ͷࣗવݴޠॲཧʹ͓͍ͯɺਫ਼Λग़ͨ͢ΊʹɺӳޠͱຊޠͳͲݴޠ ͷࠩҟΛଟগߟྀ͢Δඞཁ͕͋Δ
ීวతͳݴޠʢݱʣҰൠΛղ໌͢Δʹ·ͩ·ͩࢸ͍ͬͯͳ͍ ʢͦͦීวతͳߏ͕ଘࡏ͠͏Δͷ͔ͱ͍͏Α͘Θ͔͍ͬͯͳ͍͔ɾɾɾʣ wχϡʔϥϧݴޠϞσϧʢޙड़ʣొͷલޙͰ͋ΔछͷύϥμΠϜγϑτ͕ى͖ ͨײ͋͡Δ
ࣗવݴޠॲཧͷදతͳλεΫ ҎԼͷΑ͏ͳλεΫ͕ࣗવݴޠॲཧͷλεΫͱͯ͋͛͠ΒΕΔ w͔ͪॻ͖ɿจষΛ୯ޠ͜͝ͱʹ۠Δ ྫɿӈͷ݁Ռࢀর wཁλεΫɿઆ໌͠ͳ͍ͯͬͯ͘Δͱࢥ͏ ྫɿΠϥΠβμΠδΣετ w༁λεΫɿઆ໌͠ͳ͍ͯͬͯ͘Δͱࢥ͏
ྫɿ%FFQ-MPHP༁πʔϧ w࣭ԠλεΫɿνϟοτϘοτͱ͔ ྫɿ"*νϟοτϘοτ͔ͨΒ͍ wจষੜλεΫɿ͋ΔఔͷจΛࣗಈతʹੜ͢Δ ྫɿ͜ͷهࣄ࣮ࡏ͠·ͤΜ(155FYU(FOFSBUJPO%FNP FDIPࢲژͷΓΜ͕͖͝Ͱ͢cNFDBC ࢲ ໊ࢺ ໊ࢺ Ұൠ ࢲ ϫλγ ϫλγ ॿࢺ ॿࢺ ϋ ϫ ژ ໊ࢺ ݻ༗໊ࢺ Ҭ Ұൠ ژ Ωϣτ Ωϣʔτ ͷ ॿࢺ ࿈ମԽ ͷ ϊ ϊ ΓΜ͝ ໊ࢺ Ұൠ ΓΜ͝ Ϧϯΰ Ϧϯΰ ͕ ॿࢺ ֨ॿࢺ Ұൠ ͕ Ψ Ψ ͖ ໊ࢺ ܗ༰ಈࢺޠװ ͖ εΩ εΩ Ͱ͢ ॿಈࢺ ಛघɾσε جຊܗ Ͱ͢ σε σ ε &04
ࣗવݴޠॲཧͷมભ ҎԼͷ࢙؍<>ʹج͕ͮ͘ɺ֓ͶਓೳҰൠͷ࢙؍<>ͱڞ௨͍ͯ͠Δͱ͍͑ͦ͏ wॳظʢه߸తΞϓϩʔνʣ ཧతͳݴޠֶʢ$IPNTLZͳͲʹΑΔʣͷӨڹ͕ڧ͘ɺه߸తͳΞϓϩʔνʢޙड़ʣ͕͞Ε͍ͯΔ wதظʢ౷ܭతΞϓϩʔνʣ ݴޠֶ͔ΒڑΛऔΓ࢝ΊͯɺΑΓֶతԠ༻Պֶతଆ໘͕Ͱͯ͘Δ wݱʢχϡʔϥϧωοτతΞϓϩʔνʣ
ਂֶश͕ྲྀߦΓͩͯ͠ɺػցֶशͱۙͯ͘͠Δ ݱࡏɺཧతݴޠֶͱࣗવݴޠॲཧʹ݁ߏִͨΓ͕͋Δ͔ wDG$IPNTLZ/PSWJHEFCBUF IUUQXFCDTFPIJPTUBUFFEVdTUJ⒎DTFOPSWJHDIPNTLZIUNM w/PSWJH(PPHMFݚڀຊ෦ʢ%JSFDUPSPG3FTFBSDIʣ
ࣗવݴޠॲཧͷݹయతͳख๏ wϧʔϧϕʔεతͳΞϓϩʔν ϧʔϧʹΑΔॻ͖͑ଇͳͲ ྫɿݟग़͠ޠԽͷมͳͲʢӈͷਤࢀߟʣ wه߸ཧɺ,(ʢ,OPXMFEHF(SBQIʣతͳΞϓϩʔν ࢄతʹߏԽ͞ΕͨใΛ༻͍Δ
ྫɿXJLJEBUB41"32-ʹΑΔؔͷඳը w#P8ɺ5'*%'ͳͲͷݴޠϞσϧΛར༻͢ΔΑ͏ͳΞϓϩʔν ৄࡉޙड़ w౷ܭతͳΞϓϩʔν ϚϧίϑϞσϧΛ༻͍ͨΞϓϩʔνʢ#P8ͳͲΑΓߴ࣍ݩͳݴޠϞσϧͱ͍͑Δʣ ྫɿϚϧίϑ࿈Λ༻͍ͨจষੜɺ͔ͪॻ͖ͳͲɻ ݹయత͔ͩΒͱ͍ͬͯࠓΘΕ͍ͯͳ͍ͱ͍͏͜ͱͰͳ͍ ʢ͜ΕΒͷํ๏໌շͰDPOUSPMMBCMFͱ͍͏͜ͱ͋ΓɺݱࡏΘΕ͍ͯΔ͜ͱଟ͍ʣ ݟग़͠ޠԽͷྫ CFGPSFBGUFS DPNQVUFDPNQVUF DPNQVUFSDPNQVUFS DPNQVUFEDPNQVUF DPNQVUJOHDPNQVUJOH
ใݕࡧ *OGPSNBUJPO3FUSJFWBM
ใݕࡧͱʁ wσʔλू߹ʢେͳྔʣͷ2VFSZʢ͍߹Θͤʣʹରͯ͠దͳճΛద ͳॱ͚Λͯ͠ఏࣔ͢ΔλεΫ σʔλू߹ʹจࣈྻσʔλ͕དྷΔ͜ͱଟ͘ʢXFCݕࡧΤϯδϯͳͲʣ ͦ͏͍͏ҙຯͰࣗવݴޠॲཧͷαϒλεΫͱΈͳͤΔ ͨͩ͠ɺۙͰɺը૾ݕࡧͳͲҰൠʹ·͍ͬͯΔʢ͕ࠓճ৮Εͳ͍ʣ wޙड़͢ΔΑ͏ʹɺ୯ͳΔ/-1ͷαϒλεΫͱͯ͠ͷ*3ͱ͍͏ଆ໘Ͱͳ͘ɺ ʮ୯ޠຒΊࠐΈʯͷΑ͏ͳൃ໌͕/-1ʹ࣋ͪࠐ·Εɺޙʹχϡʔϥϧݴޠ
Ϟσϧͷޭʹͭͳ͕ͬͨͱΈͳ͢ͱɺλεΫͷओैҎ্ͷ͕ؔ͋Δͱ ݴ͑ͦ͏ ͦͷೝ͕ࣝదͳͷ͔ʢͦ͏ΈͳͤΔͷ͔ʣཁ͔ٞɻɻɻ w w w
ใݕࡧͷλεΫ ʮใݕࡧʯࣗવݴޠॲཧͱൺΔͱɺ͍λεΫΛΧόʔ͢Δݴ༿Ͱͳ ͍͕ɺࠓճҎԼͷͭͷΠϝʔδΛ͍ͬͯΒ͑Δͱ͍͍͔ wશจݕࡧ υΩϡϝϯτͷݕࡧɺXFCϖʔδͷݕࡧͳͲ͕͜Ε ྫɿ(PPHMFݕࡧɺࣾจষݕࡧ wߏԽ͞Εͨσʔλ͔ΒߏԽ͞ΕͨใʹΑΔݕࡧ
ࣝϕʔεͳͲΛ༻͍ͨݕࡧͳͲ͕͜Ε ྫɿXJLJEBUBͷݕࡧʢઌఔͷྫʣ
ใݕࡧͷมભ wΒͳ͍Ͱ͢୭͔ڭ͑ͯ💦 wݹయతʹɺσʔλߏతͳͱਂ݁͘ͼ͍ͭͯͦ͏Ͱ͋Δ ύλʔϯϚον ͨͩݱతʹɺૉͳύλʔϯϚονΞϧΰϦζϜͱ͔ͷ՝ʹͳ͍ͬͯΔʁ wసஔ*OEFYͱ5'*%'ͱ͍͏ݹయత݁Ռ͕͘͢͝ڧྗͰ͋Δ͜ͱ·͕͍ͪ ͳ͍
ͭͱ͜ͷ͋ͱհ͠·͢ wݱͩͱɺʮਪનʢγεςϜʣʯͱͯ͠ͷݚڀͷ΄͏͕Γ্͕͍ͬͯΔ͔ ͠Εͳ͍<>
શจݕࡧʹ͍ͭͯ શจݕࡧʢͥΜͿΜ͚Μ͘͞ɺӳ'VMMUFYUTFBSDIʣͱɺίϯϐϡʔλʹ͓͍ͯɺෳ ͷจॻʢϑΝΠϧʣ͔ΒಛఆͷจࣈྻΛݕࡧ͢Δ͜ͱɻʮϑΝΠϧ໊ݕࡧʯʮ୯ҰϑΝΠ ϧͷจࣈྻݕࡧʯͱҟͳΓɺʮෳจॻʹ·͕ͨͬͯɺจॻʹؚ·ΕΔશจΛରͱͨ͠ ݕࡧʯͱ͍͏ҙຯͰ༻͞ΕΔɻʙXJLJQFEJB KB ʮશจݕࡧʯΑΓʙ wશจݕࡧʹɺ۪ʹݕࡧจࣈྻΛύλʔϯϚονͤ͞Δํ๏ʢHSFQܕʣͱɺࡧҾ ʢJOEFYʣΛ༻ҙͤ͞Δํ๏͕͋Δ<> wࡧҾܕݕࡧʹ͍ͭͯ
ࡧҾҾ͖ͷͨΊͷΈʮసஔΠϯσοΫεʯΛࣄલʹ࡞͓ͯ͘͜͠ͱͰߴʹݕࡧ͕Ͱ͖Δ υΩϡϝϯτ υΩϡϝϯτฏۉจࣈΦʔμʔʢ2VFSZαΠζ͜ΕΑΓѹతʹখ͍͞ͱ͢ΔʣΑΓૣ݁͘Ռ ΛಘΒΕΔ ʮژʯͰݕࡧͯ͠ʮ౦ژʯ͕ώοτ͠ͳ͍ࣗવͳݕࡧʹد༩͢Δ HSFQܕʹ͘ΒɺΠϯσοΫεΛ࡞Γʹ͍͘ߏʢύλʔϯจࣈྻݕࡧͳͲʣۤख Ԙجྻ͔ΒಛఆͷύλʔϯจࣈྻΛݕࡧ͢ΔͳͲͰɺHSFQܕͱ͔ͷ΄͏͕͍ͯΔʢ"IP$PSBTJDLͳͲͷ͕ ͍ͯͦ͏ʣ
సஔ*OEFY w*OEFYJOH͢Δͷʹɺ͔ͪॻ͖͕ར༻͞Ε͍ͯΔ ӳޠͳΒεϖʔεΛ҆ʹநग़Ͱ͖Δ͕ɺຊޠͩͱ͍͠ w͜ΕʮޠኮʯΛఆ͍ٛͯ͠Δ͜ͱ͕݁ߏॏཁ wݕࡧͷྫ ΓΜ͝Ͱݕࡧˠจষ ͕ώοτ
Զ"/%ΓΜ͝ˠͷΈ͕ώοτ ژˠͷΈ͕ώοτ ౦ژ ౦ژ౦ژˍ ˠͷΈ͕ώοτ هࣄ൪߸ ੜςΩετ 5PLFOׂ݁Ռʢ*OEFYJOH Զ౦ژʹ͍·͢ ԶΓΜ͕͝ݏ͍Ͱ͢ Զ౦ژʹ͍·͢ ԶΓΜ͕͝ݏ͍Ͱ͢ ࢲژʹ͍·͢ ࢲΓΜ͕͖͝Ͱ͢ ࢲژʹ͍·͢ ࢲΓΜ͕͖͝Ͱ͢ ࢲΓΜ͕͖͝Ͱ੨ΓΜͬ͝ͱ͖Ͱ͢ ࢲΓΜ͕͖͝Ͱ੨ΓΜͬ͝ͱ͖Ͱ͢ આຎᨈൠएཏຶଟ৺ܦ આຎᨈൠएཏຶଟ৺ܦ ୯ޠ هࣄ൪߸ Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ
ϥϯΩϯά͚ͱ5'*%' wใݕࡧʹ͓͍ͯɺݕࡧ݁ՌΛʮదʯͳϥϯΩϯάͰग़͢ ͜ͱ͕ඞཁ 2ʮΓΜ͝ʯͷݕࡧ݁Ռ͕ͲΕΛҐʹ͢Δͷ͕ଥͩΖ͏͔ʁ ΓΜ͝ͷग़ݱճΛߟ͑Δͷ͕ྑͦ͞͏ 2ʮࢲ"/%ΓΜ͝ʯͰݕࡧͨ݁͠ՌͲΕ͕ҐʹͳΔͷ͕ଥʁ
ʮࢲʯͷ΄͏͕ॏΈ͕͋Γͦ͏͔ͩΒɺͪ͜ΒͷϙΠϯτධՁΛߴ͍ͨ͘͠ w5'*%' ɿจষʢࠓճʣɺ ɿ୯ޠU͕ग़ݱ͢ΔυΩϡϝϯτ ɺ ɿจষEʹ͓͚Δ୯ޠUͷग़ݱճ ɿจষEʹ͓͚Δ୯ޠUͷग़ݱ֬ ɿ୯ޠU͕ग़ݱ͢Δ͜ͱʹର͢Δใྔతͳͷ ɿ୯ޠUͰݕࡧͨ͠ͱ͖ͷจষEͷධՁతͳͷ 5'*OEFYςʔϒϧʹɺ*%'సஔ*OEFYςʔϒϧʹॻ͘ͱΘ͔Γ͍͢ N ∈ ℕ tf(t) ∈ ℕ nf(t, d) ∈ ℕ tf(t, d) ∈ ℝ tf(t, d) = nf(t, d) / Σs∈d nf(s, d) idf(t) ∈ ℝ idf(t) = log(N / df(t)) + 1 tfidf(t, d) ∈ ℝ tfidf(t, d) = tf(t, d) * idf(t) هࣄ ൪߸ 5' /' Զ౦ژʹ ͍·͢ԶΓΜ ͕͝ݏ͍Ͱ͢ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ ࢲژʹ͍· ͢ࢲΓΜ͕͝ ͖Ͱ͢ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ ࢲΓΜ͕͝ ͖Ͱ੨ΓΜ͝ ͬͱ͖Ͱ͢ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ આຎᨈൠए ཏຶଟ৺ܦ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ ୯ޠ هࣄ൪߸ 5' *%' Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ
୯ޠຒΊࠐΈɺจॻͷຒΊࠐΈ wޠኮʢ୯ޠͷछྨʣ͕ఆΊΒΕΔ໘ʹ͓͍ͯɺ୯ޠΛϕΫτϧʹରԠͤ͞Δ͜ͱ͕ͰͰ͖Δ ୯ޠຒΊࠐΈʢ5FSNϕΫτϧʣɿ୯ޠΛ࣮ϕΫτϧ্ʹҐஔ͚ͮΔ͜ͱ ࠓ·Ͱͷྫʹ͓͚Δʮ౦ژʯͷ୯ޠຒΊࠐΈ ্هͷ୯७ͳ୯ޠຒΊࠐΈΛ0OFIPUදݱͱ͍͏ w0OFIPUͷߟ͑ํΛԠ༻ͯ͠ɺจষϕΫτϧԽͰ͖Δ
#PXɿ/'ͷใϕΫτϧͰද͢ ઌఔͷ/'ͷਤΛࢀߟ 5'*%'ϕΫτϧɿ5'*%' U E ͰจষEΛϕΫτϧԽ จষͩͱҎԼͷײ͡ wจষϕΫτϧΛ༻͍ͨจষݕࡧ ྫɿจষͱจষͷൺֱͳͲΛͯ͠ΈΔ $PTྨࣅΛ༻͍ͯจষͷൺֱ͕Ͱ͖Δ wɿ0OFIPUදݱ͕ͭɺใݕࡧతͳ՝ͳΜͰ͋Ζ͏͔ʁ ࢲ ౦ژ ʹ ʢதུʣ ܦ ʜ ࢲ ౦ژ ʹ ʢதུʣ ܦ ʜ
۩ମతͳશจݕࡧΤϯδϯ wશจݕࡧΤϯδϯʢϛυϧΣΞʣͷಛ ࣗಈͰ*OEFY࡞ͯ͘͠ΕΔ શจݕࡧͱͦ͏Ͱͳ͍෦ͷݕࡧՄೳ ࠷ۙΫϥυϕʔεͷͷ͕ଟ͍ 5FSNϕΫτϧϕʔεͰྨࣅจষݕࡧͯ͘͠ΕΔɹ
&MBTUJDTFBSDIͷNPSFMJLFUIJTʣͳͲͷػೳ͋Δ wදྫ -VDFOF ͘Β͍͔Β͋Γࠓϝϯς͞Ε͍ͯΔɺଟ͘ͷશจݕࡧΤϯδϯͷίΞʹͳ͍ͬͯΔ &MBTUJDTFBSDI -VDFOFϕʔε ࢄॲཧϚϧνςφϯτʹରԠ͍ͯ͠Δ "MHPMJB "1*ϕʔεͷݕࡧαʔϏε ʢ৺ͷʣ։ൃऀӡ༻ऀͱͯ͠ɺ͋Δఔݕࡧػೳ͕͋ΕɺҎԼͷ͜ͱͷ΄͏͕ॏཁͩͬͨΓɻɻɻ ΫϥυαʔϏεͱͷ࿈ܞʢΦϒδΣΫτετϨʔδ3%4͔ΒͷҠߦੑͳͲʣ ΦʔτεέʔϦϯά ՄࢹԽπʔϧ
ʢ͜͜·ͰͳΒ͍͍ϖʔεʣ
ࢄҙຯͱݴޠϞσϧ
ҙຯ wʢݴޠ༻ʹ͓͚Δʣʮҙຯʯʹؔ͢ΔҰͭͷཧ ʮࣅͨΛͭݴޠతରࣅͨҙຯΛ࣋ͭʯͱ͍͏Ծઆʹجͮ͘ҙຯͷཧ ʮ౷ܭతҙຯʯͷ̍ͭͰ͋Δʢҙຯ୯ޠͷҙຯ͕த৺ʁ໌֬ͳࠩҟෆ໌ʣ w'JSUIͷʮ୯ޠͦͷपลʹΑͬͯಛ͚ͮΒΕΔʯͱ͍͏ΞΠσΟΞ͕ࠜఈʹ͋Δ 'JSUIޙظΟτήϯγϡλΠϯͷݴޠήʔϜͱͷؔ࿈ड़͍ͯΔ<> wʮ୯ޠຒΊࠐΈʯͱͱҙຯͷαϒςʔϚͰ͋ͬͨ<>
୯ޠຒΊࠐΈͷ࠷ॳͷՌ*3ͱݴΘΕ͍ͯΔ<> ୯ޠຒΊࠐΈݚڀ͕XPSEWFDʢޙड़ɺҎ߱87ʣΛੜΈग़͠ɺ͔ͦ͜Β#&35ͳͲʹͭͳ͕Δ ͕ɺ*3ͷد༩͕ͲΕ͚ͩϓϦϛςΟϒͳͷ͔Θ͔Βͳ͍ wχϡʔϥϧݴޠϞσϧͷख๏Λݚڀ͍ͯͨ͠ਓ͕͜ΕΒͷΛͲ͜·Ͱҙ͍ࣝͯ͠ ͔ͨෆ໌ <><>ͳͲͰɺEJTUSJCVUJPOBMTFNBOUJDTTUBUJTUJDBMTFNBOUJDTͷݴٴݟ͔ͭΒͣ
ݴޠϞσϧ w౷ܭతͳҙຯ߹͍ͷʮϞσϧʯʢཧཧֶจ຺ͷϞσϧͱҧ͏ʣ จষʢ୯ޠγʔέϯεʣશମͷ֬Ͱ͋Γɺจষͷࣗવ͞ଥ͞Λʮ֬ʯͰදݱ͢Δ ྫɿQ lࢲύϯΛ৯·ͨ͠z Q l৯ύϯΛࢲ·ͨ͠z
wจষΛॲཧ͢ΔͨΊʹɺจষΛτʔΫϯԽʢUPLFOJ[Fʣ͢Δඞཁ͕͋Δ ใݕࡧͷྫͷΑ͏ʹ୯ޠͰׂ͢Δํ๏͋Δ͕ɺޙड़͢Δαϒϫʔυ͕Α͘༻͍ΒΕΔ wจষͷग़ݱ֬τʔΫϯͷಉ࣌֬ ͱಉ͡ จষ4ΛτʔΫϯԽͨ͠ͷ ͷग़ݱ֬લޙͷτʔΫϯͷґଘੑ͕ߟ͑ΒΕ ྫɿʮே͝Μʹ Λ৯·ͨ͠ʯͳΔ ͔ͳΓݶΒΕΔ ͭ·Γɺจ຺ͳͲΛԾఆ͢Δ͜ͱͰ͜ͷݴޠϞσϧΛΑΓਫ਼֬ʹҎԼͷΑ͏ʹදݱͰ͖Δ<> ͨͱ͑ɺ ͩͱ͢ΔͱɺJ൪ͷ୯ޠΛਪ͢ΔͷʹɺલLݸͷ୯ޠΛར༻ wݴޠϞσϧͷத͔ؒΒಘΒΕΔϕΫτϧɺԾઆʹجͮ͘Α͏ʹΈ͑Δ w w w p(s) = p(w1 , w2 , . . . , wn ) s = (w1 , w2 , . . . , wn ) wi wi wi P(wi |context) ∀wi ∈ ޠኮ P(wi |wi−k , , , . wi−1 )
ݹయతʢඇχϡʔϥϧʣͳݴޠϞσϧ wදྫɿ#P8ɺ5'*%' ࣮ݴޠϞσϧͰ͋Γ·ͨ͠ τʔΫϯԽɿ୯ޠׂ ͦͷଞৄࡉઌఔݟͨͷͰলུ ʢݴޠϞσϧͱͯ͠ʣ͋Δจͷ֬Λܭࢉ͢Δʹɺ୯ޠͷग़ݱॱલޙͷ୯ޠͱ͍ͬͨจ
຺Λແࢹͯ͠ɺͦͷจΛߏ͍ͯ͠Δ୯ޠͷग़ݱ͚֬ͩΛࢉग़ͯ֬͠Λࢉग़͢Δ Q Զ౦ژʹ͍·͢ʣQ Զ Q Q ౦ژ Q Q ʹ Q ͍ Q ·͢ ͜ͷϞσϧͰɺQ Զ Q Q Q Զ ͱͳͬͯ͠·͍ɺ͋·Γྑ͘ͳ͍ #P85'*%'OHSBNͷOͷέʔεͩͱߟ͑ΒΕΔ Oͱ͔ʹͳΔͱɺQ Զc#04 Q cԶ 㱠Q c#04 Q Զc Έ͍ͨͳ͜ͱ͕Ͱ͖Δ w#P8ͷΑ͏ʹݹయతͳݴޠϞσϧʮʯ࣍ݩͰ͋Δ ʮʯʢ࣍ݩʣͷؾ࣋ͪɺ ͳΔDPOUFYUͷࣗ༝͕͍ͱ͍͏͜ͱ #P8ͩͱલޙΛશ͘ݟͳ͍ɺͭ·Γɺจ຺ͷೝ͕͍ࣝ P(wi |context)
χϡʔϥϧݴޠϞσϧ wχϡʔϥϧωοτʹΑֶͬͯश͞Εͨߴ࣍ݩͷϞσϧͰ͋Δ ϚϧίϑϞσϧͳͲ͕<>Ͱߴ࣍ݩϞσϧͱݺΕ͍ͯΔͷͰɺߴ࣍ݩͱͨ͠ දྫͱͯ͠ɺ87ɺ#&35ͳͲ wͨͩ͠ɺ/-1ͷλεΫΛղ͘ࡍʹɺจͷࣗવ͞୯ޠ༧ଌͷͨΊʹχϡʔϥϧ ݴޠϞσϧ͕ΘΕΔͱݶΒͳ͍ ྫ͑ɺ87ɺΉ͠ΖதؒදݱͰ͋ΔࢄදݱΛಘΔͨΊʹΘΕΔ
#&35ͳͲͰɺΫϥεྨಛޠநग़ͳͲͷྨثʹଓͯ͠ར༻͞ΕΔͨΊ൚༻తͳ ΘΕํΛ͢Δ จͷࣗಈੜͰ(15ܥͷϞσϧ͕ΘΕΔͳͲɺ߹ʹԠͯ͡ݴޠϞσϧ͕બ͞ΕΘ ΕΔ
χϡʔϥϧݴޠϞσϧͷྫ87 wத͔ؒΒࢄදݱΛಘΔͨΊͷϞσϧ ͳͷͰɺ%FFQͱݴ͑ͳ͍͔ wΞʔΩςΫνϟ 4LJQHSBN͋Δ͍$#P8ʢͦΕͧΕಉ͜͡ͱ͕ୡͰ͖ΔҟͳΔΞʔΩςΫ νϟʣͱ͍͏ΞʔΩςΫνϟ͕༻͍ΒΕΔ w$#P8ͷઆ໌
8JOEPX4J[FLͱͨ͠߹ɺೖྗɿLݸͷ0OFIPUɺग़ྗɿ ͷ֬ ͱͯ͠ɺ ͷ༧ଌ͕࠷దʹͳΔΑ͏ʹֶशΛ͢Δ wதؒʢॏΈͷߦྻ ʣ͔Β୯ޠͷࢄදݱΛಘΒΕΔ தؒͷJߦɺޠኮதJ൪ͷ୯ޠͷϕΫτϧͱͳΔ ͜ͷ୯ޠϕΫτϧɺֶशʹΑͬͯ8JOEPXͷ୯ޠͱͷؔ࿈͚͕͞Ε͍ͯΔ ͜ΕʹΑͬͯɺ୯ޠؒͷྨࣅ͕$PTྨࣅͳͲΛ༻͍ͯਤΕΔ $PTྨࣅͷྫɿσϞͰ͓ݟͤ͠·͢ wΑ͘ݴΘΕΔ͜ͱͱͯ͠ɺՃ๏ߏੑ͕͋Δ ྫɿ wi P(wi |wi−k , . . . , wi−1 , wi+1 , . . . , wi+k ) WN×V v(king) − v(male) + v( female) ≈ v(queen) $#P8ͷֶशͷ༷ࢠ ग़యɿ%FNPHSBQIJD1SFEJDUJPO#BTFEPO 6TFS3FWJFXTBCPVU.FEJDBUJPOT
χϡʔϥϧݴޠϞσϧͷྫ#&35 w൚༻ݴޠϞσϧ w87ͱҧ͍ɺೖྗϕΫτϧ୯ޠׂͰͳ ͘αϒϫʔυׂ͞ΕͨͷΛ༻͍Δ ະޠͷൃੜΛ੍͢Δ͜ͱ͕Ͱ͖Δ αϒϫʔυׂͷྫɿσϞͰ͓ݟͤ͠·͢ w#&35ࣄલֶशͱͯ͠ɺҎԼͷͭͷλεΫΛ ղ͘
ϚεΫͷ୯ޠ༧ଌ ྫɿʮԶ<."4,>ʹॅΜͰ͍·͢ʯ͔Β<."4,>ʹೖ ΔޠΛֶशͤ͞Δ ࣍ͷจষͷ༧ଌ ྫɿʮԶ౦ژʹॅΜͰ͍·͢ʯͷ࣍ʹͲͷจষ͕͖ͨ Βదͳͷ͔Λֶशͤ͞Δ #&35ͷࣄલֶशͷਤ ग़యɿ#&351SFUSBJOJOHPG%FFQ #JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF 6OEFSTUBOEJOH
#&35Λར༻ͨࣗ͠વݴޠॲཧ w#&35ͰɺࣄલֶशͰ࡞ͬͨݴޠϞσϧΛ͞Βʹλ εΫʹ͋ΘͤͯνϡʔχϯάͰ͖Δʢ'JOF5VOJOHʣ ͜ͷ'JOF5VOJOHੑ͕/-1ͷେ͖ͳϒϨΠΫεϧʔʹܨ͕ͬͨ ͱݴ͑ͦ͏ ࣄલֶशʹͦΕͳΓͷֶशίετ͕͔͔Δ͕ɺݴޠ͝ͱͷ ࣄલֶशϞσϧ͕͋Εɺ'JOF5VOJOHࣗମগྔͷσʔλͰ ֶशͰ͖Δ
w'JOF5VOJOHͰɺྨثͱ#&35ͷࣄલֶशࡁΈϞσ ϧΛ߹Θͤͯʢ࠶ʣֶशΛ͢Δ͜ͱͰɺʢಛநग़Λ ߦ͍ͬͯͨʣࣄલֶशࡁΈϞσϧΛ͞Βʹਫ਼্ ʢͨͩ͜͠ΕλεΫʹରͯ͠ͷਫ਼Ͱ͋Δʣͤ͞ Δ͜ͱ͕Ͱ͖Δ #&35Λ༻͍ͨ୯ҰจͷΫϥεྨͷਤ ग़యɿ#&351SFUSBJOJOHPG%FFQ #JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF 6OEFSTUBOEJOH
/-1ͱ*3ͷޓ͍ͷԠ༻
ݹయతͳԠ༻ Ԡ༻ʹ͍ͭͯओ؍Ͱ͢ ಛʹݹయతͳ߹ɺͦͦ྆ํͷݚڀ͍ͬͯͨਓ͕ଟͦ͏ͳͷͰɺݫີʹͲ͕ͬͪͲͬ ͪͱݴ͑ͳͦ͞͏ͳͷͰɺ wใݕࡧͰࣗવݴޠॲཧͷՌΛར༻͢Δ શจݕࡧ*OEFYJOHͷͨΊͷ͔ͪॻ͖ ݟग़͠ޠԽʢ-FNNB5J[BUJPOʣ wࣗવݴޠॲཧͰใݕࡧͷՌΛར༻͢Δ
୯ޠຒΊࠐΈͷख๏ w w
χϡʔϥϧݴޠϞσϧҎ߱ͷԠ༻ Ԡ༻ʹ͍ͭͯओ؍Ͱ͢ wใݕࡧͰࣗવݴޠॲཧͷՌΛར༻͢Δ จষϕΫτϧʹΑΔݕࡧ ͬͪ͜ݕࡧ࣌ʹ$PTྨࣅͳͲΛͱΊΔ όονॲཧͳͲͰσʔλΛߏԽͨ͠͏͑Ͱͷݕࡧ
ΫϥελϦϯάྨ݁ՌͳͲΛࣄલʹ&OUJUJZԽ͓ͯ͘͠ (PPHMFͷ.6. wࣗવݴޠॲཧͰใݕࡧͷՌΛར༻͢Δ ࣗΒͳ͍ͷͰɺͳʹ͔͍ͬͯͨΒڭ͑ͯԼ͍͞ʂʂ w w
ࢲݟʢ͜ͷ͋ͨΓٞͰ͖Δͱخ͍͠ʣ ߴߍ͔ΒେֶӃ·ͰใՊͩͬͨࢲʹΑΔภݟΛؚΜͩएׯඈͨ͠ࢲݟ💦 wใݕࡧγεςϜతͳ͕த৺ʹ͋Δ͕ɺࠜఈʹʮใʯʹؔ͢Δߟ͕͋ ΔΑ͏ʹײ͡Δ ྫ͑ɺ*%'ͱίϧϞΰϩϑෳࡶੑͱʹҰఆͷؔੑ͕ݟ͍ͩͤΔͱߦͬͨݚڀ͕͋Δ<> wݴޠଟʹʮใʯతଆ໘͕͋Δ ใΛୡ͢Δखஈͱͯ͠ͷݴޠΛߟ͑Εવ
ͦͯ͠ɺݴޠ͕ใతଆ໘͕͋Δͱݴ͑ͦ͏ ใݕࡧ͕ࢦ͢ʮใʯଟٛతͰ͋Γɺͦ͜ʹ্هͷʢୡͷʣҙຯͰͷใؚ·ΕΔ ͦ͏ߟ͑Δͱɺʮใʯͷߟ͕ݴޠֶʹد༩͢Δͷࣗવ wͳͷͰɺใݕࡧʢใཧʣʹؔ͢Δߟ͕ΑΓҰਐΊࣗવݴޠʢॲ ཧʣʹߋʹد༩Ͱ͖Δɺ͋Δ͍ͦͷٯ͋Γ͑ΔͷͰͳ͍ͩΖ͏͔ʁ
·ͱΊ
·ͱΊ wࣗવݴޠॲཧ ࣗવݴޠͷΛܭࢉػͰղ͘Ͱɺੲϧʔϧϕʔε౷ܭϞσϧͷͷ͕ݚڀ͞Εɺ ࠷ۙػցֶशϕʔεͷͷ͕ݚڀ͞Ε͍ͯΔ wใݕࡧ 2VFSZʢ͍߹Θͤʣʹରͯ͠దͳճΛదͳॱ͚Λͯ͠ఏࣔ͢ΔλεΫͰɺ సஔΠϯσοΫε5'*%'ɺ୯ޠຒΊࠐΈͳͲͷൃ໌ͳͲ͕͋ͬͨ wࣗવݴޠॲཧͱใݕࡧͷؔ
ใݕࡧͷ*OEFYJOHʹ͔ͪॻ͖͕ར༻͞Ε͍ͯΔ ࣗવݴޠॲཧͰݚڀ͞Ε͍ͯΔ୯ޠຒΊࠐΈͷݚڀɺใݕࡧͰͷݚڀ͕͖͕͚͞ ʢߴ࣍ݩͷݴޠϞσϧΛར༻ͯ͠ಘΒΕͨʣಛϕΫτϧͳͲΛݕࡧ͢ΔͳͲɺݕࡧʹࣗ વݴޠॲཧͷϒϨΠΫεϧʔ͕ಋೖ͞Ε͍͍ͯͬͯΔ ͜Ε͔ΒͭͷͰྑ͍૬ޓ࡞༻͕͋Δͱخ͍͠
ࢀߟจݙ ใݕࡧݕࡧΤϯδϯͷ࣮ͱධՁʢ༁൛ʣ #&35ʹΑΔࣗવݴޠॲཧೖ5SBOTGPSNFSTΛ࣮ͬͨફϓϩάϥϛϯά ֶηϛφʔ݄߸ಛूɿݴޠͷཧ XJLJQFEJB FO
/BUVSBMMBOHVBHFQSPDFTTJOH XJLJQFEJB FO )JTUPSZPGBSUJpDJBMJOUFMMJHFODF XJLJQEJB KB શจݕࡧ XJLJQFJEB FO %JTUSJCVUJPOBMTFNBOUJDT XJLJQFEJB FO 8PSEFNCFEJOH XJLJQFEJB FO -BOHVBHFNPEFM ʢݸਓϒϩάʣ/-1XPSESFQSFTFOUBUJPOTBOEUIF8JUUHFOTUFJOQIJMPTPQIZPGMBOHVBHF &⒏DJFOU&TUJNBUJPOPG8PSE3FQSFTFOUBUJPOTJO7FDUPS4QBDF #&351SFUSBJOJOHPG%FFQ#JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF6OEFSTUBOEJOH ਆቇઌੜͷਪનγεςϜࢿྉ ίϧϞΰϩϑෳࡶੑʹجͮ͘*%'ͷ୯ޠ/HSBNͷద༻
ʢ͓·͚ʣ ใݕࡧγεςϜ։ൃͷۤ࿑ ͋Ε͜Ε
࣮ࡍʹӡ༻͢Δ߹ͷͭΒ͞ wೖྗιʔε ଟ͚ΕΑ͍ͬͯΜͰͳ͍ ϊΠζͷଟ͍ιʔε͕͋Δͱɺඞવతʹใݕࡧͷਫ਼Լ͕Δ w ʼਫ਼ͬͯ͜ͱ͋Γ͑Δ w69ͱͯ͠ΓDPOUSPMMFSBCMFʹ͍ͨ͠ͱ͍͏ཉٻ͕͋Δ
టषͯࣙ͘ॻΛ࡞Δ͖ͱஶ໊ͳ/-1ͷઌੜ͕͓ͬ͠Ό͍ͬͯ·ͨ͠ ͱ͢Δͱɺવେͳϧʔϧͷཧ͕ඞཁʹͳͬͯ͘Δɻɻɻ wͦͦԿ͕ྑ͍ݕࡧ݁Ռͳͷ͔Θ͔Βͳ͍ $53͕ߴ͘ͳΔΑ͏ͳݕࡧͳͷ͔ ධՁΛͲͷΑ͏ʹಘΔ͔
ϓϩμΫτతͳʢόοΫΤϯυΤϯδχΞͷ؍ͱͯ͠ʣ wόονॲཧͰࠐΉ ࣄલʹܭࢉ͓͚ͯ͠ΦϯϥΠϯૣ͘͢Δඞཁ͕ͦͦͳ͘ͳΔՄೳੑ͋Δ ΦϯϥΠϯͰͰ͖Δͱ͜ΖͱͰ͖ͳ͍͜ͱͷҾ͖͚ wΩϟογϡॏཁ ܭࢉ͞ΕΔʹภΓ͕͋ΔͷͰͦͷੑ࣭Λ͏·͘ར༻͢Δ wΦϯϥΠϯΞϧΰϦζϜΛվળ͢ΔલʹϘτϧωοΫΛվળ͢Δ
ͨΓલ͚ͩͲɺͪΌΜͱଌఆΛ͠ͳ͍ͱΦϯϥΠϯΞϧΰϦζϜͷվળ͔ΒΓ͕ͪ TͷܭࢉॲཧΛߴԽ͢ΔΑΓɺTͷωοτϫʔΫϨΠςϯγΛޮԽͨ͠΄ ͏͕શମͷߩݙେ͖͍ ϘτϧωοΫ͕ΦϯϥΠϯΞϧΰϦζϜʹͳΔͷ΄͔͕උ͞Εͨޙ͔͠Εͳ͍ɻɻɻ