自然言語処理を支える技術 〜要素技術とPerlの活用〜

1. ࣗવݴޠॲཧΛࢧ͑Δٕज़ ʙཁૉٕज़ͱPerlͷ׆༻ʙ Hideaki Ohno
2. About me w)JEFBLJ
   0IOP
   w5XJUUFSIBUFOBOQN
   IJEF@P@
   w(JU)VC
   IJEFP
   w1"64&
   )*%&",*0
   w'BWPSJUF
   1SPHSBNJOH
   -BOHVBHF
   w$$ +BWB4DJSQU1FSM
4. Ͳ͏Έͯ΋NoderͰ͢ɻ ຊ౰ʹʢ͈́
5. Agenda •ࣗવݴޠॲཧͷ֓ཁ •ࣗવݴޠॲཧͷཁૉٕज़ •ΞϧΰϦζϜ •σʔλߏ଄ •πʔϧ •ϥΠϒϥϦ
6. ૝ఆର৅ऀ • Perlʹ͍ͭͯ͸CPANϞδϡʔϧΛ׆༻ͯ͠ɺ΍Γ͍ͨ͜ͱΛ࣮ ݱͰ͖Δ • ࣗવݴޠॲཧʹ͍ͭͯڵຯ͸͋Δ͕ܦݧ͸ͳ͍
7. ࣗવݴޠॲཧ զʑ͕ීஈ࢖͍ͬͯΔ ݴޠΛίϯϐϡʔλʹ ॲཧͤ͞Δٕज़
8. ࣗવݴޠॲཧ ͔ͳ׽ࣈม׵
9. ࣗવݴޠॲཧ ৘ใݕࡧ
10. ࣗવݴޠॲཧ ػց຋༁
11. ࣗવݴޠॲཧ ৘ใநग़
12. ࣗવݴޠॲཧ ࣗಈཁ໿
13. ࣗવݴޠॲཧ จষੜ੒
14. ࣗવݴޠॲཧ Ի੠ೝࣝ
15. ࣗવݴޠॲཧ จࣈೝࣝ
16. ࣗવݴޠॲཧ •ϧʔϧϕʔε •౷ܭతֶशϞσϧ
17. ϧʔϧϕʔε • ਓखͰϧʔϧΛఆٛͯ͠ॲཧ͢Δ • ෼໺ʹΑͬͯ͸ݱࡏͰ΋౷ܭֶशϞσϧΑΓߴਫ਼౓ • ௕ॴ • ਓखʹΑΔௐ੔͕Ͱ͖Δ • ୹ॴ • ϧʔϧͷϝϯςφϯείετ • ϧʔϧͷ࡞੒ʹઐ໳஌͕ࣝඞཁ • ྫ֎ͷଟ͍υϝΠϯ΁ͷద༻͕ۤख
18. ౷ܭతֶशϞσϧ • ػցֶशʹΑΓϧʔϧΛಋ͖ग़͠ॲཧΛߦ͏ɻ • ௕ॴ • ௥ՃֶशʹΑΓ৽͍͠υϝΠϯ΁ͷద༻͕Մೳ • ୹ॴ • ύϥϝʔλͷௐ੔͕೉͍͠ • ֶशσʔλͷ࡞੒ίετ
19. ࣗવݴޠॲཧͷཁૉٕज़
20. ओʹςΩετղੳؔ܎ͷٕज़ Λ঺հ
21. ܗଶૉղੳ
22. ܗଶૉղੳͱ͸ •ࣗવݴޠจͷܗଶૉ(Morpheme)୯Ґʹ෼ׂ͠ɺ඼ࢺͳͲΛ෇༩͢Δ ॲཧ •ܗଶૉͱ͸ͦͷݴޠʹ͓͚Δ࠷খ୯Ґɻجຊతʹ͸୯ޠͩͱࢥͬͯྑ ͍ •ݱࡏɺར༻͞Ε͍ͯΔ࣮૷ͷଟ͘͸඼ࢺ͚ͩͰ͸ͳ͘ɺ׆༻ͷछྨɺ ݪܗɺಡΈͳͲͷ෇༩Λߦ͏Α͏ʹͳ͍ͬͯΔ •Ϟσϧ࣍ୈͰ୯ޠʹؔ࿈͢Δ༷ʑͳଐੑΛ෇༩Ͱ͖Δ •͜ͷॲཧΛߦ͏ϓϩάϥϜΛܗଶૉղੳث(Morphlogical Analyzer)ͱ͍͏ •Morphlogical Analyzer = Word Segmenter + POS Tagger + Lemmatizer + α
23. ܗଶૉղੳثͷ࢓૊Έ ܗଶૉղੳثͰར༻͞Ε͍ͯΔख๏(ίετ࠷খ๏)ͷ͓͓·͔ͳ࢓ ૊Έ ! 1.୯ޠࣙॻΛ༻ҙ͢Δɻ୯ޠࣙॻʹ͸୯ޠͷੜىίετ(୯ޠͷग़ ݱ֬཰)ɺ඼ࢺ౳ͷ৘ใ͕֨ೲ͞Ε͍ͯΔɻ(ࣙॻʹ͍ͭͯ͸ޙड़) ! 2.୯ޠࣙॻΛར༻ͯ͠ɺೖྗจʹؚ·ΕΔ୯ޠީิΛྻڍ͢Δɻ
24. ܗଶૉղੳثͷ࢓૊Έ 3.ྻڍͨ͠୯ޠΛจ಄͔Βจ຤·Ͱฒ΂ͯɺ૊ Έ߹Θͤͨߏ଄(Latticeߏ଄)Λ࡞੒͢Δɻ ࠷΋͔֬Β͍͠୯ޠ۠੾Γͱ඼ࢺͷ૊Έ߹ΘͤΛಘ͍ͨ
25. ܗଶૉղੳثͷ࢓૊Έ 4.͜͜ͰҎԼͷίετΛઃఆ͢Δɻ ୯ޠͷੜىίετ(୯ޠͷग़ݱ֬཰͕ߴ͍΄Ͳ௿ίετ) " ௖఺Λ௨ Δίετ ࿈઀ίετ(඼ࢺͷྡ઀֬཰͕ߴ͍΄ͱ௿ίετ)ɹ" ลΛ௨Δίετ
26. ܗଶૉղੳثͷ࢓૊Έ 5.߹ܭίετ͕࠷΋খ͞ͳܦ࿏Λ୳ࡧ͢Δɻ ͔͠͠
    ࣮ࡍͷॲཧͰ͸૊Έ߹Θͤͷ਺͸๲େ
27. ܗଶૉղੳثͷ࢓૊Έ ಈతܭը๏(DP)ͷग़൪
28. ܗଶૉղੳثͷ࢓૊Έ ViterbiΞϧΰϦζϜ •ಈతܭը๏ͷҰछ •ӅΕϚϧίϑϞσϧ(HMM)ʹجͮ͘ •؍ଌ͞Εͨࣄ৅ܥྻΛग़ྗͨ͠Մೳੑ͕࠷΋ߴ ͍ঢ়ଶྻΛਪఆ͢Δ
29. ܗଶૉղੳثͷ࢓૊Έ 6.ViterbiΞϧΰϦζϜͰ୳ࡧͨ͠࠷΋ίετͷ௿͍୯ޠ ྻΛग़ྗ͢Δɻ ! ࣮ࡍ͸͜ΕʹՃ͑ͯɺࣙॻʹଘࡏ͠ͳ͍୯ޠ(ະ஌ޠ)Ͱ ͋ͬͯ΋ɺ෼ׂҐஔΛਪఆͰ͖ΔΑ͏ͳ޻෉͕ͳ͞Ε͍ͯ Δɻ(จࣈछʹجͮ͘ώϡʔϦεςΟοΫॲཧͳͲ)
30. ܗଶૉղੳث •Mecab •KyTEA •JUMAN •KAKASI ܗଶૉղੳثͷྫ
31. Mecab •৚݅෇͖֬཰৔(CRF)ʹجͮ͘ղੳ •ࣙॻʹ͸μϒϧ഑ྻ(ޙड़)Λ࢖༻ •Darts(Double-Array TRie System) •Ϣʔβࣙॻɺ෦෼ղੳػೳͰڥք൑ఆΛΧελϚΠζՄೳ •PerlόΠϯσΟϯά(SWIGͰੜ੒)෇ଐ •Text::Mecab
32. ڥք൑ఆͷิਖ਼͕ඞཁͳࣄྫ •ʮͳͷ͸ʯ໰୊ •ॿࢺͳͲͱͯ͠ѻΘΕͯ͠·͏ •๭ຐ๏গঁΛݻ༗໊ࢺͱͯ͠ѻ͍͍ͨ •ʮϞʔχϯά່ɻʯɺʮ౻Ԭ߂ɺʯ໰୊ •۟ಡ఺Ͱ෼ׂ͞Εͯ͠·͏ ҰൠจίʔύεʹΑΔֶशͰ͸ѻ͍ͮΒ͍΋ͷ
33. JUMAN •1992೥ެ։ •ίετ͸ਓखͰ෇༩ •PerlόΠϯσΟϯά(SWIGͰੜ੒)෇ଐ
34. KyTea •จࣈ୯ҐͰͷ෼ׂҐஔɺλάਪఆ •SVM΍ϩδεςΟοΫճؼʹΑΔਪఆ •෦෼ΞϊςʔγϣϯʹΑΔ௥Ճֶश •Text::KyTea
35. KAKASI •׽ࣈ"͔ͳ(ϩʔϚࣈ)ม׵ϓϩάϥϜ •୯ޠ෼ׂʹ΋ରԠ •Text::KAKASI
36. ࣙॻͰ࢖༻͞ΕΔσʔλߏ଄
37. Trie • ॱং෇͖໦ߏ଄ͷҰछ • ໦ߏ଄্ͷϊʔυͷҐஔͱΩʔ͕ରԠ͍ͯ͠Δ • ऴ୺·Ͱ෼ذͷͳ͍ϥϕϧΛTAIL഑ྻʹऩΊΔMinimal Prefix Trieɺ෼ ذͷͳ͍ϊʔυͷϥϕϧΛ1ͭͷϊʔυ·ͱΊΔύτϦγΞTrieͳͲͷѥछ΋ ͋Δ
38. Trieͷಛ௃ •Ωʔͷݕࡧ͕ߴ଎ɻ௕͞ m ͷΩʔݕࡧ͸࠷ѱ Ͱ O(m) •ڞ௨͢Δ઀಄͕ࣙ·ͱΊΒΕΔͷѹॖޮՌ͕͋ Δ •ڞ௨͢Δ઀಄ࣙΛ࣋ͭΩʔͷྻڍ͕༰қ
39. TrieΛදݱ͢Δσʔλߏ଄
40. ιʔτࡁΈ഑ྻ •Trieͷ֤ϊʔυͷࢠϊʔυΛϥϕϧͰιʔτ •୳ࡧ࣌͸ࢠϊʔυΛೋ෼୳ࡧ •ݕࡧͷܭࢉྔ͸O(log n)
41. μϒϧ഑ྻ • BaseͱCheckͷ2ͭͷ഑ྻͰTrieͷϊʔυؒͷભҠΛදݱɻ • αΠζ͕ίϯύΫτͰඇৗʹߴ଎ʹݕࡧͰ͖Δɻ • ݕࡧͷܭࢉྔ͸O(1)ɻ࣮ࡍʹ͸Ωʔͷ௕͞ʹґଘɻ • Perl͔Β͸Text::Darts͕ར༻Ͱ͖Δ
42. LOUDS • Trieͷߏ଄ΛϏοτྻͰදݱ • ؆ܿϏοτϕΫτϧΛར༻͢Δ͜ͱͰαΠζΛѹॖͭͭ͠ߴ଎ͳΞΫηε͕Մೳ • ؆ܿϏοτϕΫτϧ͸ҎԼͷૢ࡞Λఏڙ͢Δ • access(i): ϏοτϕΫτϧͷi൪໨ͷ஋Λฦ͢ • rank(i): ઌ಄͔Βi൪໨·Ͱͷ1(·ͨ͸0)ͷ਺Λฦ͢ • select(i): i൪໨ʹग़ݱ͢Δ1(·ͨ͸0)ͷҐஔΛฦ͢ • ҰఆͷϒϩοΫຖʹ1ͷ਺Λอ࣋ͨ͠rankࣙॻΛར༻͢Δ͜ͱͰrank(i)͸ ఆ਺࣌ؒͰॲཧՄೳ • select(i)͸rankࣙॻͷೋ෼୳ࡧͰO(log n)ͰॲཧՄೳ • Perl͔Β͸Text::Tx(tx-trie), Text::Ux(ux-trie)ɺmarisa- trie(SWIG)౳͕ར༻Մೳ
43. ܎Γड͚ղੳ
44. ܎Γड͚ղੳͱ͸ •֤୯ޠɾจઅؒͷ܎Γड͚ߏ଄Λൃݟ͢Δ •جຊతʹ͸ܗଶૉղੳثͷग़ྗΛೖྗͱ͢Δ •͜ͷॲཧΛߦ͏ϓϩάϥϜΛ܎Γड͚ղੳثͱ ͍͏
45. ܎Γड͚ղੳͷ࢓૊Έ •Shift-reduce •ࠨ͔Βӈ΁ᩦཉతʹղੳ •ߴ଎ɺগ͠ਫ਼౓͕௿͍ •શҬ໦ •จશମͷ܎Γड͚Λ࠷దԽ •ਫ਼౓͕গ͠ߴ͘ɺεϐʔυ͕গ͠མͪΔ •νϟϯΫಉఆͷஈ֊ద༻ •୯ޠΛ۟ʹνϟϯΩϯά •਌Λൃݟ ɹͷ܁Γฦ͠
46. Shift-Reduce • ࠨ͔Βӈ΁୯ޠΛ̍ݸͣͭॲཧ • QueueͱStackΛར༻ͯ͠ॲཧ • Queue : ະॲཧͷ୯ޠΛ֨ೲ • Stack : ॲཧதͷ୯ޠΛ֨ೲ • ֤࣌఺Ͱ 1 ͭͷಈ࡞Λબ୒ • shift: 1 ୯ޠΛΩϡʔ͔ΒελοΫ΁Ҡಈ • reduce ࠨ : ελοΫͷ̍୯ޠ໨͸̎୯ޠ໨ͷ਌ • reduce ӈ : ελοΫͷ̍୯ޠ໨͸̎୯ޠ໨ͷ਌ • ෼ྨثΛ࢖ͬͯͲͷಈ࡞ΛऔΔ͔Λֶश
47. શҬ໦ •୯ޠΛ௖఺ͱͨ͠༗޲άϥϑΛ࡞Δ •άϥϑͷล͕܎Γड͚ •ػցֶशͨ͠σʔλΛݩʹ֤ลʹείΞΛ෇༩ •είΞ͕࠷େͱͳΔ໦͕܎Γड͚ߏ଄Λද͢ߏ จ໦ͱͳΔ
48. νϟϯΫಉఆͷஈ֊ద༻ •จΛνϟϯΫʹ෼ׂɺ਌Λӈͷ୯ޠʹ͢Δ •νϟϯΫ෼ׂ͕Ͱ͖ͳ͘ͳͬͨ࣌఺Ͱߏจ໦͕ ׬੒
49. ܎Γड͚ղੳث •CaboCha •KNP •J.DepP
50. CaboCha •SVMʹجͮ͘ղੳ •ࣙॻʹ͸μϒϧ഑ྻΛ࢖༻ •ݻ༗දݱղੳ •ݻ༗໊ࢺ(૊৫ɺਓ໊ɺ஍໊ͳͲ)ɺ೔෇දݱɺ࣌ؒදݱ ͳͲΛ൑ఆ •PerlόΠϯσΟϯά෇ଐ(SWIG)
51. KNP •2003೥ʹެ։͞Εͨ܎Γड͚ղੳ/֨ղੳث •JUMANͷग़ྗΛೖྗͱ͢Δ •PerlόΠϯσΟϯά෇ଐ(SWIG)
52. J.DepP •2009೥ʹެ։͞Εͨ೔ຊޠ܎Γड͚ղੳث •લड़ͷख๏ΛؚΊෳ਺ͷղੳख๏Λαϙʔτ •SVM, MaxEntͳͲෳ਺ͷֶशख๏Λαϙʔτ •OpalʹΑΔΦϯϥΠϯֶश •PerlόΠϯσΟϯά෇ଐ(SWIG)
53. ҙຯղੳ-֨ղੳ • ֨ߏ଄ɿจͷҙຯߏ଄Λ ಈࢺ-ਂ૚֨-໊ࢺ ͱ͍͏ؔ܎ͷू߹ͱͯ͠ั͑ͨ΋ͷ • ද૚֨ɿΨ֨ɼϮ֨ɼχ֨ • ਂ૚֨ɿಈ࡞ओ֨, ର৅֨, ৔ॴ֨, ࣌ؒ֨ͳͲ • KNP
54. ҙຯղੳ-ड़ޠ߲ߏ଄ղੳ •จষதͷ֤ड़ޠͷʮ߲ʯͱͳΔ໊ࢺ۟ͳͲΛ౰ ͯΔ •ड़ޠͷಈ࡞ओମͱͳΔ໊ࢺ͸ͲΕ͔ •SynCha •Perl੡
55. ݴޠϞσϧ •ࣗવݴޠΒ͠͞Λ֬཰Ͱද͢Ϟσϧ •͔ͳ׽ࣈม׵΍ػց຋༁ͳͲͰར༻͞ΕΔ •Α͘ར༻͞ΕΔͷ͕ N-gramݴޠϞσϧ
56. N-gramݴޠϞσϧ •Nݸͷ୯ޠྻ͕ग़ݱ͢Δ֬཰Λ֨ೲͨ͠Ϟσϧ •0-gram: ୯ޠͷੜى֬཰͸౳֬཰ •1-gram: ୯ޠͷग़ݱ֬཰ •2-gram: W_i-1ͷޙΖʹWi͕ग़ݱ͢Δ৚݅෇͖֬཰ •n-gram: n ୯ޠͱ n-1 ୯ޠ͔ΒͳΔจࣈྻͷ֬཰Λར༻ •wi−n+1…wi−1ͷޙΖʹW_i͕ग़ݱ͢Δ৚݅෇͖֬཰
57. N-gramݴޠϞσϧͷ՝୊ ݴޠϞσϧʹଘࡏ͠ͳ͍୯ޠ(ະ஌ޠ)͕ग़ݱ͢Δͱ֬ ཰͸0Ͱ͋ΔͨΊɺจͷείΞΛద੾ʹࢉग़Ͱ͖ͳ͍ ! " ະ஌ޠΛؚΉN-gramʹԿΒ͔ͷ֬཰ΛׂΓ౰ͯΔ: εϜʔδϯά
58. εϜʔδϯά •ՃࢉεϜʔδϯά •શͯͷ֬཰ʹҰఆͷ஋ΛՃࢉͯ͠ɺ0ʹͳΒͳ ͍Α͏ʹ͢Δɻ •ਫ਼౓͕ѱ͍ •ઢܗิ׬๏ •N-1, N-2 … 1gramͱ͍ͬͨ௿࣍N-gramͷ ֬཰Λར༻ͯ͠N-gramͷ֬཰Λਪఆ͢Δ
59. εϜʔδϯά •Back-off •ֶशσʔλͰग़ݱ͢Δͱ͖͸άουνϡʔϦ ϯάͷਪఆ஋Λ࢖ͬͯɺग़ݱ͠ͳ͍ͱ͖͸ (1-શͯͷग़ݱ͢Δ৔߹ͷਪఆ஋ͷ࿨)Λग़ݱ ͠ͳ͍୯ޠʹۉ౳ʹ֬཰Λ෼഑͢Δ
60. εϜʔδϯά •Kneeser-NeyεϜʔδϯά •ߴ଎ •௿࣍N-gramͱ௚લͷ୯ޠͷछྨ਺Λ༻͍Δ •Modified Kneeser-NeyεϜʔδϯάɺ Interpolated Kneeser-NeyεϜʔδϯάͳͲ೿ੜ͋ Γ
61. ࣗવݴޠॲཧͰ໾ཱͭ PerlϞδϡʔϧ
62. Regexp::Assemble • ෳ਺ͷਖ਼نදݱʹϚον͢Δߴ଎ͳਖ਼نදݱΛੜ੒ • ͲͷύλʔϯʹϚον͔ͨࣝ͠ผՄೳ
63. Parse::RecDescent •BNF-likeͳจ๏ఆ͔ٛΒ࠶ؼԼ߱ύʔαʔΛ ੜ੒
64. Data::Iterator::SlidingWindo w •੿࡞ •Slinding Window ΞϧΰϦζϜʹΑͬͯίϨ ΫγϣϯΛάϧʔϐϯάͯ͠ɺΠςϨʔλͰऔ Γग़͢͜ͱ͕Ͱ͖Δ •୯ޠͷN-Gramੜ੒ͳͲʹར༻Ͱ͖Δ
65. Algorithm::NaiveBayes •Naive Bayes๏ʹΑΔ෼ྨث •গͳ͍܇࿅σʔλͰ΋෼ྨͷͨΊͷύϥϝʔλ Λݟੵ΋Δ͜ͱ͕Ͱ͖Δ
66. Algorithm::SVM •libsvmͷPerlόΠϯσΟϯά •libsvn • SVM(Support Vector Machine)ʹجͮ ͘ઢܗ෼ྨثͷ࣮૷
67. Algorithm::LibLinear •liblinearͷPerlόΠϯσΟϯά •liblinear •ઢܗ෼ྨث •libsvnΑΓߴ଎
68. Algorithm::AdaBoost •AdaBoost(Adaptive Boosting)ΞϧΰϦζ ϜͷPerl-XS࣮૷
69. Algorithm::AdaGrad •੿࡞ •ΦϯϥΠϯֶशΞϧΰϦζϜ AdaGrad(Adaptive Gradient)ͷPerl-XS ࣮૷
70. Algorithm::HyperLogLog •੿࡞ •ू߹ͷΧʔσΟφϦςΟΛਪఆ͢Δ HyperLogLog ΞϧΰϦζϜͷPerl-XS࣮૷ •ޡࠩΛؚΉ͕লϝϞϦͰू߹ͷΧʔσΟφϦςΟ ΛಘΔ͜ͱ͕Ͱ͖Δ
71. Algorithm::LBFGS •L-BFGS๏ͷ࣮૷ •লϝϞϦͰ४χϡʔτϯ๏ •ؔ਺ͷޯ഑͕0ʹͳΔͱ͍͏ҙຯͰͷؔ਺ͷෆ ಈ఺Λݟ͚ͭΔ
72. WWW::Mechanize •ਓ͕ؒϒϥ΢βͰߦ͏ૢ࡞ΛΤϛϡϨʔτ •Web্ͷ৘ใऩूʹศར
73. Web::Query •jQueryͬΆ͍ײ͡ͰεΫϨΠϐϯάͰ͖Δ
74. ࣗવݴޠॲཧʹ͓͚Δ Perlͷ໾ׂ •ॊೈͳςΩετॲཧೳྗΛ׆͔ͨ͠લॲཧɾޙॲཧ •֤छπʔϧͷೖྗɾग़ྗςΩετͷϑΥʔϚοτม׵ͳͲ •εΫϨΠϐϯάʹΑΔݴޠϦιʔεͷऩू •ϓϩτλΠϐϯά •ࣗવݴޠॲཧπʔϧͷଟ͘͸C++ •PerlͱC++͸είʔϓͷѻ͍͕ࣅ͍ͯΔͷͰɺείʔϓΨʔυͳ ͲͷΠσΟΦϜ͕ͦͷ··Ҡ২Ͱ͖Δ
75. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠