1binary 自己完結型の形態素解析器 kagome を作ってみた話

by ikawaha

Slide 1

Slide 1 text

CJOBSZࣗݾ׬݁ܕͷ ܗଶૉղੳثLBHPNFΛ ࡞ͬͯΈͨ࿩ !JLBXBIB

Slide 2

Slide 2 text

w QVSFHPͳܗଶૉղੳث w LVSPNPKJͷݕࡧϞʔυ૬౰ͷղੳʹରԠ w ࣙॻಉࠝ w εϨουηʔϑ w CJOBSZ ໋໊͸ϥςΟε͕  ᝷ͷ໨ͷΑ͏ʹ  ݟ͑Δͱ͔͜Β LBHPNF<᝷໨>

Slide 3

Slide 3 text

ࠓ೔ͷ͓࿩ w ܗଶૉղੳʹ͍ͭͯ w ࣙॻσʔλΛόΠφϦʹຒΊࠐΉํ๏ʹ͍ͭͯ

Slide 4

Slide 4 text

ܗଶૉղੳͱ͸

Slide 5

Slide 5 text

)FMMP 8PSMEͱͯ͠ͷ  ܗଶૉղੳث w ܗଶૉղੳͷղੳ෦෼͸ൺֱత؆୯ʹͭ͘ΕΔ w TUFQจதʹදΕΔࣙॻͷݟग़͠ޠΛ͢΂ͯྻڍ w TUFQ࠷΋Β͍͠ܗଶૉͷฒͼΛݟ͚ͭΔ w ࣙॻΛ࡞Δͷ͸େม w .F$BCͷࣙॻΛར༻͢Δ

Slide 6

Slide 6 text

w ܗଶૉͷϦετͱ࿈઀ίετද͔ΒͳΔ ࣙॻ ද૚ܗ จ຺*% ίετ จ຺*%ɿ࿈઀ίετΛҾͨ͘ΊͷΩʔ

Slide 7

Slide 7 text

จதʹදΕΔࣙॻͷݟग़ ͠ޠΛ͢΂ͯྻڍ ͢ ΋ ΋ ΋ ΋ ΋ ΋ ΋ ΋ ͷ ͏ ͪ ͢ ͢ ΋ ΋ ΋ ΋ ΋ จ಄͔ΒจࣈͣͭͣΒ͠ͳ͕Βɼ ࣙॻͷݟग़͠ʹೖ͍ͬͯΔޠΛྻڍ͍ͯ͘͠

Slide 8

Slide 8 text

จதʹදΕΔࣙॻͷݟग़ ͠ޠΛ͢΂ͯྻڍ ઌ΄ͲͷදΛάϥϑʹ௚͢ͱ͜Μͳײ͡ ஫άϥϑͷ಄ͱ৲ඌʹμϛʔͷϊʔυ͕௥Ճͯ͋͠Γ·͢

Slide 9

Slide 9 text

จதʹදΕΔࣙॻͷݟग़ ͠ޠΛ͢΂ͯྻڍ ઌ΄ͲͷදΛάϥϑʹ௚͢ͱ͜Μͳײ͡ ஫άϥϑͷ಄ͱ৲ඌʹμϛʔͷϊʔυ͕௥Ճͯ͋͠Γ·͢ ಉ͡ݟग़͠ޠͰ΋඼ࢺ͕ҧ͏΋ͷ͕͋Ε͹ ௥Ճ͠·͢

Slide 10

Slide 10 text

จதʹදΕΔࣙॻͷݟग़ ͠ޠΛ͢΂ͯྻڍ ࣙॻʹ࿈઀ίετද͕͋ΔͷͰ  ลͱϊʔυʹॏΈΛ͚ͭ·͢

Slide 11

Slide 11 text

࠷খίετͷύεΛݟ͚ͭΔ 7JUFSCJ"MHPSJUIN ֤ϊʔυ͝ͱͷ࠷খίετύεΛϝϞ͍ͯ͘͠ ຤ඌ͔Β࠷খίετύεΛͨͲ͍ͬͯ͘

Slide 12

Slide 12 text

΍Γ͍ͨ͜ͱ w HPHFU͙ͯ͢͠ʹ࢖͑Δܗଶૉղੳث w ࣙॻΛผʹ͢ΔͱHPHFUͰ͙͢ʹ࢖͑ͳ͍͠ɼ  ໘౗ͩࠞ͠ཚ͢Δ

Slide 13

Slide 13 text

Ͳ͏΍ͬͯࣙॻΛ όΠφϦʹؚΊΔ͔ w ,VSPNPKJ KBWB࣮૷ͷܗଶૉղੳث w ࣙॻ͸KBSͷதʹؚΊͯ͋Δ w HPͰ΍Δʹ͸Ͳ͏ͨ͠Β͍͍͔ʁ w ࣙॻ͸Ͳ͏ͤಡΈࠐ·ΕͯσʔλʹͳΔΜ͔ͩΒɼ ͦͷσʔλΛ͋Β͔͡Ίίʔυʹ͓͚ͯ͠͹͍͍ͷ Ͱ͸ͳ͍͔ʁ

Slide 14

Slide 14 text

UFYUUFNQMBUFΛ࢖ͬͯࣙॻϑΝΠ ϧΛHPͷιʔεϑΝΠϧʹม׵͢Δ w ͨͱ͑͹࿈઀ίετදɿºສ

Slide 15

Slide 15 text

͏ͧ͘͝ʂ w Ϗϧυʹʙ෼ w Ϗϧυ͢ΔͷʹϝϞϦ͕݁ߏඞཁ w όΠφϦαΠζ.#ͪΐͬͱ w ಈ࡞͸໰୊ͳ͍͕ɼ͍Ζ͍Ζແཧ͕͋Δ

Slide 16

Slide 16 text

HPCJOEBUBΛ࢖͏ w ೚ҙͷϑΝΠϧΛɼͦͷσʔλΛόΠφϦσʔλͱ ͯ͠ຒΊࠐΜͩHPͷιʔείʔυΛੜ੒ͯ͘͠ΕΔ w ͜ΕΛར༻ͯ͠ɼࣙॻϑΝΠϧΛม׵ͯ͠૊ΈࠐΉ

Slide 17

Slide 17 text

HPCJOEBUB ΞηοτΛ഑ஔ͢Δ  σΟϨΫτϦΛܾΊΔ CJOEBUBHP

Slide 18

Slide 18 text

HPCJOEBUB ϑΝΠϧ಺༰ TUSJOH͸ VUGͱͯ͠ਖ਼͘͠ͳ͍ ͲΜͳόΠτྻͰ΋  อ࣋Ͱ͖Δ

Slide 19

Slide 19 text

HPCJOEBUB w Ϗϧυ͕஗͘ͳΒͳ͍Α͏ʹ  σʔλ෦෼͸TUSJOHʹม׵͞Ε͍ͯΔ w ͨͩ͠ɼ<>CZUF zIFMMPz ͸࣮ߦ࣌ʹςΩετ͔Βό ΠτͷεϥΠεʹ಺༰Λίϐʔ͠ͳ͚Ε͹ͳΒͳ͍ w ͜ΕΛճආ͢ΔͨΊʹOPNFNDPQZͱ͍͏ςΫ χοΫ͕ΦϓγϣϯͰ༻ҙ͞Ε͍ͯΔ

Slide 20

Slide 20 text

OPNFNDPQZ TUSJOH <>CZUF -FO %BUB %BUB -FO $BQ TUSJOHͷσʔλຊମΛόΠτεϥΠεͷσʔλʹྲྀ༻ͯ͠  ίϐʔΛ๷͙ ཁSFqFDUVOTBGF

Slide 21

Slide 21 text

OPNFNDPQZ

Slide 22

Slide 22 text

͓·͚

Slide 23

Slide 23 text

QVMMSFRࡁΈ

Slide 24

Slide 24 text

·ͱΊ w ܗଶૉղੳثͷղੳ෦෼͸ׂͱ؆୯ʹͭ͘ΕΔ w HPCJOEBUBΛ࢖ͬͯɼ͍Ζ͍ΖͳσʔλΛຒΊࠐ ΜͰCJOBSZͰಈ͘πʔϧΛ࡞Ζ͏