Upgrade to Pro — share decks privately, control downloads, hide ads and more …

日本語の形態素解析

 日本語の形態素解析

2017/01/26のB3ゼミで発表

Yumeto Inaoka

January 26, 2017
Tweet

More Decks by Yumeto Inaoka

Other Decks in Technology

Transcript

  1. ೔ຊޠͷܗଶૉղੳ
    #θϛ

    ࣗવݴޠॲཧݚڀࣨɹֶ෦೥ɹҴԬເਓ

    View Slide

  2. ࢀߟʹͨ͠ॻ੶

    View Slide

  3. ൃද಺༰
    ˗ ܗଶૉղੳͰߦ͏͜ͱ
    ˗ ୯ޠࣙॻɾ࿈઀Մೳੑߦྻ
    ˗ ܗଶૉղੳީิͷྻڍ
    ˗ ղੳީิ͔Βղͷܾఆ
    ˗ ະ஌ޠͷॲཧ

    View Slide

  4. ܗଶૉղੳ
    ˗ จΛ୯ޠຖʹ۠੾Δ
    ˗ ඼ࢺΛೝࣝ͢Δ
    ˗ ׆༻Λೝࣝ͢Δ

    View Slide

  5. ܗଶૉղੳ
    ˗ จΛ୯ޠຖʹ۠੾Δ
    ˗ ඼ࢺΛೝࣝ͢Δ
    ˗ ׆༻Λೝࣝ͢Δ

    ͓ۚͰങ͑ͳ͍Ձ஋͕͋Δɻ

    View Slide

  6. ܗଶૉղੳ
    ˗ จΛ୯ޠຖʹ۠੾Δ
    ˗ ඼ࢺΛೝࣝ͢Δ
    ˗ ׆༻Λೝࣝ͢Δ

    ͓
    ۚ
    Ͱ
    ങ͑
    ͳ͍
    Ձ஋
    ͕
    ͋Δ
    ɻ

    View Slide

  7. ܗଶૉղੳ
    ˗ จΛ୯ޠຖʹ۠੾Δ
    ˗ ඼ࢺΛೝࣝ͢Δ
    ˗ ׆༻Λೝࣝ͢Δ

    ͓ ઀಄ࣙ
    ۚ ໊ࢺ
    Ͱ ॿࢺ
    ങ͑ ಈࢺ
    ͳ͍ ॿಈࢺ
    Ձ஋ ໊ࢺ
    ͕ ॿࢺ
    ͋Δ ಈࢺ
    ɻ ۟఺

    View Slide

  8. ܗଶૉղੳ
    ˗ จΛ୯ޠຖʹ۠੾Δ
    ˗ ඼ࢺΛೝࣝ͢Δ
    ˗ ׆༻Λೝࣝ͢Δ

    ͓ ઀಄ࣙ
    ۚ ໊ࢺ
    Ͱ ॿࢺ
    ങ͑ ಈࢺ ԼҰஈະવܗ
    ͳ͍ ॿಈࢺ ࿈ମܗ
    Ձ஋ ໊ࢺ
    ͕ ॿࢺ
    ͋Δ ಈࢺ ޒஈऴࢭܗ
    ɻ ۟఺

    View Slide

  9. ୯ޠࣙॻ
    ୯ޠͷදهɺ඼ࢺɺ׆༻ͳͲΛ

    هड़ͨࣙ͠ॻ

    දه ඼ࢺ ׆༻
    ݩؾ ໊ࢺ ʔ
    ୫ ໊ࢺ ʔ
    ͳΔ ಈࢺ ޒஈ
    ʹ ॿࢺ ʔ
    ୲͏ ಈࢺ ޒஈ
    ࠜ ໊ࢺ ʔ
    ৸Δ ಈࢺ ԼҰஈ
    Β ઀ඌࣙ ʔ

    View Slide

  10. ࿈઀Մೳੑߦྻ
    ͲͷΑ͏ͳ඼ࢺͷ୯ޠ͕จதͰ࿈ଓ͠ಘΔ͔Λද͢

    จ຤ ໊ࢺ ಈࢺ ॿࢺ ઀ඌࣙ
    จ಄
    ໊ࢺ
    ಈࢺ
    ॿࢺ
    ઀ඌࣙ

    View Slide

  11. ࿈઀Մೳੑߦྻ
    ͲͷΑ͏ͳ඼ࢺͷ୯ޠ͕จதͰ࿈ଓ͠ಘΔ͔Λද͢

    จ຤ ໊ࢺ ಈࢺ ॿࢺ ઀ඌࣙ
    จ಄
    ໊ࢺ
    ಈࢺ
    ॿࢺ
    ઀ඌࣙ

    View Slide

  12. ࿈઀Մೳੑߦྻ
    ͲͷΑ͏ͳ඼ࢺͷ୯ޠ͕จதͰ࿈ଓ͠ಘΔ͔Λද͢

    จ຤ ໊ࢺ ಈࢺ ॿࢺ ઀ඌࣙ
    จ಄
    ໊ࢺ
    ಈࢺ
    ॿࢺ
    ઀ඌࣙ

    View Slide

  13. ܗଶૉղੳީิͷྻڍ

    จ಄
    ͶͨΒݩؾʹͳͬͨ

    View Slide

  14. ܗଶૉղੳީิͷྻڍ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    ͶͨΒ ৸Δ

    ಈࢺ
    ͶͨΒݩؾʹͳͬͨ

    View Slide

  15. ܗଶૉղੳީิͷྻڍ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    ͶͨΒ ৸Δ

    ಈࢺ
    ͶͨΒݩؾʹͳͬͨ

    View Slide

  16. ܗଶૉղੳީิͷྻڍ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ͶͨΒݩؾʹͳͬͨ

    View Slide

  17. ܗଶૉղੳީิͷྻڍ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ͶͨΒݩؾʹͳͬͨ
    º
    จ຤ ໊ࢺ ಈࢺ ॿࢺ ઀ඌࣙ
    จ಄
    ໊ࢺ
    ಈࢺ
    ॿࢺ
    ઀ඌࣙ

    View Slide

  18. ܗଶૉղੳީิͷྻڍ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ͶͨΒݩؾʹͳͬͨ
    º

    View Slide

  19. ܗଶૉղੳީิͷྻڍ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ͶͨΒݩؾʹͳͬͨ
    º

    View Slide

  20. ܗଶૉղੳީิͷྻڍ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ

    ಈࢺ
    ʹͳͬͨ ୲͏

    ಈࢺ
    จ຤
    º
    ͶͨΒݩؾʹͳͬͨ
    ϥςΟεදݱ

    View Slide

  21. ܗଶૉղੳީิͷྻڍ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ

    ಈࢺ
    ʹͳͬͨ ୲͏

    ಈࢺ
    จ຤
    º
    ͶͨΒݩؾʹͳͬͨ

    View Slide

  22. ܗଶૉղੳީิͷྻڍ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ

    ಈࢺ
    ʹͳͬͨ ୲͏

    ಈࢺ
    จ຤
    º
    ͶͨΒݩؾʹͳͬͨ

    View Slide

  23. ܗଶૉղੳީิͷྻڍ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ

    ಈࢺ
    ʹͳͬͨ ୲͏

    ಈࢺ
    จ຤
    º
    ͶͨΒݩؾʹͳͬͨ

    View Slide

  24. ܗଶૉղੳީิͷྻڍ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ

    ಈࢺ
    ʹͳͬͨ ୲͏

    ಈࢺ
    จ຤
    º
    ͶͨΒݩؾʹͳͬͨ

    View Slide

  25. ղੳީิ͔Βղͷܾఆ
    ˗ ୯ޠࣙॻɺ࿈઀Մೳߦྻ͚ͩͰ͸ղΛܾఆͰ͖ͳ͍
    ˗ ϥςΟεߏ଄΁ίετΛ෇༩
    ˗ ίετͷ࠷΋௿͍ީิΛղͱ͢Δʢίετ࠷খ๏ʣ

    View Slide

  26. ϥςΟεߏ଄΁ͷίετͷ෇༩

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ

    ಈࢺ
    ʹͳͬͨ ୲͏

    ಈࢺ
    จ຤
    º









    View Slide

  27. ϥςΟεߏ଄΁ͷίετͷ෇༩

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ

    ಈࢺ
    ʹͳͬͨ ୲͏

    ಈࢺ
    จ຤
    º









    View Slide

  28. ϥςΟεߏ଄΁ͷίετͷ෇༩

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ

    ಈࢺ
    ʹͳͬͨ ୲͏

    ಈࢺ
    จ຤
    º















    View Slide

  29. ֤ީิͷίετͷࢉग़

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ

    ಈࢺ
    ʹͳͬͨ ୲͏

    ಈࢺ
    จ຤
    º















    View Slide


  30. ֤ީิͷίετͷࢉग़

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ

    ಈࢺ
    ʹͳͬͨ ୲͏

    ಈࢺ
    จ຤
    º













    View Slide

  31. ֤ީิͷίετͷࢉग़
    ˗ ࠜɹ୫ɹݩؾɹʹɹͳͬͨ
    ˗ ࠜɹ୫ɹݩؾɹ୲ͬͨ
    ˗ ৸ͨΒɹݩؾɹʹɹͳͬͨ
    ˗ ৸ͨΒɹݩؾɹ୲ͬͨ

    ˠ
    ˠ
    ˠ ࠷খ

    ˠ

    View Slide

  32. ࠷খίετͷީิͷ୳ࡧ
    ˗ ޠኮͷ૿Ճɺೖྗจͷ௕จԽͰީิ͸രൃతʹ૿Ճ

    ˠશީิͷίετࢉग़͸࣮࣭ෆՄೳ
    ˗ ೖྗจΛ෼ׂ͠ɺͦΕͧΕͷ݁ՌΛ౷߹

    ˠೖྗจͷ௕จԽʹΑΔީิͷ૿ՃΛ཈͑ΒΕΔ

    View Slide

  33. ϏλϏΞϧΰϦζϜ
    ˗ ಈతܭը๏ %ZOBNJD1SPHSBNNJOH%1
    ͷͻͱͭ
    ˗ .F$BCɺ$IBTFO౳Ͱ࠾༻͞Ε͍ͯΔ
    ˗ ӳจͷ඼ࢺղੳͳͲʹ΋࢖༻͞Ε͍ͯΔ

    View Slide

  34. ϏλϏΞϧΰϦζϜ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ

    ಈࢺ
    ʹͳͬͨ ୲͏

    ಈࢺ
    จ຤
    º


















    View Slide

  35. ϏλϏΞϧΰϦζϜ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ

    ಈࢺ
    ʹͳͬͨ ୲͏

    ಈࢺ
    จ຤
    º



















    View Slide

  36. ϏλϏΞϧΰϦζϜ

    จ಄
    Ͷ ࠜ

    ໊ࢺ
    ͨΒ ୫

    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ

    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ

    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ

    ಈࢺ
    ʹͳͬͨ ୲͏

    ಈࢺ
    จ຤
    º
























    View Slide

  37. ະ஌ޠͷॲཧ
    ˗ จதʹະ஌ޠ͕ग़ΔͱϥςΟεߏ଄͕࡞ΒΕͳ͍

    ˠղੳΛߦ͏͜ͱ͕Ͱ͖ͳ͍
    ˗ ׽ࣈɾΧλΧφͷ࿈ଓΛҰޠͱ͠ɺߴ͍ίετΛ෇༩

    ˠࣙॻͷޠͷΈͰղऍͰ͖ΔͳΒͦͪΒΛ࢖༻

    ˠແཧ͕͋ΔͳΒٖࣅతͳޠΛ࢖༻

    View Slide

  38. ൃදͨ͠಺༰
    ˗ ܗଶૉղੳͰߦ͏͜ͱ
    ˗ ୯ޠࣙॻɾ࿈઀Մೳੑߦྻ
    ˗ ܗଶૉղੳީิͷྻڍ
    ˗ ղੳީิ͔Βղͷܾఆ
    ˗ ະ஌ޠͷॲཧ

    View Slide