日本語の形態素解析

2017/01/26のB3ゼミで発表

Transcript

1. ೔ຊޠͷܗଶૉղੳ
   #θϛ
   
   ࣗવݴޠॲཧݚڀࣨɹֶ෦೥ɹҴԬເਓ
   

   View Slide

2. ࢀߟʹͨ͠ॻ੶
   
   

   View Slide

3. ൃද಺༰
   ˗ ܗଶૉղੳͰߦ͏͜ͱ
   ˗ ୯ޠࣙॻɾ࿈઀Մೳੑߦྻ
   ˗ ܗଶૉղੳީิͷྻڍ
   ˗ ղੳީิ͔Βղͷܾఆ
   ˗ ະ஌ޠͷॲཧ
   
   

   View Slide

4. ܗଶૉղੳ
   ˗ จΛ୯ޠຖʹ۠੾Δ
   ˗ ඼ࢺΛೝࣝ͢Δ
   ˗ ׆༻Λೝࣝ͢Δ
   
   

   View Slide

5. ܗଶૉղੳ
   ˗ จΛ୯ޠຖʹ۠੾Δ
   ˗ ඼ࢺΛೝࣝ͢Δ
   ˗ ׆༻Λೝࣝ͢Δ
   
   ͓ۚͰങ͑ͳ͍Ձ஋͕͋Δɻ
   

   View Slide

6. ܗଶૉղੳ
   ˗ จΛ୯ޠຖʹ۠੾Δ
   ˗ ඼ࢺΛೝࣝ͢Δ
   ˗ ׆༻Λೝࣝ͢Δ
   
   ͓
   ۚ
   Ͱ
   ങ͑
   ͳ͍
   Ձ஋
   ͕
   ͋Δ
   ɻ
   

   View Slide

7. ܗଶૉղੳ
   ˗ จΛ୯ޠຖʹ۠੾Δ
   ˗ ඼ࢺΛೝࣝ͢Δ
   ˗ ׆༻Λೝࣝ͢Δ
   
   ͓ ઀಄ࣙ
   ۚ ໊ࢺ
   Ͱ ॿࢺ
   ങ͑ ಈࢺ
   ͳ͍ ॿಈࢺ
   Ձ஋ ໊ࢺ
   ͕ ॿࢺ
   ͋Δ ಈࢺ
   ɻ ۟఺
   

   View Slide

8. ܗଶૉղੳ
   ˗ จΛ୯ޠຖʹ۠੾Δ
   ˗ ඼ࢺΛೝࣝ͢Δ
   ˗ ׆༻Λೝࣝ͢Δ
   
   ͓ ઀಄ࣙ
   ۚ ໊ࢺ
   Ͱ ॿࢺ
   ങ͑ ಈࢺ ԼҰஈະવܗ
   ͳ͍ ॿಈࢺ ࿈ମܗ
   Ձ஋ ໊ࢺ
   ͕ ॿࢺ
   ͋Δ ಈࢺ ޒஈऴࢭܗ
   ɻ ۟఺
   

   View Slide

9. ୯ޠࣙॻ
   ୯ޠͷදهɺ඼ࢺɺ׆༻ͳͲΛ

   هड़ͨࣙ͠ॻ
   
   දه ඼ࢺ ׆༻
   ݩؾ ໊ࢺ ʔ
   ୫ ໊ࢺ ʔ
   ͳΔ ಈࢺ ޒஈ
   ʹ ॿࢺ ʔ
   ୲͏ ಈࢺ ޒஈ
   ࠜ ໊ࢺ ʔ
   ৸Δ ಈࢺ ԼҰஈ
   Β ઀ඌࣙ ʔ
   

   View Slide

10. ࿈઀Մೳੑߦྻ
    ͲͷΑ͏ͳ඼ࢺͷ୯ޠ͕จதͰ࿈ଓ͠ಘΔ͔Λද͢
    
    จ຤ ໊ࢺ ಈࢺ ॿࢺ ઀ඌࣙ
    จ಄
    ໊ࢺ
    ಈࢺ
    ॿࢺ
    ઀ඌࣙ
    

    View Slide

11. ࿈઀Մೳੑߦྻ
    ͲͷΑ͏ͳ඼ࢺͷ୯ޠ͕จதͰ࿈ଓ͠ಘΔ͔Λද͢
    
    จ຤ ໊ࢺ ಈࢺ ॿࢺ ઀ඌࣙ
    จ಄
    ໊ࢺ
    ಈࢺ
    ॿࢺ
    ઀ඌࣙ
    

    View Slide

12. ࿈઀Մೳੑߦྻ
    ͲͷΑ͏ͳ඼ࢺͷ୯ޠ͕จதͰ࿈ଓ͠ಘΔ͔Λද͢
    
    จ຤ ໊ࢺ ಈࢺ ॿࢺ ઀ඌࣙ
    จ಄
    ໊ࢺ
    ಈࢺ
    ॿࢺ
    ઀ඌࣙ
    

    View Slide

13. ܗଶૉղੳީิͷྻڍ
    
    จ಄
    ͶͨΒݩؾʹͳͬͨ
    

    View Slide

14. ܗଶૉղੳީิͷྻڍ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ͶͨΒݩؾʹͳͬͨ
    

    View Slide

15. ܗଶૉղੳީิͷྻڍ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ͶͨΒݩؾʹͳͬͨ
    

    View Slide

16. ܗଶૉղੳީิͷྻڍ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ͶͨΒݩؾʹͳͬͨ
    

    View Slide

17. ܗଶૉղੳީิͷྻڍ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ͶͨΒݩؾʹͳͬͨ
    º
    จ຤ ໊ࢺ ಈࢺ ॿࢺ ઀ඌࣙ
    จ಄
    ໊ࢺ
    ಈࢺ
    ॿࢺ
    ઀ඌࣙ
    

    View Slide

18. ܗଶૉղੳީิͷྻڍ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ͶͨΒݩؾʹͳͬͨ
    º
    

    View Slide

19. ܗଶૉղੳީิͷྻڍ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ͶͨΒݩؾʹͳͬͨ
    º
    

    View Slide

20. ܗଶૉղੳީิͷྻڍ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ
    
    ಈࢺ
    ʹͳͬͨ ୲͏
    
    ಈࢺ
    จ຤
    º
    ͶͨΒݩؾʹͳͬͨ
    ϥςΟεදݱ
    

    View Slide

21. ܗଶૉղੳީิͷྻڍ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ
    
    ಈࢺ
    ʹͳͬͨ ୲͏
    
    ಈࢺ
    จ຤
    º
    ͶͨΒݩؾʹͳͬͨ
    

    View Slide

22. ܗଶૉղੳީิͷྻڍ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ
    
    ಈࢺ
    ʹͳͬͨ ୲͏
    
    ಈࢺ
    จ຤
    º
    ͶͨΒݩؾʹͳͬͨ
    

    View Slide

23. ܗଶૉղੳީิͷྻڍ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ
    
    ಈࢺ
    ʹͳͬͨ ୲͏
    
    ಈࢺ
    จ຤
    º
    ͶͨΒݩؾʹͳͬͨ
    

    View Slide

24. ܗଶૉղੳީิͷྻڍ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ
    
    ಈࢺ
    ʹͳͬͨ ୲͏
    
    ಈࢺ
    จ຤
    º
    ͶͨΒݩؾʹͳͬͨ
    

    View Slide

25. ղੳީิ͔Βղͷܾఆ
    ˗ ୯ޠࣙॻɺ࿈઀Մೳߦྻ͚ͩͰ͸ղΛܾఆͰ͖ͳ͍
    ˗ ϥςΟεߏ଄΁ίετΛ෇༩
    ˗ ίετͷ࠷΋௿͍ީิΛղͱ͢Δʢίετ࠷খ๏ʣ
    
    

    View Slide

26. ϥςΟεߏ଄΁ͷίετͷ෇༩
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ
    
    ಈࢺ
    ʹͳͬͨ ୲͏
    
    ಈࢺ
    จ຤
    º
    
    
    
    
    
    
    
    
    
    

    View Slide

27. ϥςΟεߏ଄΁ͷίετͷ෇༩
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ
    
    ಈࢺ
    ʹͳͬͨ ୲͏
    
    ಈࢺ
    จ຤
    º
    
    
    
    
    
    
    
    
    
    

    View Slide

28. ϥςΟεߏ଄΁ͷίετͷ෇༩
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ
    
    ಈࢺ
    ʹͳͬͨ ୲͏
    
    ಈࢺ
    จ຤
    º
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    

    View Slide

29. ֤ީิͷίετͷࢉग़
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ
    
    ಈࢺ
    ʹͳͬͨ ୲͏
    
    ಈࢺ
    จ຤
    º
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    

    View Slide

30. 
    ֤ީิͷίετͷࢉग़
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ
    
    ಈࢺ
    ʹͳͬͨ ୲͏
    
    ಈࢺ
    จ຤
    º
    
    
    
    
    
    
    
    
    
    
    
    
    
    

    View Slide

31. ֤ީิͷίετͷࢉग़
    ˗ ࠜɹ୫ɹݩؾɹʹɹͳͬͨ
    ˗ ࠜɹ୫ɹݩؾɹ୲ͬͨ
    ˗ ৸ͨΒɹݩؾɹʹɹͳͬͨ
    ˗ ৸ͨΒɹݩؾɹ୲ͬͨ
    
    ˠ
    ˠ
    ˠ ࠷খ
    
    ˠ
    

    View Slide

32. ࠷খίετͷީิͷ୳ࡧ
    ˗ ޠኮͷ૿Ճɺೖྗจͷ௕จԽͰީิ͸രൃతʹ૿Ճ

    ˠશީิͷίετࢉग़͸࣮࣭ෆՄೳ
    ˗ ೖྗจΛ෼ׂ͠ɺͦΕͧΕͷ݁ՌΛ౷߹

    ˠೖྗจͷ௕จԽʹΑΔީิͷ૿ՃΛ཈͑ΒΕΔ
    
    

    View Slide

33. ϏλϏΞϧΰϦζϜ
    ˗ ಈతܭը๏ %ZOBNJD1SPHSBNNJOH%1
    ͷͻͱͭ
    ˗ .F$BCɺ$IBTFO౳Ͱ࠾༻͞Ε͍ͯΔ
    ˗ ӳจͷ඼ࢺղੳͳͲʹ΋࢖༻͞Ε͍ͯΔ
    
    

    View Slide

34. ϏλϏΞϧΰϦζϜ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ
    
    ಈࢺ
    ʹͳͬͨ ୲͏
    
    ಈࢺ
    จ຤
    º
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    

    View Slide

35. ϏλϏΞϧΰϦζϜ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ
    
    ಈࢺ
    ʹͳͬͨ ୲͏
    
    ಈࢺ
    จ຤
    º
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    

    View Slide

36. ϏλϏΞϧΰϦζϜ
    
    จ಄
    Ͷ ࠜ
    
    ໊ࢺ
    ͨΒ ୫
    
    ໊ࢺ
    ݩؾ
    ໊ࢺ
    Ͷͨ ৸Δ
    
    ಈࢺ
    Β
    ઀ඌࣙ
    ͶͨΒ ৸Δ
    
    ಈࢺ
    ʹ
    ॿࢺ
    ͳͬͨ ͳΔ
    
    ಈࢺ
    ʹͳͬͨ ୲͏
    
    ಈࢺ
    จ຤
    º
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    

    View Slide

37. ະ஌ޠͷॲཧ
    ˗ จதʹະ஌ޠ͕ग़ΔͱϥςΟεߏ଄͕࡞ΒΕͳ͍

    ˠղੳΛߦ͏͜ͱ͕Ͱ͖ͳ͍
    ˗ ׽ࣈɾΧλΧφͷ࿈ଓΛҰޠͱ͠ɺߴ͍ίετΛ෇༩

    ˠࣙॻͷޠͷΈͰղऍͰ͖ΔͳΒͦͪΒΛ࢖༻

    ˠແཧ͕͋ΔͳΒٖࣅతͳޠΛ࢖༻
    
    

    View Slide

38. ൃදͨ͠಺༰
    ˗ ܗଶૉղੳͰߦ͏͜ͱ
    ˗ ୯ޠࣙॻɾ࿈઀Մೳੑߦྻ
    ˗ ܗଶૉղੳީิͷྻڍ
    ˗ ղੳީิ͔Βղͷܾఆ
    ˗ ະ஌ޠͷॲཧ
    
    

    View Slide