自然言語処理の基本 / Basic of Natural Language Processing

Transcript

1. ࣗવݴޠॲཧͷجຊ 1ZUIPOػցֶशษڧձ JO
   ৽ׁ 4,"`T
   8FC 1

2. ࢿྉͷϦϯΫషΔϖʔδ 2 ʢ͜͜ʹϦϯΫΛషΓ·͢ʣ

3. ໨࣍ r ࣗવݴޠॲཧͷجຊ 3 ɾࣗવݴޠॲཧͱ͸ ɾࣗવݴޠॲཧͷओͳλεΫ ɾλεΫΛղͨ͘Ίͷख๏ ɾࣗવݴޠॲཧͰ࢖ΘΕ͍ͯΔਂ૚ֶश ɾਂ૚ֶशͷར఺

4. 5XJUUFS࿈ܞ 4 #pyml_niigata ͰͭͿ΍͘ͱʜʜ ɾ࣭໰ ɾײ૝ FY
   ͲΜͲΜͭͿ΍͍ͯΈͯͶ ը૾ɿ5XJUUFSɼLPOHBSJOJLV

   ༷ɼ͸Δ͔ ༷

5. ࣗݾ঺հ 5 ͦͷଞৄࡉɿIUUQTTDSBQCPYJPWSBDBEFNJBXJLJ4,"

6. ࠂ஌ʢ73ΞΧσϛΞɾՆΩϟεϚʔέοτʣ 6 ը૾ɿ73ΞΧσϛΞɼՆΩϟεϚʔέοτ

7. ࠂ஌ 7 ௕ԬՖՐόʔνϟϧؑ৆ձ ։࠵༧ఆ ݄೔ʢ݄ʣɿόʔνϟϧΩϟετ੮ ಉ઀ਓ ˇ ݄೔ʢՐʣɿ73$IBU੮ ಉ઀nਓ ˇ

8. ࣗવݴޠॲཧͱ͸ 8 ࣗવݴޠॲཧɿࣗવݴޠΛίϯϐϡʔλʔʹॲཧͤ͞Δ͜ͱશൠ ࣗવݴޠɿࣗવͱൃల͖ͯͨ͠ݴޠ ʢྫʣ೔ຊޠɼӳޠɼதࠃޠ نଇ͕ ෳࡶͰ؆୯ʹύʔεͰ͖ͳ͍ ݴޠΛίϯϐϡʔλʔͰѻ͏ ը૾ɿ͍Β͢ͱ΍

9. ࣗવݴޠॲཧͷجຊతͳλεΫ 9 ɾܗଶૉղੳɿ୯ޠʹ෼ׂͯ͠඼ࢺΛਪఆ ໋୊ʢ໊ࢺʣʗ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣʗ͸ʢॿࢺʣʗ ِʢ໊ࢺʣʗͰʢॿಈࢺʣʗ͋Δʢಈࢺʣ ɾߏจղੳɿ֤୯ޠ PS
   จઅͷ܎Γड͚ؔ܎Λਪఆ ɾݻ༗දݱநग़ɿ͍ͭɾͲ͜Ͱɾ୭͕ ౳Λநग़ ɾ͔ͳ׽ࣈม׵

   ը૾ɿ(J/;"

10. ࣗવݴޠॲཧͷԠ༻తͳλεΫ 10 ɾจॻ෼ྨɿʢྫʣ5XJUUFSͷτϨϯυɺ໎࿭ϝʔϧϑΟϧλʔɺ໰͍߹ΘͤΛ֤෦ॺʹׂৼΔ ɾจষੜ੒ɿʢྫʣΓΜͳͪΌΜɺ(15 ɾ຋༁ɿʢྫʣ%FFQ- ɾײ৘෼ੳɿʢྫʣϦΞϧλΠϜݕࡧɺલϖʔδͷը૾ ɾߍਖ਼ɿʢྫʣ8PSE ɾཁ໿ ɾจॻݕࡧ ը૾ɿ5XJUUFSɺ:BIPP
    +"1"/

11. ·ͣ͸୯ޠʹ෼ׂ͠ͳ͍ͱ࢝·Βͳ͍ 11 ɾܗଶૉղੳɿ୳ࡧ໰୊ ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣ ɾʮ֎ࠃਓࢀ੓ݖʯ͸ʮ֎ࠃʗਓࢀʗ੓ݖʯPS
    ʮ֎ࠃʗਓʗࢀ੓ʗݖʯʁ ɾࣙॻʹ͋ΔશύλʔϯΛॻ͖ग़͢ ɾ໬΋Β͠͞͸৚݅෇͖֬཰৔΍࠶ؼχϡʔϥϧωοτϫʔΫͰֶश ը૾ɿ+6."/

12. ୯ޠΛͲ͏දݱ͢Δʁ 12 ɾ୯ޠʹ෼ׂͰ͖ͯ΋จࣈίʔυͷ··Ͱ͸ҙຯͷ͋Δԋࢉ͕Ͱ͖ͳ͍ ɾࣗવݴޠ͸ϧʔϧ͕ෳࡶ ˠ ౷ܭతͳख๏Λ࢖͏ ɾҰൠతͳ೔ຊਓ΋ӳޠʹͨ͘͞Μ৮Εͳ͍ͱӳޠ͸্ୡ͠ͳ͍ ɾ౷ܭͳͷͰ୯ޠΛϕΫτϧԽͰ͖ͨΒউར ʢຒΊࠐΈʣ

13. ౷ܭͱϕΫτϧͬͯؔ܎͋Δͷʁ 13 ɾσʔλɼσʔλɼʜʜΛͻͱ·ͱΊʹͯ͠ ͻͱͭͷϕΫτϧͱΈͳͤΔ ɾྫ͑͹ɺ߹ܭֹۚͷܭࢉ ঎඼໊ ୯Ձʢԁʣ ݸ਺ʢݸʣ ക͓ʹ͗Γ 

     ࡪ͓ʹ͗Γ   πφ͓ʹ͗Γ   ߹ܭ º
    ʴ º
    ʴ º 
    
     ݸ਺ ୯Ձ 
    
     ߹ܭʹ୯Ձɾݸ਺

14. ୯ޠΛͲ͏දݱ͢Δʁ 14 ɾ#BH
    PG
    8PSET ɾ͋Δ୯ޠ͕ग़͖ͯͨΒͦͷ୯ޠͷཁૉΛɺͳ͔ͬͨΒͱͯ͠ϕΫτϧԽ ˞
    ग़ݱճ਺ͱ͢Δ৔߹΋͋Δ ɾͪΐX
    ࣍ݩ਺XXXX ɾྫจ"ʮࢲ͸.POUZ
    1ZUIPOΛݟͳ͕Β1ZUIPOΛॻ͍ͨʯ ɾྫจ#ʮ·ͭ΋ͱ͞Μ͸3VCZΛॻ͍͍ͯΔʯ ࢲ .POUZ

    1ZUIPO ॻ͘ ·ͭ΋ͱ 3VCZ ྫจ"       ྫจ#      

15. ୯ޠΛͲ͏දݱ͢Δʁ 15 ɾ8PSE7FD ɾҰൠతͳจॻ͸͍ۙҐஔʹग़ͯ͘Δ୯ޠ͸ҙຯ΋͍ۙ ɾগͳ͍࣍ݩͰҙຯΛؚΊͨԋࢉΛߦ͍͍ͨ ɾͦͷ୯ޠͷલޙʹͲͷΑ͏ͳ୯ޠ͕དྷΔ֬཰͕ߴ͍͔ͰϕΫτϧԽʢ෼ࢄදݱʣ ɾӅΕ૚ͷχϡʔϥϧωοτͰपลޠͷ༧ଌλεΫͱֶͯ͠श ࢲ .POUZ ॻ͘

    ·ͭ΋ͱ 3VCZ 1ZUIPO     

16. ਂ૚ֶशͰ͖Μ͡ΌΜ 16 ɾ୯ޠΛϕΫτϧԽͰ͖ͨʂ ɾจষͬͯ࣌ؒ͝ͱʹมΘΔϕΫτϧ͡ΌΜʂʂ ࢲ ͸ .POUZ
    1ZUIPO
    Λ ݟ ͳ͕Β 1ZUIPO
    Λ

    ॻ͍ ͨ

17. ਂ૚ֶशͰ͖Μ͡ΌΜ 17 "ͷ֬཰aɼ#ͷ֬཰b

18. ਂ૚ֶशʹΑΔࣗવݴޠॲཧ 18 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ

19. ਂ૚ֶशʹΑΔࣗવݴޠॲཧ 19 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ

20. ·ͱΊ 20 ɾࣗવݴޠॲཧ͸ίϯϐϡʔλʔʹࣗવݴޠΛॲཧͤ͞Δ͜ͱ ɾ·ͣ͸จࣈྻΛ୯ޠʹ෼ׂ͢Δඞཁ͕͋Δ ɾ୯ޠ͸ϕΫτϧԽ͢Δͱ͍͍͜ͱ͋ΔͶ ɾਂ૚ֶशΛ࢖͏ϝϦοτͱ͔࣮૷·ΘΓʹ͍ͭͯ͸࣍ճҎ߱Ͱ