自然言語処理の基本 / Basic of Natural Language Processing

2021-07-10のPython機械学習勉強会 in 新潟 での発表資料です。
自然言語処理の基本というか、概要というかです。

Transcript

1. ࣗવݴޠॲཧͷجຊ
   1ZUIPOػցֶशษڧձ JO৽ׁ
   4,"`T8FC
   1
   

   View Slide

2. ࢿྉͷϦϯΫషΔϖʔδ
   2
   ʢ͜͜ʹϦϯΫΛషΓ·͢ʣ
   

   View Slide

3. ໨࣍ r ࣗવݴޠॲཧͷجຊ
   3
   ɾࣗવݴޠॲཧͱ͸
   ɾࣗવݴޠॲཧͷओͳλεΫ
   ɾλεΫΛղͨ͘Ίͷख๏
   ɾࣗવݴޠॲཧͰ࢖ΘΕ͍ͯΔਂ૚ֶश
   ɾਂ૚ֶशͷར఺
   

   View Slide

4. 5XJUUFS࿈ܞ
   4
   #pyml_niigata
   ͰͭͿ΍͘ͱʜʜ
   ɾ࣭໰
   ɾײ૝ FY
   
   ͲΜͲΜͭͿ΍͍ͯΈͯͶ
   ը૾ɿ5XJUUFSɼLPOHBSJOJLV ༷ɼ͸Δ͔ ༷
   

   View Slide

5. ࣗݾ঺հ
   5
   ͦͷଞৄࡉɿIUUQTTDSBQCPYJPWSBDBEFNJBXJLJ4,"
   

   View Slide

6. ࠂ஌ʢ73ΞΧσϛΞɾՆΩϟεϚʔέοτʣ
   6
   ը૾ɿ73ΞΧσϛΞɼՆΩϟεϚʔέοτ
   

   View Slide

7. ࠂ஌
   7
   ௕ԬՖՐόʔνϟϧؑ৆ձ ։࠵༧ఆ
   ݄೔ʢ݄ʣɿόʔνϟϧΩϟετ੮ ಉ઀ਓ ˇ
   ݄೔ʢՐʣɿ73$IBU੮ ಉ઀nਓ ˇ
   

   View Slide

8. ࣗવݴޠॲཧͱ͸
   8
   ࣗવݴޠॲཧɿࣗવݴޠΛίϯϐϡʔλʔʹॲཧͤ͞Δ͜ͱશൠ
   ࣗવݴޠɿࣗવͱൃల͖ͯͨ͠ݴޠ
   ʢྫʣ೔ຊޠɼӳޠɼதࠃޠ
   نଇ͕
   ෳࡶͰ؆୯ʹύʔεͰ͖ͳ͍
   ݴޠΛίϯϐϡʔλʔͰѻ͏
   ը૾ɿ͍Β͢ͱ΍
   

   View Slide

9. ࣗવݴޠॲཧͷجຊతͳλεΫ
   9
   ɾܗଶૉղੳɿ୯ޠʹ෼ׂͯ͠඼ࢺΛਪఆ
   ໋୊ʢ໊ࢺʣʗ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣʗ͸ʢॿࢺʣʗ
   ِʢ໊ࢺʣʗͰʢॿಈࢺʣʗ͋Δʢಈࢺʣ
   ɾߏจղੳɿ֤୯ޠ PSจઅͷ܎Γड͚ؔ܎Λਪఆ
   ɾݻ༗දݱநग़ɿ͍ͭɾͲ͜Ͱɾ୭͕ ౳Λநग़
   ɾ͔ͳ׽ࣈม׵
   ը૾ɿ(J/;"
   

   View Slide

10. ࣗવݴޠॲཧͷԠ༻తͳλεΫ
    10
    ɾจॻ෼ྨɿʢྫʣ5XJUUFSͷτϨϯυɺ໎࿭ϝʔϧϑΟϧλʔɺ໰͍߹ΘͤΛ֤෦ॺʹׂৼΔ
    ɾจষੜ੒ɿʢྫʣΓΜͳͪΌΜɺ(15
    ɾ຋༁ɿʢྫʣ%FFQ-
    ɾײ৘෼ੳɿʢྫʣϦΞϧλΠϜݕࡧɺલϖʔδͷը૾
    ɾߍਖ਼ɿʢྫʣ8PSE
    ɾཁ໿
    ɾจॻݕࡧ
    ը૾ɿ5XJUUFSɺ:BIPP+"1"/
    

    View Slide

11. ·ͣ͸୯ޠʹ෼ׂ͠ͳ͍ͱ࢝·Βͳ͍
    11
    ɾܗଶૉղੳɿ୳ࡧ໰୊ ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣ
    ɾʮ֎ࠃਓࢀ੓ݖʯ͸ʮ֎ࠃʗਓࢀʗ੓ݖʯPSʮ֎ࠃʗਓʗࢀ੓ʗݖʯʁ
    ɾࣙॻʹ͋ΔશύλʔϯΛॻ͖ग़͢
    ɾ໬΋Β͠͞͸৚݅෇͖֬཰৔΍࠶ؼχϡʔϥϧωοτϫʔΫͰֶश
    ը૾ɿ+6."/
    

    View Slide

12. ୯ޠΛͲ͏දݱ͢Δʁ
    12
    ɾ୯ޠʹ෼ׂͰ͖ͯ΋จࣈίʔυͷ··Ͱ͸ҙຯͷ͋Δԋࢉ͕Ͱ͖ͳ͍
    ɾࣗવݴޠ͸ϧʔϧ͕ෳࡶ ˠ ౷ܭతͳख๏Λ࢖͏
    ɾҰൠతͳ೔ຊਓ΋ӳޠʹͨ͘͞Μ৮Εͳ͍ͱӳޠ͸্ୡ͠ͳ͍
    ɾ౷ܭͳͷͰ୯ޠΛϕΫτϧԽͰ͖ͨΒউར
    ʢຒΊࠐΈʣ
    

    View Slide

13. ౷ܭͱϕΫτϧͬͯؔ܎͋Δͷʁ
    13
    ɾσʔλɼσʔλɼʜʜΛͻͱ·ͱΊʹͯ͠ ͻͱͭͷϕΫτϧͱΈͳͤΔ
    ɾྫ͑͹ɺ߹ܭֹۚͷܭࢉ
    ঎඼໊ ୯Ձʢԁʣ ݸ਺ʢݸʣ
    ക͓ʹ͗Γ
    ࡪ͓ʹ͗Γ
    πφ͓ʹ͗Γ
    ߹ܭ ºʴ ºʴ º
    
    
    ݸ਺
    ୯Ձ
    
    
    ߹ܭʹ୯Ձɾݸ਺
    

    View Slide

14. ୯ޠΛͲ͏දݱ͢Δʁ
    14
    ɾ#BHPG8PSET
    ɾ͋Δ୯ޠ͕ग़͖ͯͨΒͦͷ୯ޠͷཁૉΛɺͳ͔ͬͨΒͱͯ͠ϕΫτϧԽ
    ˞ग़ݱճ਺ͱ͢Δ৔߹΋͋Δ
    ɾͪΐX࣍ݩ਺XXXX
    ɾྫจ"ʮࢲ͸.POUZ1ZUIPOΛݟͳ͕Β1ZUIPOΛॻ͍ͨʯ
    ɾྫจ#ʮ·ͭ΋ͱ͞Μ͸3VCZΛॻ͍͍ͯΔʯ
    ࢲ .POUZ 1ZUIPO ॻ͘ ·ͭ΋ͱ 3VCZ
    ྫจ"
    ྫจ#
    

    View Slide

15. ୯ޠΛͲ͏දݱ͢Δʁ
    15
    ɾ8PSE7FD
    ɾҰൠతͳจॻ͸͍ۙҐஔʹग़ͯ͘Δ୯ޠ͸ҙຯ΋͍ۙ
    ɾগͳ͍࣍ݩͰҙຯΛؚΊͨԋࢉΛߦ͍͍ͨ
    ɾͦͷ୯ޠͷલޙʹͲͷΑ͏ͳ୯ޠ͕དྷΔ֬཰͕ߴ͍͔ͰϕΫτϧԽʢ෼ࢄදݱʣ
    ɾӅΕ૚ͷχϡʔϥϧωοτͰपลޠͷ༧ଌλεΫͱֶͯ͠श
    ࢲ .POUZ ॻ͘ ·ͭ΋ͱ 3VCZ
    1ZUIPO
    

    View Slide

16. ਂ૚ֶशͰ͖Μ͡ΌΜ
    16
    ɾ୯ޠΛϕΫτϧԽͰ͖ͨʂ
    ɾจষͬͯ࣌ؒ͝ͱʹมΘΔϕΫτϧ͡ΌΜʂʂ
    ࢲ ͸ .POUZ1ZUIPOΛ ݟ ͳ͕Β 1ZUIPOΛ ॻ͍ ͨ
    

    View Slide

17. ਂ૚ֶशͰ͖Μ͡ΌΜ
    17
    "ͷ֬཰aɼ#ͷ֬཰b
    

    View Slide

18. ਂ૚ֶशʹΑΔࣗવݴޠॲཧ
    18
    ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ
    ɾ(36ʴ"UUFOUJPO
    ɾ5SBOTGPSNFS
    ɾ#&35
    ɾ5
    ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ
    

    View Slide

19. ਂ૚ֶशʹΑΔࣗવݴޠॲཧ
    19
    ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ
    ɾ(36ʴ"UUFOUJPO
    ɾ5SBOTGPSNFS
    ɾ#&35
    ɾ5
    ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ
    

    View Slide

20. ·ͱΊ
    20
    ɾࣗવݴޠॲཧ͸ίϯϐϡʔλʔʹࣗવݴޠΛॲཧͤ͞Δ͜ͱ
    ɾ·ͣ͸จࣈྻΛ୯ޠʹ෼ׂ͢Δඞཁ͕͋Δ
    ɾ୯ޠ͸ϕΫτϧԽ͢Δͱ͍͍͜ͱ͋ΔͶ
    ɾਂ૚ֶशΛ࢖͏ϝϦοτͱ͔࣮૷·ΘΓʹ͍ͭͯ͸࣍ճҎ߱Ͱ
    

    View Slide