Upgrade to Pro — share decks privately, control downloads, hide ads and more …

自然言語処理の基本 / Basic of Natural Language Processing

自然言語処理の基本 / Basic of Natural Language Processing

2021-07-10のPython機械学習勉強会 in 新潟 での発表資料です。
自然言語処理の基本というか、概要というかです。

307839dcba61e984dcab7ae753990218?s=128

SKA’s Web

July 10, 2021
Tweet

More Decks by SKA’s Web

Other Decks in Technology

Transcript

  1. ࣗવݴޠॲཧͷجຊ 1ZUIPOػցֶशษڧձ JO৽ׁ 4,"`T8FC 1

  2. ࢿྉͷϦϯΫషΔϖʔδ 2 ʢ͜͜ʹϦϯΫΛషΓ·͢ʣ

  3. ໨࣍ r ࣗવݴޠॲཧͷجຊ 3 ɾࣗવݴޠॲཧͱ͸ ɾࣗવݴޠॲཧͷओͳλεΫ ɾλεΫΛղͨ͘Ίͷख๏ ɾࣗવݴޠॲཧͰ࢖ΘΕ͍ͯΔਂ૚ֶश ɾਂ૚ֶशͷར఺

  4. 5XJUUFS࿈ܞ 4 #pyml_niigata ͰͭͿ΍͘ͱʜʜ ɾ࣭໰ ɾײ૝ FY  ͲΜͲΜͭͿ΍͍ͯΈͯͶ ը૾ɿ5XJUUFSɼLPOHBSJOJLV

    ༷ɼ͸Δ͔ ༷
  5. ࣗݾ঺հ 5 ͦͷଞৄࡉɿIUUQTTDSBQCPYJPWSBDBEFNJBXJLJ4,"

  6. ࠂ஌ʢ73ΞΧσϛΞɾՆΩϟεϚʔέοτʣ 6 ը૾ɿ73ΞΧσϛΞɼՆΩϟεϚʔέοτ

  7. ࠂ஌ 7 ௕ԬՖՐόʔνϟϧؑ৆ձ ։࠵༧ఆ ݄೔ʢ݄ʣɿόʔνϟϧΩϟετ੮ ಉ઀ਓ ˇ ݄೔ʢՐʣɿ73$IBU੮ ಉ઀nਓ ˇ

  8. ࣗવݴޠॲཧͱ͸ 8 ࣗવݴޠॲཧɿࣗવݴޠΛίϯϐϡʔλʔʹॲཧͤ͞Δ͜ͱશൠ ࣗવݴޠɿࣗવͱൃల͖ͯͨ͠ݴޠ ʢྫʣ೔ຊޠɼӳޠɼதࠃޠ نଇ͕ ෳࡶͰ؆୯ʹύʔεͰ͖ͳ͍ ݴޠΛίϯϐϡʔλʔͰѻ͏ ը૾ɿ͍Β͢ͱ΍

  9. ࣗવݴޠॲཧͷجຊతͳλεΫ 9 ɾܗଶૉղੳɿ୯ޠʹ෼ׂͯ͠඼ࢺΛਪఆ ໋୊ʢ໊ࢺʣʗ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣʗ͸ʢॿࢺʣʗ ِʢ໊ࢺʣʗͰʢॿಈࢺʣʗ͋Δʢಈࢺʣ ɾߏจղੳɿ֤୯ޠ PSจઅͷ܎Γड͚ؔ܎Λਪఆ ɾݻ༗දݱநग़ɿ͍ͭɾͲ͜Ͱɾ୭͕ ౳Λநग़ ɾ͔ͳ׽ࣈม׵

    ը૾ɿ(J/;"
  10. ࣗવݴޠॲཧͷԠ༻తͳλεΫ 10 ɾจॻ෼ྨɿʢྫʣ5XJUUFSͷτϨϯυɺ໎࿭ϝʔϧϑΟϧλʔɺ໰͍߹ΘͤΛ֤෦ॺʹׂৼΔ ɾจষੜ੒ɿʢྫʣΓΜͳͪΌΜɺ(15 ɾ຋༁ɿʢྫʣ%FFQ- ɾײ৘෼ੳɿʢྫʣϦΞϧλΠϜݕࡧɺલϖʔδͷը૾ ɾߍਖ਼ɿʢྫʣ8PSE ɾཁ໿ ɾจॻݕࡧ ը૾ɿ5XJUUFSɺ:BIPP+"1"/

  11. ·ͣ͸୯ޠʹ෼ׂ͠ͳ͍ͱ࢝·Βͳ͍ 11 ɾܗଶૉղੳɿ୳ࡧ໰୊ ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣ ɾʮ֎ࠃਓࢀ੓ݖʯ͸ʮ֎ࠃʗਓࢀʗ੓ݖʯPSʮ֎ࠃʗਓʗࢀ੓ʗݖʯʁ ɾࣙॻʹ͋ΔશύλʔϯΛॻ͖ग़͢ ɾ໬΋Β͠͞͸৚݅෇͖֬཰৔΍࠶ؼχϡʔϥϧωοτϫʔΫͰֶश ը૾ɿ+6."/

  12. ୯ޠΛͲ͏දݱ͢Δʁ 12 ɾ୯ޠʹ෼ׂͰ͖ͯ΋จࣈίʔυͷ··Ͱ͸ҙຯͷ͋Δԋࢉ͕Ͱ͖ͳ͍ ɾࣗવݴޠ͸ϧʔϧ͕ෳࡶ ˠ ౷ܭతͳख๏Λ࢖͏ ɾҰൠతͳ೔ຊਓ΋ӳޠʹͨ͘͞Μ৮Εͳ͍ͱӳޠ͸্ୡ͠ͳ͍ ɾ౷ܭͳͷͰ୯ޠΛϕΫτϧԽͰ͖ͨΒউར ʢຒΊࠐΈʣ

  13. ౷ܭͱϕΫτϧͬͯؔ܎͋Δͷʁ 13 ɾσʔλɼσʔλɼʜʜΛͻͱ·ͱΊʹͯ͠ ͻͱͭͷϕΫτϧͱΈͳͤΔ ɾྫ͑͹ɺ߹ܭֹۚͷܭࢉ ঎඼໊ ୯Ձʢԁʣ ݸ਺ʢݸʣ ക͓ʹ͗Γ 

     ࡪ͓ʹ͗Γ   πφ͓ʹ͗Γ   ߹ܭ ºʴ ºʴ º    ݸ਺ ୯Ձ    ߹ܭʹ୯Ձɾݸ਺
  14. ୯ޠΛͲ͏දݱ͢Δʁ 14 ɾ#BHPG8PSET ɾ͋Δ୯ޠ͕ग़͖ͯͨΒͦͷ୯ޠͷཁૉΛɺͳ͔ͬͨΒͱͯ͠ϕΫτϧԽ ˞ग़ݱճ਺ͱ͢Δ৔߹΋͋Δ ɾͪΐX࣍ݩ਺XXXX ɾྫจ"ʮࢲ͸.POUZ1ZUIPOΛݟͳ͕Β1ZUIPOΛॻ͍ͨʯ ɾྫจ#ʮ·ͭ΋ͱ͞Μ͸3VCZΛॻ͍͍ͯΔʯ ࢲ .POUZ

    1ZUIPO ॻ͘ ·ͭ΋ͱ 3VCZ ྫจ"       ྫจ#      
  15. ୯ޠΛͲ͏දݱ͢Δʁ 15 ɾ8PSE7FD ɾҰൠతͳจॻ͸͍ۙҐஔʹग़ͯ͘Δ୯ޠ͸ҙຯ΋͍ۙ ɾগͳ͍࣍ݩͰҙຯΛؚΊͨԋࢉΛߦ͍͍ͨ ɾͦͷ୯ޠͷલޙʹͲͷΑ͏ͳ୯ޠ͕དྷΔ֬཰͕ߴ͍͔ͰϕΫτϧԽʢ෼ࢄදݱʣ ɾӅΕ૚ͷχϡʔϥϧωοτͰपลޠͷ༧ଌλεΫͱֶͯ͠श ࢲ .POUZ ॻ͘

    ·ͭ΋ͱ 3VCZ 1ZUIPO     
  16. ਂ૚ֶशͰ͖Μ͡ΌΜ 16 ɾ୯ޠΛϕΫτϧԽͰ͖ͨʂ ɾจষͬͯ࣌ؒ͝ͱʹมΘΔϕΫτϧ͡ΌΜʂʂ ࢲ ͸ .POUZ1ZUIPOΛ ݟ ͳ͕Β 1ZUIPOΛ

    ॻ͍ ͨ
  17. ਂ૚ֶशͰ͖Μ͡ΌΜ 17 "ͷ֬཰aɼ#ͷ֬཰b

  18. ਂ૚ֶशʹΑΔࣗવݴޠॲཧ 18 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ

  19. ਂ૚ֶशʹΑΔࣗવݴޠॲཧ 19 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ

  20. ·ͱΊ 20 ɾࣗવݴޠॲཧ͸ίϯϐϡʔλʔʹࣗવݴޠΛॲཧͤ͞Δ͜ͱ ɾ·ͣ͸จࣈྻΛ୯ޠʹ෼ׂ͢Δඞཁ͕͋Δ ɾ୯ޠ͸ϕΫτϧԽ͢Δͱ͍͍͜ͱ͋ΔͶ ɾਂ૚ֶशΛ࢖͏ϝϦοτͱ͔࣮૷·ΘΓʹ͍ͭͯ͸࣍ճҎ߱Ͱ